CN112991470B - 一种复杂背景下的证件寸照背景颜色检查方法及其*** - Google Patents

一种复杂背景下的证件寸照背景颜色检查方法及其*** Download PDF

Info

Publication number
CN112991470B
CN112991470B CN202110170353.6A CN202110170353A CN112991470B CN 112991470 B CN112991470 B CN 112991470B CN 202110170353 A CN202110170353 A CN 202110170353A CN 112991470 B CN112991470 B CN 112991470B
Authority
CN
China
Prior art keywords
background
image
color
sub
rectangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110170353.6A
Other languages
English (en)
Other versions
CN112991470A (zh
Inventor
郭大勇
张海龙
兰永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongban Information Service Co ltd
Original Assignee
Shanghai Tongban Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongban Information Service Co ltd filed Critical Shanghai Tongban Information Service Co ltd
Priority to CN202110170353.6A priority Critical patent/CN112991470B/zh
Publication of CN112991470A publication Critical patent/CN112991470A/zh
Application granted granted Critical
Publication of CN112991470B publication Critical patent/CN112991470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种复杂背景下的证件寸照背景颜色检查方法及其***，所述方法包括：基于神经网络的图像分割模型，对证件寸照进行像素级分割处理，获取图像的背景坐标；对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；对每一个背景子图像进行颜色识别，同时进行颜色纯度识别；综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。本申请用于识别寸照图片纯色背景颜色，并排除非纯色、复杂背景等图片，可以提高政务服务过程中对照片背景颜色的智能审查效率，提高办事服务的智能化程度。

Description

一种复杂背景下的证件寸照背景颜色检查方法及其***
技术领域
本发明涉及照片的图像处理技术领域，尤其涉及一种复杂背景下的证件寸照背景颜色检查方法及其***。
背景技术
在政务服务办事过程中都需要提交电子证件寸照作为身份证明，电子证件寸照的背景色有规范化要求。而人们提交的证件寸照背景色存在不规范的情况时有发生，例如，背景颜色不是指定颜色，照片背景色非纯色，存在复杂背景等。
以往电子证件寸照的背景色筛查和检测需要人工一张一张检测，不能自动给出图像的检测结果，效率低，易遗漏和误判。随着计算机技术的发展，智能化程度在各个领域越来越高，但在政务服务办事过程中对证件寸照背景颜色检查的方法还存在一些空白。
因此，在证件寸照的处理过程中，能否快速、高效、精准地识别寸照图片纯色背景颜色，并排除非纯色、复杂背景等图片，将会影响政务服务的智能审查效率，以及办事服务的智能化程度。
发明内容
本发明的目的在于提供一种复杂背景下的证件寸照背景颜色检查方法及其***，以解决上述技术背景中提出的问题。
为实现上述目的，本发明采用以下技术方案：
本申请第一个方面提供了一种复杂背景下的证件寸照背景颜色检查方法，包括：
基于神经网络的图像分割模型，对证件寸照进行像素级分割处理，获取图像的背景坐标；
对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；
对每一个背景子图像进行颜色识别，同时进行颜色纯度识别；
综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。
优选地，所述前景是证件寸照上的人物，除前景外都为背景。
优选地，所述图像分割模型，是基于神经网络的深度学习模型。
优选地，所述神经网络，是经过预训练得到的，对神经网络进行预训练，包括：
步骤1：搜集证件寸照，对证件寸照进行像素级分割及标注，标注出前景轮廓的像素点，则没标注的为背景像素点，从而得到训练集；
步骤2：搭建网络模型，所述网络模型包括以下模块：
预训练神经网络ResNet模块，用于获得图片的特征向量，按特征向量划分多个感兴趣区域ROI；
区域生成网络模块，用于对感兴趣区域ROI进行二值分类和类别框回归处理，并按照预设过滤标准对ROI进行过滤；
ROI Align模块，用于对剩下的ROI进行ROI Align操作，将未标注过的证件寸照和特征向量的像素点对应起来，然后将特征向量和标注的像素点对应起来，之后输入到三分支全卷积神经网络得到三个预测结果：分类、分类框回归和掩码MASK；
步骤3：将标注后的训练集作为网络模型的输入，得到掩码MASK，并计算整个神经网络的总损失函数：L＝Lcls+Lbox+Lmask，其中，L表示总的误差，Lcls表示分类误差，Lbox表示分类框位置误差，Lmask表示掩码分割误差；
利用总损失函数进行迭代训练，当神经网络的总损失函数达到预设最小值时，神经网络训练完成，得到训练后的图像分割模型；
步骤4：将未标注的测试图像输入训练后的图像分割模型中进行测试，得到前景的掩码，除去前景剩下的像素点即为背景。
更优选地，所述对证件寸照进行标注，包括：证件寸照包括前景和背景，将前景的像素值设置为0，背景的像素值设置为1，得到二维矩阵A，再对所有的证件寸照使用标注工具进行轮廓标注。
更优选地，所述预设过滤标准包括：按预设标准计算每个感兴趣区域ROI与其对应的标注的前景之间的分值，按分值从高到低取前2000个保留。
优选地，对证件寸照进行像素级分割处理后得到包括前景和背景的二维矩阵A，其中数值1表示背景，数值0表示前景；所述对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像，包括：
对二维矩阵A沿横向竖向等分为至少4个大小相同的矩形区域B；
在每个矩形区域B中找到数值1所能构成的最大的矩形b；
如果矩形区域B中的数值1不在矩形b范围内的比例大于预设阈值，则在该矩形区域B中除矩形b外的区域中找到数值1所能构成的最大的矩形c；
分别判断矩形b、矩形c中像素点的个数是否大于等于第二预设阈值，若是，则将矩形b、和/或矩形c划分为待处理图像；否则不划分为待处理图像；
将所有待处理图像的矩形坐标映射到证件寸照中，得到至少一个符合预设尺寸的背景子图像。
优选地，所述对每一个背景子图像进行颜色识别，包括：
当所述背景子图像为灰度图像，则直接基于像素值进行颜色判断；
当所述背景子图像为彩色图像，则将背景子图像从RGB颜色空间转换为HSV颜色空间，并计算H通道的直方图，根据最大的H值进行颜色判断。
优选地，所述对每一个背景子图像进行颜色纯度识别，包括：
当所述背景子图像为彩色图像，则转换为灰度图像；
对灰度图像进行二维离散傅立叶变换，截取频率的高频分量对灰度图像进行锐化处理；
对锐化处理后的图像进行二值化处理，得到二值化图像；
使用霍夫变换对二值化图像进行线条检测，若检测出线条，则判断该背景子图像为非纯色背景图。
更优选地，所述当所述背景子图像为彩色图像，则转换为灰度图像，包括：彩色图像中，一种彩色由R，G，B三原色按比例混合而成，像的基本单元是一个像素，一个像素需要3块表示，分别代表R，G，B，如果8位表示一个颜色，就由0-255区分不同亮度的某种原色，灰度图像是用不同饱和度的黑色来表示每个图像点，比如用8位0-255数字表示“灰色”程度，每个像素点只需要一个灰度值，8位即可，RGB值和灰度的转换，实际上是人眼对于彩色的感觉到亮度感觉的转换，转换公式如下：Gray＝0.299*r+0.587*g+0.144*b，根据这个公式，依次读取彩色图像中每个像素点的R，G，B值，进行灰度值计算，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍后即完成转换。
更优选地，所述对灰度图像进行二维离散傅立叶变换，截取频率的高频分量对灰度图像进行锐化处理，包括：
将灰度图像从空间域变换到频域，再做频域滤波处理；
频域滤波采用高通滤波，即截取频率的高频分量，再对其作傅立叶反变换，得到锐化后的图像。
上述内容中，所述高频分量对应灰度图像中强度变化剧烈的地方，也就是边缘部分。
更优选地，所述二值化处理采用canny边缘检测，返回图像中检测到的明显边缘。
进一步地，所述canny边缘检测采用双阈值处理和边缘连接。
更进一步地，所述双阈值处理和边缘连接，包括：在高阈值图像中把边缘连接成轮廓，当到达轮廓的端点时，在断点的邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合为止。
更优选地，所述霍夫变换包括霍夫线变换和霍夫圆变换，分别检测直线和曲线。
进一步地，所述霍夫线变换采用累计概率霍夫变换PPHT。
本申请第二个方面提供了一种复杂背景下的证件寸照背景颜色检查***，包括：
图像分割模块，用于对输入的证件寸照进行像素级分割处理，获取图像的背景坐标；
背景切分模块，用于针对图像分割模块获取的背景坐标，对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；
颜色识别模块，用于对背景切分模块切分的每一个背景子图像进行颜色识别；
颜色纯度识别模块，用于对背景切分模块切分的每一个背景子图像进行颜色纯度识别；
统计判断模块，用于综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。
与现有技术相比，本发明的技术方案具有以下有益效果：
本申请提供的一种复杂背景下的证件寸照背景颜色检查方法及其***，用于识别寸照图片纯色背景颜色，并排除非纯色、复杂背景等图片，可以提高政务服务过程中对照片背景颜色的智能审查效率，提高办事服务的智能化程度。
附图说明
构成本申请的一部分附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一种复杂背景下的证件寸照背景颜色检查方法的流程示意图；
图2是本申请一实施例中证件寸照背景颜色检查方法的总体流程示意图；
图3是本申请一实施例中获取原始图像背景的处理过程示意图；
图4是本申请的图像分割模型的形成流程示意图；
图5本申请一实施例中将背景切分得到n个符合预设尺寸的背景子图像的处理过程示意图；
图6是本申请一实施例中任一背景子图像的处理流程示意图；
图7是本申请一实施例中对背景子图像进行处理的处理过程示意图；
图8是本申请一种复杂背景下的证件寸照背景颜色检查***的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参阅图1，图1是本申请复杂背景下的证件寸照背景颜色检查方法的流程示意图。
本申请的复杂背景下的证件寸照背景颜色检查方法主要包括以下步骤：
步骤A1：基于神经网络的图像分割模型，对证件寸照进行像素级分割处理，获取图像的背景坐标；
步骤A2：对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；
步骤A3：对每一个背景子图像进行颜色识别，同时进行颜色纯度识别；
步骤A4：综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。
其中，所述前景是证件寸照上的人物，除前景外都为背景。所述图像分割模型，是基于神经网络的深度学习模型。
实施例：
本实施例以一不合规的证件寸照的背景颜色检查过程为例进行具体说明。下文中所述的原始图像是指待检测的证件寸照，前景是证件寸照上的人物，除前景外都为背景。
参阅图2，本实施例的复杂背景下的证件寸照背景颜色检查方法具体步骤如下：
第一步S1：通过图像分割模型，获取原始图像的背景坐标。
图像分割模型是基于神经网络的深度学习模型，经过数据集准备、搭建网络模型、模型训练后，就可以用模型对原始图像进行预测，把原始图像上每一个像素点分为前景或背景。
其中，数据集准备：即搜集大量证件寸照，对证件寸照进行像素级分割及标注，标注出前景轮廓的像素点，则没标注的为背景像素点，从而得到训练集。参阅图3，人形部分的圆点标注出的是前景部分，黑色部分是背景部分。
其中，网络模型：主要由预训练神经网络ResNet模块+区域生成网络模块+ROIAlign模块+三个全卷积神经网络分别输出组成(如图4)。预训练神经网络ResNet模块，用于获得图片的特征向量，按特征向量划分多个感兴趣区域ROI；区域生成网络模块，用于对感兴趣区域ROI进行二值分类和类别框回归处理，并按照预设过滤标准对ROI进行过滤；ROI Align模块，用于对剩下的ROI进行ROI Align操作，将未标注过的证件寸照和特征向量的像素点对应起来，然后将特征向量和标注的像素点对应起来，之后输入到三分支全卷积神经网络得到三个预测结果：分类、分类框回归和掩码MASK。
其中，模型训练：将标注后的训练集作为网络模型的输入，得到掩码MASK，并计算整个神经网络的总损失函数：L＝Lcls+Lbox+Lmask，其中，L表示总的误差，Lcls表示分类误差，Lbox表示分类框位置误差，Lmask表示掩码分割误差；利用总损失函数进行迭代训练，当神经网络的总损失函数达到预设最小值时，神经网络训练完成，得到训练后的图像分割模型。将未标注的测试图像输入训练后的图像分割模型中进行测试，得到前景的掩码，除去前景剩下的像素点即为背景。
第二步S2：对背景部分进行切分，得到n个符合预设尺寸的背景子图像(图像1，图像2，……，图像n，n为正整数)。
经过第一步S1，已经得到证件寸照中包括前景和背景的二维矩阵A，其中数值1表示背景，数值0表示前景，我们只需要在矩阵中对数值1所在的坐标做处理即可。具体包括以下步骤：
步骤S201：对二维矩阵A沿横向竖向等分为若干大小相同的矩形区域B。参阅图5中的第一幅图，本实施例中将二维矩阵A等分为六个矩形区域B，每个矩形区域B中均包含有前景和背景。
步骤S202：在每个矩形区域B中找到数值1所能构成的最大的矩形b，如果矩形区域B中的数值1不在矩形b范围内的比例大于预设阈值，则在该矩形区域B中除矩形b外的区域中找到数值1所能构成的最大的矩形c。参阅图5中的第二幅图中示例的矩形b1、b2、b3、b4和b5为在每个矩形区域B中找到的数值1所能构成的最大的矩形b；矩形c1为除矩形b外的区域中找到的数值1所能构成的最大的矩形c。
步骤S203：对上面得到的矩形b、矩形c基于第二预设阈值进行过滤，分别判断矩形b、矩形c中像素点的个数是否大于等于第二预设阈值，若是，则将矩形b、和/或矩形c划分为待处理图像进行保留；否则就不会保留。例如，图5中的第二幅图中示例的矩形b5，如果其构成矩形的像素点数量未达到第二预设阈值，则判定为不符合要求，将不被保留为待处理图像。本实施例中，假设第二预设阈值设置的数值比矩形b5的像素点数量小，保留矩形b5。
步骤S204：将所有满足要求的矩阵b和矩阵c的坐标映射到原始的证件寸照中，得到多个符合预设尺寸的背景子图像。参阅图5中的第三幅图中示例的矩形，即为将背景部分切分后，获得的符合预设尺寸的背景子图像，分别为图像1，图像2，图像3，图像4、图像5和图像6。
第三步S3：对每一个背景子图像同时进行颜色识别处理和颜色纯度识别处理。
该步骤可参阅图6的处理过程流程图示例。
(1)其中，颜色识别处理，具体包括以下步骤：
颜色识别处理时，有两种可能。
步骤S301：第一种可能，所述背景子图像为灰度图像，则直接基于像素值进行颜色判断。
步骤S302：第二种可能，所述背景子图像为彩色图像，则将背景子图像从RGB颜色空间转换为HSV颜色空间，再通过查询预设表格进行颜色判断。
图像在RGB空间内很难进行颜色判断，HSV颜色空间是六角锥体模型，可以直接通过高低阈值进行颜色判断。HSV分别表示色相H、饱和度S、明度V，三个值的取值方式为取众数，即H值为H维度矩阵中出现次数最多的值，S、V同理。
其中，RGB颜色空间转换为HSV颜色空间的转换公式如下：
设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数；
设max等于r,g,b中的最大者，即max＝max(r,g,b)；
设min等于r,g,b中的最小者，即min＝min(r,g,b)；则，
v＝max
步骤S303：输出该背景子图像的颜色cn，n代表背景子图像的个数，为正整数，cn代表第n个背景子图像的颜色。
(2)其中，颜色纯度识别处理(同时参阅图7的处理过程示例)，具体包括以下步骤：
步骤S304：当所述背景子图像为彩色图像，则转换为灰度图像。
步骤S305：对灰度图像进行二维离散傅立叶变换，截取频率的高频分量对灰度图像进行锐化处理。
这里的图像是空间域上的数字图像，通过傅立叶变换为频域，再做频域滤波；频域滤波采用高通滤波，即截取频率的高频分量，再对其作傅立叶反变换，就会得到锐化后的图像，其中，图像中的高频分量是图像中强度变化剧烈的地方，也就是边缘部分。
步骤S306：对锐化处理后的图像进行二值化处理，得到二值化图像。这里的二值化采用的是canny边缘检测，返回图像中检测到的明显边缘，canny边缘检测采用双阈值处理及边缘连接。
步骤S307：使用霍夫变换对二值化图像进行线条检测，若检测出线条，则判断该背景子图像为非纯色背景图，否则为纯色背景图。
其中，霍夫变换分霍夫线变换和霍夫圆变换，分别检测直线和曲线。霍夫线变换采用的累计概率霍夫变换(PPHT)，较标准霍夫变换执行效率高。
步骤S308：输出该背景子图像的颜色纯度判断结果，若为纯色背景图，输出T，否则输出F。
第四步S4：综合各背景子图像的颜色输出结果和颜色纯度输出结果，最终确定图片是否为纯背景颜色图片。
当所有背景子图像的颜色均为预设背景色，且均为纯色时，即c1＝c2＝…＝cn，且纯度检测的输出全为T，则判断所述证件寸照的背景颜色合规，且背景颜色为c1。
此外，本申请还提供了一种复杂背景下的证件寸照背景颜色检查***，参阅图8，具体包括：
图像分割模块1，用于对输入的证件寸照进行像素级分割处理，获取图像的背景坐标；
背景切分模块2，用于针对图像分割模块1获取的背景坐标，对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；
颜色识别模块3，用于对背景切分模块2切分的每一个背景子图像进行颜色识别；
颜色纯度识别模块4，用于对背景切分模块2切分的每一个背景子图像进行颜色纯度识别；
统计判断模块5，用于综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。
综上所述，本申请提供的一种复杂背景下的证件寸照背景颜色检查方法及其***，用于识别寸照图片纯色背景颜色，并排除非纯色、复杂背景等图片，可以提高政务服务过程中对照片背景颜色的智能审查效率，提高办事服务的智能化程度。
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (9)

1.一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，包括：
基于神经网络的图像分割模型，对证件寸照进行像素级分割处理，获取图像的背景坐标；
对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像；
对每一个背景子图像进行颜色识别，同时进行颜色纯度识别；
综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规；
其中，对证件寸照进行像素级分割处理后得到包括前景和背景的二维矩阵A，其中数值1表示背景，数值0表示前景；所述对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像，包括：
对二维矩阵A沿横向竖向等分为至少4个大小相同的矩形区域B；
在每个矩形区域B中找到数值1所能构成的最大的矩形b；
如果矩形区域B中的数值1不在矩形b范围内的比例大于预设阈值，则在该矩形区域B中除矩形b外的区域中找到数值1所能构成的最大的矩形c；
分别判断矩形b、矩形c中像素点的个数是否大于等于第二预设阈值，若是，则将矩形b、和/或矩形c划分为待处理图像；否则不划分为待处理图像；
将所有待处理图像的矩形坐标映射到证件寸照中，得到至少一个符合预设尺寸的背景子图像。
2.根据权利要求1所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述神经网络，是经过预训练得到的，对神经网络进行预训练，包括：
步骤1：搜集证件寸照，对证件寸照进行像素级分割及标注，标注出前景轮廓的像素点，则没标注的为背景像素点，从而得到训练集；
步骤2：搭建网络模型，所述网络模型包括以下模块：
预训练神经网络ResNet模块，用于获得图片的特征向量，按特征向量划分多个感兴趣区域ROI；
区域生成网络模块，用于对感兴趣区域ROI进行二值分类和类别框回归处理，并按照预设过滤标准对ROI进行过滤；
ROIAlign模块，用于对剩下的ROI进行ROIAlign操作，将未标注过的证件寸照和特征向量的像素点对应起来，然后将特征向量和标注的像素点对应起来，之后输入到三分支全卷积神经网络得到三个预测结果：分类、分类框回归和掩码MASK；
步骤3：将标注后的训练集作为网络模型的输入，得到掩码MASK，并计算整个神经网络的总损失函数：L＝Lcls+Lbox+Lmask，其中，L表示总的误差，Lcls表示分类误差，Lbox表示分类框位置误差，Lmask表示掩码分割误差；
利用总损失函数进行迭代训练，当神经网络的总损失函数达到预设最小值时，神经网络训练完成，得到训练后的图像分割模型；
步骤4：将未标注的测试图像输入训练后的图像分割模型中进行测试，得到前景的掩码，除去前景剩下的像素点即为背景。
3.根据权利要求1所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述对每一个背景子图像进行颜色识别，包括：
当所述背景子图像为灰度图像，则直接基于像素值进行颜色判断；
当所述背景子图像为彩色图像，则将背景子图像从RGB颜色空间转换为HSV颜色空间，并计算H通道的直方图，根据最大的H值进行颜色判断。
4.根据权利要求1所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述对每一个背景子图像进行颜色纯度识别，包括：
当所述背景子图像为彩色图像，则转换为灰度图像；
对灰度图像进行二维离散傅立叶变换，截取频率的高频分量对灰度图像进行锐化处理；
对锐化处理后的图像进行二值化处理，得到二值化图像；
使用霍夫变换对二值化图像进行线条检测，若检测出线条，则判断该背景子图像为非纯色背景图。
5.根据权利要求4所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述对灰度图像进行二维离散傅立叶变换，截取频率的高频分量对灰度图像进行锐化处理，包括：
将灰度图像从空间域变换到频域，再做频域滤波处理；
频域滤波采用高通滤波，即截取频率的高频分量，再对其作傅立叶反变换，得到锐化后的图像。
6.根据权利要求4所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述霍夫变换包括霍夫线变换和霍夫圆变换，分别检测直线和曲线。
7.根据权利要求6所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述霍夫线变换采用累计概率霍夫变换PPHT。
8.根据权利要求4所述的一种复杂背景下的证件寸照背景颜色检查方法，其特征在于，所述二值化处理采用canny边缘检测，返回图像中检测到的明显边缘；所述canny边缘检测采用双阈值处理和边缘连接。
9.一种复杂背景下的证件寸照背景颜色检查***，其特征在于，包括：
图像分割模块，用于对输入的证件寸照进行像素级分割处理，获取图像的背景坐标，其中，像素级分割处理后得到包括前景和背景的二维矩阵A，二维矩阵A中数值1表示背景，数值0表示前景；
背景切分模块，用于针对图像分割模块获取的背景坐标，对背景部分进行切分，获得至少一个符合预设尺寸的背景子图像，包括：
对二维矩阵A沿横向竖向等分为至少4个大小相同的矩形区域B；
在每个矩形区域B中找到数值1所能构成的最大的矩形b；
如果矩形区域B中的数值1不在矩形b范围内的比例大于预设阈值，则在该矩形区域B中除矩形b外的区域中找到数值1所能构成的最大的矩形c；
分别判断矩形b、矩形c中像素点的个数是否大于等于第二预设阈值，若是，则将矩形b、和/或矩形c划分为待处理图像；否则不划分为待处理图像；
将所有待处理图像的矩形坐标映射到证件寸照中，得到至少一个符合预设尺寸的背景子图像；
颜色识别模块，用于对背景切分模块切分的每一个背景子图像进行颜色识别；
颜色纯度识别模块，用于对背景切分模块切分的每一个背景子图像进行颜色纯度识别；
统计判断模块，用于综合各背景子图像的颜色识别结果、以及颜色纯度识别结果进行判断，当所有背景子图像的颜色均为预设背景色，且均为纯色时，则判断所述证件寸照的背景颜色合规。
CN202110170353.6A 2021-02-08 2021-02-08 一种复杂背景下的证件寸照背景颜色检查方法及其*** Active CN112991470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170353.6A CN112991470B (zh) 2021-02-08 2021-02-08 一种复杂背景下的证件寸照背景颜色检查方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170353.6A CN112991470B (zh) 2021-02-08 2021-02-08 一种复杂背景下的证件寸照背景颜色检查方法及其***

Publications (2)

Publication Number Publication Date
CN112991470A CN112991470A (zh) 2021-06-18
CN112991470B true CN112991470B (zh) 2023-12-26

Family

ID=76349124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170353.6A Active CN112991470B (zh) 2021-02-08 2021-02-08 一种复杂背景下的证件寸照背景颜色检查方法及其***

Country Status (1)

Country Link
CN (1) CN112991470B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
JP2007140593A (ja) * 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 内接矩形検出装置および内接矩形検出プログラム
JP2010026630A (ja) * 2008-07-16 2010-02-04 Seiko Epson Corp 画像検索装置および画像検索方法
CN102542275A (zh) * 2011-12-15 2012-07-04 广州商景网络科技有限公司 一种证件照背景自动识别方法及其***
CN103440348A (zh) * 2013-09-16 2013-12-11 重庆邮电大学 一种基于矢量量化的全局和局部颜色图像检索方法
CN103473541A (zh) * 2013-08-21 2013-12-25 方正国际软件有限公司 一种证件透视校正方法及***
CN104461280A (zh) * 2014-11-03 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106097358A (zh) * 2016-06-17 2016-11-09 广州市幸福网络技术有限公司 图像背景复杂度检测方法及***
CN106611431A (zh) * 2015-10-22 2017-05-03 阿里巴巴集团控股有限公司 图片检测方法和装置
WO2017092589A1 (zh) * 2015-12-03 2017-06-08 阿里巴巴集团控股有限公司 一种图像中人像轮廓的确定方法和装置
CN109583299A (zh) * 2018-10-26 2019-04-05 平安科技（深圳）有限公司 电子装置、证件识别方法及存储介质
CN110619336A (zh) * 2019-08-26 2019-12-27 南京理工大学 基于图像处理的货品识别算法
CN110706296A (zh) * 2019-10-11 2020-01-17 北京弘远博学科技有限公司 一种电子证件照片背景色合规性的批量自动检测方法
CN110717865A (zh) * 2019-09-02 2020-01-21 苏宁云计算有限公司 图片检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
US9286508B2 (en) * 2013-07-25 2016-03-15 Morphotrust Usa, Llc System and method for creating a virtual backdrop

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
JP2007140593A (ja) * 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 内接矩形検出装置および内接矩形検出プログラム
JP2010026630A (ja) * 2008-07-16 2010-02-04 Seiko Epson Corp 画像検索装置および画像検索方法
CN102542275A (zh) * 2011-12-15 2012-07-04 广州商景网络科技有限公司 一种证件照背景自动识别方法及其***
CN103473541A (zh) * 2013-08-21 2013-12-25 方正国际软件有限公司 一种证件透视校正方法及***
CN103440348A (zh) * 2013-09-16 2013-12-11 重庆邮电大学 一种基于矢量量化的全局和局部颜色图像检索方法
CN104461280A (zh) * 2014-11-03 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106611431A (zh) * 2015-10-22 2017-05-03 阿里巴巴集团控股有限公司 图片检测方法和装置
WO2017092589A1 (zh) * 2015-12-03 2017-06-08 阿里巴巴集团控股有限公司 一种图像中人像轮廓的确定方法和装置
CN106097358A (zh) * 2016-06-17 2016-11-09 广州市幸福网络技术有限公司 图像背景复杂度检测方法及***
CN109583299A (zh) * 2018-10-26 2019-04-05 平安科技（深圳）有限公司 电子装置、证件识别方法及存储介质
CN110619336A (zh) * 2019-08-26 2019-12-27 南京理工大学 基于图像处理的货品识别算法
CN110717865A (zh) * 2019-09-02 2020-01-21 苏宁云计算有限公司 图片检测方法及装置
CN110706296A (zh) * 2019-10-11 2020-01-17 北京弘远博学科技有限公司 一种电子证件照片背景色合规性的批量自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李勤垂 ; 陈若玲 ; 王明楸 ; 李佐勇 ; .融合边缘与过渡区域提取的人物证件照分割.福建电脑.2015,(第05期),全文. *
融合边缘与过渡区域提取的人物证件照分割;李勤垂;陈若玲;王明楸;李佐勇;;福建电脑(第05期);全文 *

Also Published As

Publication number Publication date
CN112991470A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
Raghunandan et al. Riesz fractional based model for enhancing license plate detection and recognition
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN110008954B (zh) 一种基于多阈值融合的复杂背景文本图像提取方法及***
Shen et al. Improving OCR performance with background image elimination
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
Kasar et al. Font and background color independent text binarization
JP4261005B2 (ja) 領域ベースのイメージ２値化システム
US20050047656A1 (en) Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
KR101182173B1 (ko) 차량 번호판 인식 방법 및 시스템
CN110766017B (zh) 基于深度学习的移动终端文字识别方法及***
US11450087B2 (en) System and method for multimedia analytic processing and display
CN110309806B (zh) 一种基于视频图像处理的手势识别***及其方法
Khalifa et al. Malaysian Vehicle License Plate Recognition.
KR101549495B1 (ko) 문자 추출 장치 및 그 방법
CN111259891B (zh) 一种自然场景下身份证识别方法、装置、设备和介质
CN113688838B (zh) 红色笔迹提取方法、***、可读存储介质及计算机设备
Brisinello et al. Optical Character Recognition on images with colorful background
CN109741273A (zh) 一种手机拍照低质图像的自动处理与评分方法
CN115588208A (zh) 一种基于数字图像处理技术的全线表结构识别方法
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN113159029A (zh) 一种图片中局部信息精准抓取的方法和***
Bala et al. Image simulation for automatic license plate recognition
CN105721738B (zh) 一种彩色扫描文档图像预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200435 11th Floor, Building 27, Lane 99, Shouyang Road, Jing'an District, Shanghai

Applicant after: Shanghai Tongban Information Service Co.,Ltd.

Address before: 709, building a, Harui center, 555 Shouyang Road, Jing'an District, Shanghai 200072

Applicant before: Shanghai Tongban Information Service Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant