CN110879988A - 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 - Google Patents
一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 Download PDFInfo
- Publication number
- CN110879988A CN110879988A CN201911153781.7A CN201911153781A CN110879988A CN 110879988 A CN110879988 A CN 110879988A CN 201911153781 A CN201911153781 A CN 201911153781A CN 110879988 A CN110879988 A CN 110879988A
- Authority
- CN
- China
- Prior art keywords
- information
- picture
- compliance
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000010586 diagram Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 26
- 238000013145 classification model Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质，其中该方法包括以下步骤：接收图片并编码成图片信息；利用人物检测模型检测图片信息中的人物信息，确定是否合规，如果不合规，向客户端发送不合规信息，以便于提醒用户所述人物不合规；如果合规，得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别人物图片信息，确定人物图片信息中制服标识信息是否合规。本发明可以利用信息合规检测方法对图片进行检测和识别，然后将判断为不合规信息发送给客户端。可以对工作人员是否按照规定穿着制服进行监督和判责，维护企业品牌形象，使得客户满意度上升，场地管理更加方便，模型扩展性较强，应用价值较高。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质。
背景技术
随着“互联网+”概念的兴起，近年来在诸多行业中进行了深度融合并落地应用，如O2O上门服务、“智慧学校”、“智慧园区”等，其典型需求都是要对其工作人员进行合理化管控，以达到安全生产、提升客户满意度的效果。进场工作人员或上门服务人员，其制服标识不仅代表其企业形象，也便于现场管控，出现事故时及时定位到相关责任单位。
进场工作人员在进入相关场地之前，目前通用做法是在入口闸机处进行指纹、人脸或打卡识别方式验证其身份，不会对其制服标识进行识别和提示，如果没有穿带有企业标识的服装，一旦出现了事故，现场人员需要重新确定员工所属企业，这样就会造成事故处理、救援的不及时。上门服务人员一般在完工之后会自拍图片以证明完成其工作，后端管控人员会进行图片审核，但传统审核方法还是根据肉眼发现是否存在制服违规，一般客户不投诉不会进行处理和追责，这样长期下去就会导致上门服务人员责任心不强，即使不穿企业制服或者穿竞品制服也不会受到惩罚，造成企业形象的损失，客户投诉率增加。
发明内容
有鉴于此，本发明提供一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质，进而至少部分地解决了由于相关技术的限制和缺陷而导致的一个或者多个问题。
本发明的第一个方面提供信息合规检测的方法，应用于服务器，包括以下步骤：
从工作人员客户端接收图片并编码成图片信息，所述图片为上传的工作人员自拍照片；
利用人物检测模型检测图片信息中的人物信息，确定是否合规，所述人物信息包括含有完整人脸特征的人体信息，如果不合规，向客户端发送不合规信息，以便于提醒用户所述人物不合规，并重新开始第一步；
如果合规，提取得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别人物图片信息，确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规。
进一步的，在向客户端发送不合规信息之后，该方法还包括：响应于用户操作，若工作人员选择重新检测，则接收新图片，重新执行第一步；或工作人员选择结束。
进一步的，人物检测模型包括已经进行大量图片目标标注并完成训练的人物检测模型HF-ZF。
进一步的，标识信息识别模型包括已经进行大量图片分类并完成训练的标识分类模型LRM。
进一步的，接收图片并编码成图片信息，包括对图片进行base64编码处理形成图片信息。
进一步的，利用人物检测模型检测图片信息中的人物信息，确定是否合规，该方法还包括：将图片信息输入到已经完成训练的人物检测模型HF-ZF；对模型输出结果进行合规判断。
进一步的，将图片信息输入到已经完成训练的人物检测模型HF-ZF，之前还包括：获取过去一段时间内所有工作人员上传的自拍照片；根据能够观察到照片中有完整人脸的人体为原则对图片进行筛选，得到满足条件的图片若干张；在图片中标记出含有完整人脸的人体的边框并保存为相应格式的数据文件；基于Faster-R-CNN模型结构的基础上，为了增加人脸特征的影响，在图片特征卷积阶段，将标注图片先resize到固定大小M*N，将固定大小后的向上四分之一区域和全部图片区域分别作为输入，进入到第一ZF卷积神经网络和第二ZF卷积神经网络，将第一ZF神经网络的第二卷积输出特征图与第二ZF神经网络的第四卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第五卷积层进行特征捕捉，将第一ZF神经网络的第三卷积输出特征图与第二ZF神经网络的第五卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第六卷积层进行特征捕捉；将打标完成的数据文件代入调整后的模型训练得到人物检测模型HF-ZF。
进一步的，对模型输出结果进行合规判断，方法包括：对模型结果softmax概率输出设定阈值，只有大于该阈值的边框坐标点才输出；如果输出的边框坐标点集合的长度为1，从原始图片中按照边框坐标点提取出含有人脸特征的人体图像；如果输出的边框坐标点集合的长度不等于1，则判断为不合规，不合规类型为人物不合规。
进一步的，利用标识信息识别模型识别所述图片信息，确定所述图片信息中制服标识信息是否合规，该方法还包括：将图片信息输入到已经完成训练的标识分类模型LRM；对模型输出结果进行合规判断。
进一步的，将图片信息输入到已经完成训练的标识分类模型LRM，之前还包括：获取过去一段时间内所有工作人员上传的自拍照片；利用HF-ZF对所有自拍图片进行正面人体识别提取得到的若干张图片作为样本，并将所有样本图片按照原图片的Y轴进行360度旋转处理得到新图片；将原始和旋转后的包含部分或全部制服标识信息的图片作为合规的正样本，完全不包含制服标识信息的图片作为不合规的负样本；利用迁移学习概念，保留inception-v3模型网络的卷积层参数，初始化全连接层参数，模型输出改为2，将已经分类完成的训练样本带入到模型中训练，经过设置batch，学习率和epoch数值后得到标识分类模型LRM。
进一步的，对模型输出结果进行合规判断，方法包括：设定判断阈值；如果输出为合规标签且其概率值大于等于判断阈值，则判断为合规；如果输出为合规标签但其概率值小于判断阈值，或输出为不合规标签，则判断为制服标识信息不合规。
本发明的第二个方面提供了一种信息合规检测的方法，应用于客户端，该方法包括：客户端向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型对图片信息进行合规判断，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息；客户端接收并展示不合规信息。
进一步的，该方法还包括：用户对提示的不合规信息进行确认，向服务器发送新图片。
本发明的第三个方面提供了一种信息合规检测的装置，应用于服务器，包括：第一接收模块，用于接收图片；编码模块，用于对图片进行base64编码处理形成图片信息；检测模块，用于利用人物检测模型检测图片信息中的人物信息；第一判断模块，用于确定人物信息是否合规，所述人物信息包括含有完整人脸特征的人体信息；抽取模块，如果人物信息合规，抽取得到正面人物区域图片；第一发送模块，如果不合规，向客户端发送人物不合规信息，以便于提醒用户所述人物不合规，如果合规，将抽取得到正面人物区域图片向编码模块发送；识别模块，用于利用标识信息识别模型识别人物图片信息；第二判断模块，用于确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识；第二发送模块，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规。
进一步的，该装置还包括：第二接收模块，用于响应于用户操作，接收新图片。
进一步的，该装置还包括：
获取模块，用于获取过去一段时间内所有工作人员上传的自拍照片；筛选模块，用于根据能够观察到图片中含有人脸特征的正面人物对图片进行筛选；标注模块，用于对图片中的正面人物进行标注；第一建立模块，用于基于标注的数据文件代入改进后的Faster-RCNN训练得到人物检测模型；提取模块，用于对所有自拍图片进行正面人体识别提取；分类模块，用于将提取后的正面人体原始图片和和对原始人物图片进行旋转得到的新图片进行分类成正负样本；第二建立模块，用于基于正负样本图片代入inception-v3模型中进行迁移学习建立所述标识分类模型。
进一步的，上述检测模块配置为：利用已经训练完成的人物检测模型HF-ZF对图片信息进行识别和提取。
进一步的，上述第一判断模块配置为：对模型结果softmax概率输出设定阈值，只有大于该阈值的边框坐标点才输出；如果输出的边框坐标点集合的长度为1，从原始图片中按照边框坐标点提取出含有人脸特征的人体图像；如果输出的边框坐标点集合的长度不等于1，则判断为不合规，不合规类型为人物不合规。
进一步的，上述识别模块配置为：利用已经训练完成的标识分类模型LRM对图片信息进行分类。
进一步的，上述第二判断模块配置为：设定判断阈值；如果输出为合规标签且其概率值大于等于判断阈值，则判断为合规；如果输出为合规标签但其概率值小于判断阈值，或输出为不合规标签，则判断为制服标识信息不合规。
进一步的，上述第一建立模块配置为：以Faster-RCNN为基础，将人物图片上四分之一区域进行卷积作为人脸特征带入到对整个图片进行卷积的网络中进行了改进，将标注后的数据文件带入改进后的模型进行训练得到人物检测模型HF-ZF。
进一步的，上述第二建立模块配置为：使用图片增强方式对正负样本比例进行调整到1:1附近，将调整后的样本带入到inception-v3模型中迁移训练得到标识分类模型。
本发明的第四个方面提供了一种信息合规检测的装置，应用于客户端，包括：发送模块，用于向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息；接收模块，用于接收并展示不合规信息。
进一步的，该装置还包括：再发送模块，用户对提示的不合规信息进行确认，向服务器发送新图片。
本发明的第五个方面提供了一种信息合规检测的服务器，包括：一个或多个处理器，以及存储装置。所述存储装置用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上第一方面提供的信息合规检测的方法。
本发明的第六个方面提供了一种信息合规检测的计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上第一方面提供的信息合规检测的方法。
本发明的第七个方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现第一方面提供的信息合规检测的方法。
本发明的第八个方面提供了一种信息合规检测的客户端，包括：一个或多个处理器，以及存储装置。所述存储装置用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上第二方面提供的信息合规检测的方法。
本发明的第九个方面提供了一种信息合规检测的计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上第二方面提供的信息合规检测的方法。
本发明的第十个方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现第二方面提供的信息合规检测的方法。
本发明提供的应用于服务器的信息合规检测方法的有益效果如下：
通过本发明提供的技术方案可以利用信息合规检测方法对图片进行检测和识别，然后将判断为不合规信息发送给客户端。人物检测模型使用的是改进的Faster-RCNN算法，将人脸区域特征进行再次卷积带入第二卷积网络中，这样可以增加人脸特征识别的精确度，保证了基于目标检测识别出来的人物均是由正面人脸的人物，将其他背景人物的影响消除，这样的操作区别于传统的人物检测模型，属于技术创造性改进。标识信息识别模型基于大量的分类图片进行训练而成，在准备训练样本采用将原始图片进行Y轴旋转360度的操作，保证了样本的全面性，从而保证了训练出模型有良好的泛化性能，而且这样的检测和识别方式可以对工作人员是否按照规定穿着制服进行监督和判责，维护企业品牌形象，使得客户满意度上升，场地管理更加方便，模型扩展性较强，应用价值较高，和相关技术相比属于创造性操作。
本发明提供的应用于客户端的信息合规检测方法的有益效果如下：
通过本发明实施例提供的技术方案可以向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息，客户端根据接受到的不合规信息，提示用户进行相应的改变，客户端将新图片发送至服务器。利于加强对形象的监管，提高客户满意度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
图1示出了可以应用本发明实施例的信息合规检测的方法或信息合规检测的装置的示例性***架构的示意图；
图2示意性示出了根据本发明实施例的应用于服务器的信息合规检测的方法的流程图；
图3示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的方法的流程图；
图4示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的方法的流程图。
图5示意性示出了根据本发明实施例的应用于客户端的信息合规检测的方法的流程图；
图6示意性示出了根据本发明实施例的服务器和客户端交互的示意图；
图7示意性示出了根据本发明实施例的应用于服务器的信息合规检测的装置的方框图；
图8示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的装置的方框图；
图9示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的装置的方框图；
图10示意性示出了根据本发明实施例的应用于客户端的信息合规检测的装置的方框图；
图11示意性示出了根据本发明另一个实施例的应用于客户端的信息合规检测的装置的方框图；
图12示意性示出了根据本发明实施例的服务器的计算机***的方框图；
图13示意性示出了根据本发明实施例的客户端的计算机***的方框图；
图14示意性示出了根据本发明实施例的一种信息合规检测的方法的流程图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
图1示出了可以应用本发明实施例的信息合规检测的方法或信息合规检测的装置的示例性***架构的示意图
如图1所示，***架构100可以包括终端设备(101、102、103)中的一种或多种，网络104和服务器105。网络104用以在终端设备(101、102、103)和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备(101、102、103)通过网络104与服务器105交互，以接收或发送消息等。终端设备(101、102、103)可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如服务器105可以从终端设备103(也可以是终端设备101或102)中获取图片，对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息，客户端根据接受到的不合规信息，提示用户进行相应的改变，客户端将新图片发送至服务器，而且这样的检测和识别方式可以对工作人员是否按照规定穿着制服进行监督和判责，维护企业品牌形象，使得客户满意度上升，场地管理更加方便，模型扩展性较强，应用价值较高，和相关技术相比属于创新性操作。
在一些实施例中，本发明实施例所提供的信息合规检测的方法一般由服务器105执行，相应地，信息合规检测的装置一般设置于服务器105中。在另一些实施例中，某些终端可以具有与服务器相似的功能从而执行本方法。因此，本发明实施例所提供的信息合规检测的方法不限定在服务器端执行。
图2示意性示出了根据本发明实施例的应用于服务器的信息合规检测的方法的流程图。
如图2所示，应用于服务器的信息合规检测的方法包括步骤S110～步骤S130。
在步骤S110中，接收图片并编码成图片信息，所述图片为上传的工作人员自拍照片。
在步骤S120中，利用人物检测模型检测图片信息中的人物信息，确定是否合规，所述人物信息包括含有完整人脸特征的人体信息，如果不合规，向客户端发送不合规信息，以便于提醒用户所述人物不合规。
在步骤S130中，如果合规，提取得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别人物图片信息，确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规。
该方法利用人物检测模型和标识信息识别模型对图片信息进行合规判断，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息，以便于提醒用户所述图片不合规，从而可以及时上传新图片进行再次验证。而且这样的检测方式扩展性较强，应用价值较高，和相关技术相比属于创新性操作。
在本发明的一些实施例中，上述制服可以指人员所穿的企业工装。
在本发明的一些实施例中，上述制服标识信息包括制服上标记的所属单位的图像或文字标识。
在本发明的一些实施例中，人物检测模型包括已经进行大量图片目标标注并完成训练的人物检测模型HF-ZF。
在本发明的一些实施例中，标识信息识别模型包括已经进行大量图片分类并完成训练的标识分类模型LRM。
在本发明的一些实施例中，上述人物检测模型HF-ZF基于过去一段时间段客户端上传的员工照片进行筛选后并标注和训练得来的，在训练结束后，服务器接收到由上传的图片信息时可以利用人物检测模型HF-ZF识别出是否含有人脸特征的正面人物区域。
在本发明的一些实施例中，上述标识分类模型LRM基于过去一段时间段客户端上传的员工照片，经过人物检测模型HF-ZF提取正面人物图片，对获取的人物图片进行分类和训练，在训练结束后，服务器接收到由上一步传来的人物图片信息时可以利用标识分类模型LRM识别出是否制服标识不合规。
图3示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的方法的流程图。
如图3所示，在上述步骤S130之后，还包括步骤S210。
在步骤S110中，接收图片并编码成图片信息，所述图片为上传的工作人员自拍照片。
在步骤S120中，利用人物检测模型检测图片信息中的人物信息，确定是否合规，所述人物信息包括含有完整人脸特征的人体信息，如果不合规，向客户端发送不合规信息，以便于提醒用户所述人物不合规。
在步骤S130中，如果合规，得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别所述图片信息，确定图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规。
在步骤S210中，响应于用户操作，接收新图片。
在该方法中，如果在上传图片存在不合规信息，向客户端发送不合规信息，以便于提醒用户所述图片不合规。当用户看到客户端展示的不合规信息，可以及时对图片进行核实，如果不合规属实，服务器可以响应于用户操作，接收新图片，如果该图片合规，可以及时用该新图片替换存在图片。
在本发明的一些实施例中，上述上传的新图片可以是用户在客户端重新拍照的图片。例如，当用户观看到客户端展示的不合规信息时，对该图片进行核查，并确定图片不合规，在这种情况下，用户做出相应改变，可以使用客户端重新拍照上传新图片。
图4示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的方法的流程图。
如图4所示，在上述步骤S110之前，上述方法还包括步骤S310～步骤S370。
在步骤S310中，获取过去一段时间内所有工作人员上传的自拍照片。
在步骤S320中，根据能够观察到照片中有完整人脸的人体为原则对图片进行筛选，得到满足条件的图片若干张。
在步骤S330中，在图片中标记出含有完整人脸的人体的边框并保存为相应格式的数据文件。
在步骤S340中，将打标完成的数据文件代入融合模型中训练得到人物检测模型HF-ZF。
在步骤S350中，利用HF-ZF对所有自拍图片进行正面人体识别提取得到的若干张图片作为样本，对人物图片进行旋转得到新图片。
在步骤S360中，对提取的人物图片和旋转后新图片进行正负样本分类。
在步骤S370中，基于迁移学习，使用分类后的样本进行训练得到标识分类模型LRM。
在本发明的一些实施例中，上传照片的设备来源可以是手机App端或电脑的客户端。
在本发明的一些实施例中，作为深度学习目标检测算法训练的前期样本准备阶段，筛选得到符合条件的图片数量应该足够大，至少在千数量级，本次总共筛选出了2000张符合要求的图片作为训练样本。
在本发明的一些实施例中，图片样本的标注工作既可以使用现有技术中的如Labelme软件进行，又可以通过自己编写的程序实现图片的目标标注。关于图片样本的具体标注工具和方式，本发明实施例不做具体限制。
在本发明的一些实施例中，人物检测模型以Faster-RCNN模型结构为基础。Faster-RCNN(Towards Real-Time Object Detection with Region Proposal Networks)是一种对图片进行相关目标检测和识别的模型，将特征抽取，候选框提取，边界框回归和分类都整合在了一个网络中，使得网络有较快的检测速度和较高的检测精度。而在特征抽取阶段，Faster-RCNN是采用基于ZF或VGG-16的卷积神经网络，网络层数较多会导致许多低层边缘特征丢失情况出现。在本发明实施例中，需要识别和提取的是正面人物图片，为了克服传统的Faster-R-CNN的缺点，增加人脸特征的影响，在图片特征卷积阶段，将标注图片先resize到固定大小M*N，M和N的值可以选择，如可以选择256*128,144*122等，在本发明实例中选择为256*128，将固定大小后的向上四分之一区域和全部图片区域分别作为输入，进入到第一ZF卷积神经网络和第二ZF卷积神经网络，将第一ZF神经网络的第二卷积输出特征图与第二ZF神经网络的第四卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第五卷积层进行特征捕捉，将第一ZF神经网络的第三卷积输出特征图与第二ZF神经网络的第五卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第六卷积层进行特征捕捉。
在本发明的一些实施例中，利用HF-ZF对所有自拍图片进行正面人体识别提取得到的若干张图片作为样本，考虑有的图片是通过手机前置摄像头所摄，形成镜面人像，为了保证样本平衡和训练出来的模型有较强的泛化能力，将所有样本图片按照原图片的Y轴进行360度旋转处理得到新图片。
在本发明的一些实施例中，将原始和旋转后的包含部分或全部制服标识信息的图片作为合规的正样本，完全不包含制服标识信息的图片作为不合规的负样本。图片分类过程既可以使用一些打标软件进行，又可以进行人工分类完成，本发明实施例不做具体限制。正负样本的比例要维持在1:1上下，可以采用图片增强的方式进行扩增相对少的样本量。
在本发明的一些实施例中，选择已经预训练完成的图片分类模型，目前比较常用的有VGG-16，inception等模型。本发明的实施例中选择inception-v3模型，利用迁移学习概念，保留inception-v3模型网络的卷积层参数，初始化全连接层参数，模型输出改为2，将已经分类完成的训练样本带入到模型中训练，batch可以设置为100，学习率设置为0.01，经过1000个epoch后得到标识分类模型LRM。
图5示意性示出了根据本发明实施例的应用于客户端的信息合规检测的方法的流程图。
如图5所示，应用于客户端的信息合规检测的方法包括步骤S410和步骤S420。
在步骤S410中，向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息。
在步骤S420中，接收并展示不合规信息。
通过本发明实施例提供的技术方案可以向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息，客户端根据接受到的不合规信息，提示用户进行相应的改变，客户端将新图片发送至服务器。
在本发明的一些实施例中，上述客户端可以是各种具有拍照功能的电子设备，且该电子设备还具有接收和发送图片和文本信息的功能。
在本发明的一些实施例中，当用户发现拍摄上传的图片不合规时，上述方法还包括向服务器发送用户拍摄上传的新图片。新图片是用户在客户端重新拍摄的包括正确制服标识的图片。例如，当用户观看到客户端提示所传图片不合规时，在这种情况下，用户做出相应改变，可以使用客户端重新拍摄上传新图片。
例如，当客户端进行拍摄上传图片时，图片将会以消费队列的形式传递到网关***，网关***在控制了负载均衡的情况下将图片以web service方式传输给部署在服务器中编码模块，编码模块对图片进行base64编码得到图片信息，并将图片信息传递到人物检测模型。人物检测模型模型接收到图片信息后，会对图片信息进行合规性判断。如果判断为不合规，向客户端发送人物不合规信息，如果判断为合规，提取正面人物区域图片进行编码再传递到标识信息识别模型，标识信息识别模型收到人物图片信息后，会进行合规性判断，如果判断为不合规，向客户端发送制服不合规信息。
当标识信息识别模型判断合规时，自动关闭页面；当用户看到客户端出现的不合规信息提示时，需要重新拍摄新图片。
图6示意性示出了根据本发明实施例的服务器和客户端交互的示意图。
下面是服务器和客户端交互过程，具体可以包括S1～S19，如图6所示：
S1：服务器选取若干张工作人员的自拍照片。
S2：服务器根据能够观察到照片中有完整人脸的人体为原则对图片进行筛选，得到满足条件的图片若干张。
S3：服务器在图片中标记出含有完整人脸的人体的边框并保存为相应格式的数据文件。
S4：服务器基于S3的训练样本，代入融合模型中训练得到人物检测模型HF-ZF。
S5：服务器利用HF-ZF对所有自拍图片进行正面人体识别提取得到的若干张图片作为样本，对人物图片进行旋转得到新图片。
S6：服务器对提取的人物图片和旋转后新图片进行正负样本分类。
S7：服务器基于迁移学习，使用分类后的样本进行训练得到标识分类模型LRM。
S8：客户端向服务器发送人员拍摄的新图片。
S9：服务器对图片进行base64编码处理得到图片信息。
S10：服务器利用人物检测模型对图片信息中的人物信息进行识别。
S11：服务器对人物信息识别结果进行合规判断。
S12：如果合规判断结果为不合规，服务器向客户端发送不合规信息，以便于提醒用户图片存在人物信息不合规。
S13：当用户观看到客户端展示的不合规信息时，可以及时对该图片进行核查，如果不合规属实，客户端将拍摄的新图片发送至服务器。
S14：如果合规判断结果为合规，服务器将所述正面人物区域图片发送到服务器下一模块。
S15：服务器对正面人物区域图片进行base64编码处理得到人物图片信息。
S16：服务器利用标识信息识别模型对图片信息中的制服标识信息进行识别。
S17：服务器对标识信息识别结果进行合规判断。
S18：如果不合规，服务器向客户端发送不合规信息，以便于提醒用户图片存在制服标识信息不合规。
S19：当用户观看到客户端展示的不合规信息时，可以及时对该图片进行核查，如果不合规属实，客户端将拍摄的新图片发送至服务器。
图7示意性示出了根据本发明实施例的应用于服务器的信息合规检测的装置的方框图。
如图7所示，应用于服务器的信息合规检测的装置200包括第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290。
具体地，第一接收模块210，用于接收图片。
编码模块220，用于对图片进行base64编码处理形成图片信息。
检测模块230，用于利用人物检测模型检测图片信息中的人物信息。
第一判断模块240，用于确定人物信息是否合规，所述人物信息包括含有完整人脸特征的人体信息。
抽取模块250，如果人物信息合规，抽取得到正面人物区域图片。
第一发送模块260，如果不合规，向客户端发送人物不合规信息，以便于提醒用户人物不合规，如果合规，得到正面人物区域图片并向编码模块发送。
识别模块270，用于利用标识信息识别模型识别从编码模块得到的人物图片信息。
第二判断模块280，用于确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识。
第二发送模块290，如果不合规，向客户端发送制服不合规信息，以便于提醒用户制服不合规。
该应用于服务器的信息合规检测的装置200可以利用信息合规检测方法对图片信息进行准确提取、识别和判断，然后将判断不合规结果发送给客户端，客户端根据接受不合规信息进行相关提示，用户对不合规信息进行确认后，客户端将拍摄新图片发送至服务器，而且这样的检测和识别方式可以对工作人员是否按照规定穿着制服进行监督和判责，维护企业品牌形象，使得客户满意度上升，场地管理更加方便，模型扩展性较强，应用价值较高，和相关技术相比属于创新性操作。
根据本发明的实施例，该应用于服务器的信息合规检测的装置200用于实现图2实施例描述的应用于服务器的信息合规检测方法。
图8示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的装置的方框图。
如图8所示，除了图7描述的第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290之外，应用于服务器的信息合规检测的装置300还包括第二接收模块310。
具体地，第二接收模块310，用于响应于用户操作，接收新图片。
在该应用于服务器的信息合规检测的装置300中，如果在上传图片存在不合规信息，向客户端发送不合规信息，以便于提醒用户所述图片不合规。当用户看到客户端展示的不合规信息，可以及时对图片进行核实，如果不合规属实，服务器可以响应于用户操作，接收新图片，如果该图片合规，可以及时用该新图片替换存在图片。
根据本发明的实施例，该应用于服务器的信息合规检测的装置300用于实现图3实施例描述的应用于服务器的信息合规检测的方法。
可以理解的是，第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290和第二接收模块310可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290和第二接收模块310中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290和第二接收模块310中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图9示意性示出了根据本发明另一个实施例的应用于服务器的信息合规检测的装置的方框图。
如图9所示，除了图8描述的第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290、第二接收模块310之外，应用于服务器的信息合规检测的装置400还包括获取模块410、筛选模块420、标注模块430、第一建立模块440、提取模块450、分类模块460、第二建立模块470。
具体地，获取模块410，用于获取过去一段时间内所有工作人员上传的自拍照片。
筛选模块420，用于根据能够观察到图片中含有人脸特征的正面人物对图片进行筛选。
标注模块430，用于对图片中的正面人物进行标注。
第一建立模块440，用于基于标注的数据文件代入改进后的Faster-RCNN训练得到人物检测模型。
提取模块450，用于对所有自拍图片进行正面人体识别提取。
分类模块460，用于将提取后的正面人体原始图片和和对原始人物图片进行旋转得到的新图片进行分类成正负样本。
第二建立模块470，用于基于正负样本图片代入inception-v3模型中进行迁移学习建立所述标识分类模型。
该应用于服务器的信息合规检测的装置400可以根据能够观察到图片中有完整人脸特征的人物对图片进行筛选，得到满足于条件的图片，对正面人物进行标注并带入到模型训练，获取的模型可以提高人物信息和制服标识信息识别的准确度。
根据本发明的实施例，该应用于服务器的信息合规检测的装置400用于实现图4实施例描述的应用于服务器的信息合规检测的方法。
可以理解的是，第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290、第二接收模块310、获取模块410、筛选模块420、标注模块430、第一建立模块440、提取模块450、分类模块460、第二建立模块470可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290、第二接收模块310、获取模块410、筛选模块420、标注模块430、第一建立模块440、提取模块450、分类模块460、第二建立模块470中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者第一接收模块210、编码模块220、检测模块230、第一判断模块240、抽取模块250、第一发送模块260、识别模块270、第二判断模块280、第二发送模块290、第二接收模块310、获取模块410、筛选模块420、标注模块430、第一建立模块440、提取模块450、分类模块460、第二建立模块470中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图10示意性示出了根据本发明实施例的应用于客户端的信息合规检测的装置的方框图；
如图10所示，应用于客户端的信息合规检测的装置500包括发送模块510和接收模块520。
具体地，发送模块510，用于向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，确定是否存在不合规信息，如果存在不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息。
接收模块520，用于接收并展示不合规信息。
应用于客户端的信息合规检测的装置500可以向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息，客户端根据接受到的不合规信息，提示用户进行相应的改变，客户端将新图片发送至服务器。
根据本发明的实施例，应用于客户端的信息合规检测的装置500用于实现图5实施例描述的应用于服务器的信息合规检测的方法。
图11示意性示出了根据本发明另一个实施例的应用于客户端的信息合规检测的装置的方框图。
如图11所示，除了图10描述的发送模块510和接收模块520之外，应用于客户端的信息合规检测的装置600包括再发送模块610。
具体地，再发送模块610，用户对提示的不合规信息进行确认，向服务器发送新图片。
应用于客户端的信息合规检测的装置600中，当用户观看到客户端展示的不合规信息时，对该图片进行核查，并确定图片不合规，在这种情况下，用户可以使用客户端重新拍照上传新图片。
可以理解的是，发送模块510、接收模块520、以及再发送模块610可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，发送模块510、接收模块520、以及再发送模块610中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，发送模块510、接收模块520、以及再发送模块610中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图12示意性示出了根据本发明实施例的服务器的计算机***的方框图。图12示出的计算机***仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，根据本发明实施例的信息合规检测的服务器的计算机***700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行参考图2-图4描述的根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有***700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行以上参考图1～图2描述的应用于服务器的信息合规检测方法的各种步骤。需要注意，该程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在该一个或多个存储器中的程序来执行以上参考图2-图4描述的应用于服务器的信息合规检测方法的各种步骤。
根据本发明的实施例，，服务器的计算机***700还可以包括输入/输出(I/O)接口707，输入/输出(I/O)接口707也连接至总线704。***700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本发明的实施例，上述参考流程图描述的方法可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的***中限定的上述功能。进一步的，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。进一步的，计算机可读介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM703以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行根据本发明实施例的应用于服务器的信息合规检测方法。该方法包括：接收图片并编码成图片信息，所述图片为上传的工作人员自拍照片；利用人物检测模型检测图片信息中的人物信息，确定是否合规，所述人物信息包括含有完整人脸特征的人体信息，如果不合规，向客户端发送不合规信息，以便于提醒用户所述人物不合规；如果合规，得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别人物图片信息，确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规；向客户端发送不合规信息之后，响应于用户操作，若工作人员选择重新检测，则接收新图片。
图13示意性示出了根据本发明实施例的信息合规检测的客户端的计算机***的方框图。图13示出的计算机***仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，根据本发明实施例的客户端的计算机***800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行参考图5描述的根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有客户端的计算机***800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM803中的程序来执行以上参考图5描述的应用于客户端的信息合规检测方法的各种步骤。需要注意，该程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在该一个或多个存储器中的程序来执行以上参考图5描述的应用于客户端的信息合规检测方法的各种步骤。
根据本发明的实施例，***800还可以包括输入/输出(I/O)接口807，输入/输出(I/O)接口807也连接至总线804。***800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本发明的实施例，上文参考流程图描述的方法可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本发明实施例的***中限定的上述功能。进一步的，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。进一步的，计算机可读介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种信息合规检测的计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行根据本发明实施例的应用于客户端的信息合规检测方法。该方法包括：用于向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片信息，确定是否存在不合规信息，如果存在不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息或制服不合规信息；客户端接收并展示不合规信息；工作人员对客户端展示的不合规信息进行确认，向服务器发送新图片。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。
Claims (12)
1.一种信息合规检测的方法，其特征在于，包括以下步骤：
S1.从工作人员客户端接收图片并编码成图片信息，所述图片为上传的工作人员自拍照片；
S2.利用人物检测模型检测图片信息中的人物信息，判断是否合规，所述人物信息包括含有完整人脸特征的人体信息，如果不合规，向客户端发送不合规信息，以便于提醒工作人员图片不合规，重新执行S1；
S3.如果合规，提取得到正面人物区域图片并编码成图片信息，利用标识信息识别模型识别人物图片信息，确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识，如果不合规，向客户端发送不合规信息，以便于提醒用户所述制服不合规；
所述步骤S3中，向客户端发送不合规信息之后，响应于用户操作，若工作人员选择重新检测，则接收新图片，重新执行S1；或工作人员选择结束。
其中：
所述人物检测模型包括已经进行大量图片目标标注并完成训练的人物检测模型HF-ZF；
所述标识信息识别模型包括已经进行大量图片分类并完成训练的标识分类模型LRM。
2.根据权利要求1所述的一种信息合规检测的方法，其特征在于，接收图片并编码成图片信息，包括：对图片进行base64编码处理形成图片信息。
3.根据权利要求1所述的一种信息合规检测的方法，其特征在于，利用人物检测模型检测图片信息中的人物信息，判断是否合规，方法包括：
将图片信息输入到已经完成训练的人物检测模型HF-ZF；
对模型输出结果进行合规判断；
其中，将图片信息输入到已经完成训练的人物检测模型HF-ZF，之前还包括：获取过去一段时间内所有工作人员上传的自拍照片；根据能够观察到照片中有完整人脸的人体为原则对图片进行筛选，得到满足条件的图片若干张；在图片中标记出含有完整人脸的人体的边框并保存为相应格式的数据文件；基于Faster-RCNN模型结构的基础上，为了增加人脸特征的影响，在图片特征卷积阶段，将标注图片先resize到固定大小M*N，将固定大小后的向上四分之一区域和全部图片区域分别作为输入，进入到第一ZF卷积神经网络和第二ZF卷积神经网络，将第一ZF神经网络的第二卷积输出特征图与第二ZF神经网络的第四卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第五卷积层进行特征捕捉，将第一ZF神经网络的第三卷积输出特征图与第二ZF神经网络的第五卷积输出特征图进行拼接完成特征融合，作为输入送入第二卷积神经网络中的第六卷积层进行特征捕捉；将打标完成的数据文件代入调整后的模型训练得到人物检测模型HF-ZF；
其中，对模型输出结果进行合规判断，方法包括：对模型结果softmax概率输出设定阈值，只有大于该阈值的边框坐标点才输出；如果输出的边框坐标点集合的长度为1，从原始图片中按照边框坐标点提取出含有人脸特征的人体图像；如果输出的边框坐标点集合的长度不等于1，则判断为不合规，不合规类型为人物不合规。
4.根据权利要求1所述的一种信息合规检测的方法，其特征在于，利用标识信息识别模型识别所述图片信息，确定图片信息中制服标识信息是否合规，包括：
将图片信息输入到已经完成训练的标识分类模型LRM；
对模型输出结果进行合规判断；
其中，将图片信息输入到已经完成训练的标识分类模型LRM，之前还包括：获取过去一段时间内所有工作人员上传的自拍照片；利用HF-ZF对所有自拍图片进行正面人体识别提取得到的若干张图片作为样本，并将所有样本图片按照原图片的Y轴进行360度旋转处理得到新图片；将原始和旋转后的包含部分或全部制服标识信息的图片作为合规的正样本，完全不包含制服标识信息的图片作为不合规的负样本；利用迁移学习概念，保留inception-v3模型网络的卷积层参数，初始化全连接层参数，模型输出改为2，将已经分类完成的训练样本带入到模型中训练，经过设置batch，学习率和epoch数值后得到标识分类模型LRM；
其中，对模型输出结果进行合规判断，方法包括：设定判断阈值；如果输出为合规标签且其概率值大于等于判断阈值，则判断为合规；如果输出为合规标签但其概率值小于判断阈值，或输出为不合规标签，则判断为制服标识信息不合规。
5.根据权利要求1所述的一种信息合规检测的方法，应用于客户端，其特征在于，包括：客户端向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型对图片进行合规判断，如果判断为不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息和制服不合规信息；
客户端接收并展示不合规信息。
6.根据权利要求5所述的一种信息合规检测的方法，应用于客户端，其中，还包括：工作人员对客户端展示的不合规信息进行确认，向服务器发送新图片。
7.一种信息合规检测的装置，应用于客户端，其特征在于：包括：
发送模块，用于向服务器发送图片，以使得所述服务器对图片编码后利用人物检测模型和标识信息识别模型识别图片，确定是否存在不合规信息，如果存在不合规，向客户端发送不合规信息，所述不合规信息包括人物不合规信息和制服不合规信息；
接收模块，用于接收并展示不合规信息；
再发送模块，用户对展示的不合规信息进行确认，向服务器发送新图片。
8.一种信息合规检测的客户端，其特征在于，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求5～6所述的方法。
9.一种信息合规检测的装置，应用于服务器，其特征在于，包括：
第一接收模块，用于接收图片；
编码模块，用于对图片进行base64编码处理形成图片信息；
检测模块，用于利用人物检测模型检测图片中的人物信息；
第一判断模块，用于确定人物信息是否合规，所述人物信息包括含有完整人脸特征的人体信息；
抽取模块，如果人物信息合规，抽取得到正面人物区域图片；
第一发送模块，如果不合规，向客户端发送人物不合规信息，以便于提醒用户所述人物不合规；如果合规，将抽取得到的正面人物区域图片向编码模块发送；
识别模块，用于利用标识信息识别模型识别从编码模块得到的人物图片信息；
第二判断模块，用于确定人物图片信息中制服标识信息是否合规，所述制服标识信息包括制服上标记的所属单位的图像或文字标识；
第二发送模块，如果不合规，向客户端发送制服不合规信息，以便于提醒用户所述制服不合规；
第二接收模块，用于响应于用户操作，接收新图片。
10.根据权利要求9所述的一种信息合规检测的装置，应用于服务器，其中，还包括：
获取模块，用于获取过去一段时间内所有工作人员上传的自拍照片；
筛选模块，用于根据能够观察到图片中含有人脸特征的正面人物对图片进行筛选；
标注模块，用于对图片中的正面人物进行标注；
第一建立模块，用于基于标注的数据文件代入改进后的Faster-RCNN训练得到人物检测模型；
提取模块，用于对所有自拍图片进行正面人体识别提取；
分类模块，用于将提取后的正面人体原始图片和和对原始人物图片进行旋转得到的新图片进行分类成正负样本；
第二建立模块，用于基于正负样本图片代入inception-v3模型中进行迁移学习建立所述标识分类模型。
11.一种信息合规检测的服务器，其特征在于，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～4任意一项所述的方法。
12.一种信息合规检测的计算机可读介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153781.7A CN110879988B (zh) | 2019-11-22 | 2019-11-22 | 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153781.7A CN110879988B (zh) | 2019-11-22 | 2019-11-22 | 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110879988A true CN110879988A (zh) | 2020-03-13 |
| CN110879988B CN110879988B (zh) | 2024-06-11 |
Family
ID=69729528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911153781.7A Active CN110879988B (zh) | 2019-11-22 | 2019-11-22 | 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879988B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553327A (zh) * | 2020-05-29 | 2020-08-18 | 上海依图网络科技有限公司 | 一种服饰识别方法、装置、设备和介质 |
| CN112307371A (zh) * | 2020-10-27 | 2021-02-02 | 支付宝(杭州)信息技术有限公司 | 小程序子服务识别方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN109815874A (zh) * | 2019-01-17 | 2019-05-28 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
| WO2019100814A1 (zh) * | 2017-11-24 | 2019-05-31 | 阿里巴巴集团控股有限公司 | 辅助物品的图像合规的方法、装置和电子设备 |
| CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于检测学习状态的方法和装置 |
-
2019
- 2019-11-22 CN CN201911153781.7A patent/CN110879988B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| WO2019100814A1 (zh) * | 2017-11-24 | 2019-05-31 | 阿里巴巴集团控股有限公司 | 辅助物品的图像合规的方法、装置和电子设备 |
| CN109815874A (zh) * | 2019-01-17 | 2019-05-28 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
| CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于检测学习状态的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴琴娣，康华光，吴鸿修: "运动图像序列自动解析方法的研究" * |
| 范博;邱芸;沈雷;: "图像识别技术在电信运维质检上的应用" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553327A (zh) * | 2020-05-29 | 2020-08-18 | 上海依图网络科技有限公司 | 一种服饰识别方法、装置、设备和介质 |
| CN111553327B (zh) * | 2020-05-29 | 2023-10-27 | 上海依图网络科技有限公司 | 一种服饰识别方法、装置、设备和介质 |
| CN112307371A (zh) * | 2020-10-27 | 2021-02-02 | 支付宝(杭州)信息技术有限公司 | 小程序子服务识别方法、装置、设备及存储介质 |
| CN112307371B (zh) * | 2020-10-27 | 2024-03-22 | 支付宝(杭州)信息技术有限公司 | 小程序子服务识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110879988B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019096181A1 (zh) | 安检检测方法、装置、***及电子设备 | |
| CN108229376B (zh) | 用于检测眨眼的方法及装置 | |
| CN108337505B (zh) | 信息获取方法和装置 | |
| US20190205618A1 (en) | Method and apparatus for generating facial feature | |
| KR102002024B1 (ko) | 객체 라벨링 처리 방법 및 객체 관리 서버 | |
| CN112906741A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110688893A (zh) | 佩戴安全帽的检测方法、模型训练方法及相关装置 | |
| CN111598164A (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
| CN108133197B (zh) | 用于生成信息的方法和装置 | |
| TW202009681A (zh) | 樣本標註方法及裝置、損傷類別的識別方法及裝置 | |
| CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
| CN110879988B (zh) | 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质 | |
| CN108805005A (zh) | 身份验证方法和装置、电子设备、计算机程序和存储介质 | |
| CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| US20180253602A1 (en) | Methods for categorizing input images for use e.g. as a gateway to authentication systems | |
| CN113677409A (zh) | 寻宝游戏引导技术 | |
| CN114663871A (zh) | 图像识别方法、训练方法、装置、***及存储介质 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN116071294A (zh) | 一种光纤表面缺陷检测方法和装置 | |
| CN111738199A (zh) | 图像信息验证方法、装置、计算装置和介质 | |
| CN114332809A (zh) | 一种图像识别方法、装置、电子设备和存储介质 | |
| CN110348328A (zh) | 教学质量的评估方法、装置、存储介质及电子设备 | |
| CN116977260A (zh) | 目标物的缺陷检测方法、装置、电子设备及存储介质 | |
| CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN108764033A (zh) | 身份验证方法和装置、电子设备、计算机程序和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240423 Address after: 262713, 180 meters northeast of the intersection of Yanglin Road and Fuqian Street, Tianliu Town, Shouguang City, Weifang City, Shandong Province Applicant after: Weifang Jie'er Network Technology Co.,Ltd. Country or region after: China Address before: Room 611-612, Block B, Wanda Future Tower, Baohe District, Hefei, Anhui 230052 Applicant before: Anhui Xiaomi Information Technology Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |