WO2019169895A1 - 抗侧脸干扰的人脸快速检测方法 - Google Patents

抗侧脸干扰的人脸快速检测方法 Download PDF

Info

Publication number
WO2019169895A1
WO2019169895A1 PCT/CN2018/115770 CN2018115770W WO2019169895A1 WO 2019169895 A1 WO2019169895 A1 WO 2019169895A1 CN 2018115770 W CN2018115770 W CN 2018115770W WO 2019169895 A1 WO2019169895 A1 WO 2019169895A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
training
image
model
detection
Prior art date
Application number
PCT/CN2018/115770
Other languages
English (en)
French (fr)
Inventor
黄翰
李子龙
郝志峰
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Priority to US16/979,186 priority Critical patent/US11263434B2/en
Publication of WO2019169895A1 publication Critical patent/WO2019169895A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the invention belongs to the technical field of computer intelligent monitoring video processing, and relates to a method for detecting a face quickly against side face interference.
  • the invention has the advantages of high processing speed and high detection rate, and can fully solve the problems of blur, occlusion and small face, and can effectively assist the work of security personnel.
  • the present invention provides a method for quickly detecting a face that is resistant to side face interference, and can effectively overcome the problems that a face can be detected due to face occlusion, too small, and blur, and the volume is adopted.
  • the neural network and the strategy of sharing parameters can greatly improve the detection speed.
  • the present invention adopts the following technical solutions:
  • the method for detecting face rapidity against side face interference of the invention comprises a data collection and preprocessing stage, a pre-training and training stage and a detection stage, and the specific steps are as follows:
  • step (b) in the data collection and preprocessing stage, performing mirror symmetry and Gaussian filtering on the face image collected in step (a) to generate a comprehensive amplification training set;
  • step (d) pre-training and training phase, the model parameters obtained in step (c) are used to initialize part of the parameters of the face detection model in a migration learning manner, and the original network model is changed into a two-class model;
  • Pre-training and training phase using the extended training set obtained in step (b) as the input training set, training to obtain the model to be used in the detection phase, and training is carried out in an end-to-end manner, including candidate region extraction, face The function of detecting feature extraction and feature classification;
  • Test phase The face detection method can conveniently adjust the scaling scale of the input image during testing to meet the requirements of accuracy, resource consumption and detection time.
  • step (a) includes the following steps:
  • step (a-1) Using the face image collected in step (a), use a rectangular frame to calibrate the face in the image. The calibration requires the rectangle to reach the highest point of the hairline, down to the lowest point of the chin. Left to the cheek;
  • step (b) includes the following steps:
  • step (b-1) Mirror the symmetry of the picture calibrated in step (a), set the coordinates of the upper left corner of the original calibration frame to be (x0, y0), the coordinates of the lower right corner (x1, y1), the width of the picture W, and the height H;
  • step (b-2) performing Gaussian filtering on the image amplification training set obtained in the step (b-1), wherein the convolution kernel size is 9*9 and the sigma value is 5, and the Gaussian filter amplification training set is obtained;
  • step (c) includes the following steps:
  • (c-2) Use ResNet-50 to train the pre-trained data set and adjust the classification category from 1000 to 21 categories, of which 20 are the above-mentioned ordinary objects and 1 is the background.
  • step (d) includes the following steps:
  • step (d-1) using the pre-trained model in step (c) to initialize some parameters of the face detection model in a migration learning manner;
  • (d-2) Use the regional full convolutional neural network as the main frame of training, and modify the number of classifications of the framework to 2 classifications.
  • step (e) includes the following steps:
  • (e-2) defining a network structure, the entire network including a likelihood window extraction sub-network and a region-based full convolution network;
  • step (e-2) As a preferred technical solution, in the step (e-2),
  • the likelihood window extraction sub-network is used to extract a face likelihood region from the image to be tested, by mapping each position of the last convolution layer by a combination of three scales and three aspect ratios.
  • the three scale areas are [128*128, 256*256, 512*512], and the three aspect ratios are [1:1, 1:2, 2:1], in this way.
  • the mapped image area can cover all target areas of the original image;
  • the area-based full convolution network is used to determine whether the candidate area provided by the RPN is a human face and further adjust the position of the face.
  • step (f) includes the following steps:
  • the present invention has the following advantages and beneficial effects:
  • the present invention After reading the face image, the present invention first scales the image, then extracts the feature into the deep neural network, and generates confidence scores of multiple face likelihood frames and face likelihood frames, and finally uses non-polar The method of large value suppression selects the most suitable face likelihood frame.
  • the rapid face detection method for anti-side interference selects the main face of the face (up to the highest point of the hairline, the lowest point of the lower to the chin, and the boundary between the left and right to the ear and the cheek) as The target is detected and the image is artificially amplified by mirror symmetry and Gaussian filtering. Therefore, the problem that the face cannot be detected due to partial occlusion, under-smallness, and blurring of the face can be largely overcome.
  • the present invention has no specific requirements for the angle of the face photo, and the detection effect on the side face is still very obvious.
  • the detection method of the invention is simple, and adopts an end-to-end detection mode, which can be applied to a real-time environment.
  • FIG. 1 is a general flow chart of a method for quickly detecting a face against side face interference according to the present invention.
  • the method for detecting a face quickly against side face interference in this embodiment includes a data collection and preprocessing stage, a pre-training and training stage, and a detection stage.
  • the face images in the application scene are first collected and the face parts in the image are labeled, and then the face samples are mirror symmetric and Gaussian filtered to generate an amplification training set.
  • Model training is divided into two steps: 1) using the image of the ordinary 20 classification object as the training input, and using SoftMax Loss to train a 21 classification (excessive type as the background) model as the pre-training model; 2) using step 1 Pre-training the model parameters to initialize some parameters of the face detection model in a "migration learning" manner, and change the classifier to 2 categories (one type is a face, and the other is a background).
  • the face detection model adopts the end-to-end training method, which includes the functions of face likelihood extraction, face feature extraction and feature classification.
  • Step (a) belongs to the data collection and preprocessing stage.
  • the main purpose is to collect and calibrate the data to generate the original training set.
  • the rectangular frame calibration method is simple and easy to use, reduces labor consumption, and is easy to perform step (b) data expansion. Increased features.
  • Step (a) includes the following steps:
  • Step (b) belongs to the data collection and preprocessing stage.
  • the main purpose is to augment the data collected and calibrated in step (a) by means of mirror symmetry and Gaussian filtering to solve the problem of insufficient training data and less fuzzy data.
  • Gaussian filtering is a linear smoothing filter.
  • Gaussian filtering is a process of weighted averaging of the entire image. The value of each pixel is obtained by weighted averaging of itself and other pixel values in the neighborhood.
  • the specific operation of Gaussian filtering is to replace the value of the convolution center pixel by the weighted average gray value of the pixels in the neighborhood determined by convolution with each pixel in the convolutional scanned image.
  • Step (b) includes the following steps:
  • (b-1) Mirror symmetry is applied to the original training set image and the face generated in step a.
  • Step (c) belongs to the pre-training and training phase.
  • the main purpose is to use ordinary objects for pre-training to improve the convergence speed of the training phase model.
  • Step (c) mainly includes the following steps:
  • (c-2) Define the network structure, the whole part of the network and the face detection network are transplanted, and it is convenient to use the migration learning method to migrate the pre-trained network parameters to the face detection network, and then use the formula (1) As a loss function.
  • the role of formula (1) is to extend the two-dimensional logistic regression to multidimensional, and each training has its own loss value for each category.
  • the pre-trained data set was trained using Region-based Fully Convolutional Networks (RFCN) and the classification category was adjusted to 21, with 20 categories being the above-mentioned common objects and 1 being the background.
  • RFCN Region-based Fully Convolutional Networks
  • step (d) pre-training and training phase, changing the original network model to a two-category model, and initializing the partial two-class model parameters with the pre-training model in step (c);
  • Step (d) belongs to the pre-training and training phase, which uses the pre-trained model in step (c) as the pre-training model and changes the original classifier model from 21 classification to 2 classification.
  • Step (d) mainly includes the following steps:
  • d-2 Use Region-based Fully Convolutional Networks (RFCN) as the main framework of training, and modify the number of classifications of the framework to 2 categories.
  • RFCN Region-based Fully Convolutional Networks
  • Step (e) belongs to the pre-training and training phase, which uses the comprehensive augmentation training set obtained in step (b) as an input training set, and trains the model to be used in the detection phase, and the training adopts an end-to-end manner, including candidate regions. Extraction, face detection feature extraction and feature classification.
  • Step (e) mainly includes the following steps:
  • RPN Region Proposal Network
  • RFCN Region-Based Fully Convolutional Network
  • the role of RPN is to extract the face likelihood region from the image to be tested.
  • the specific method is to map each position of the last convolution layer back to the original image region in a combination of three scales and three aspect ratios.
  • the scale areas are [128*128, 256*256, 512*512], and the three aspect ratios are [1:1, 1:2, 2:1], and the image area mapped in this way can basically Overwrites all target areas of the original image.
  • the role of the RFCN is to determine whether the candidate area provided by the RPN is a human face and further adjust the position of the face.
  • the present invention uses a convolution layer instead of a fully connected layer as a classification layer and a coordinate regression layer.
  • Step (f) belongs to the testing phase, and the model obtained by training in step (e) can be used to balance the face detection speed, resource consumption, and accuracy by adjusting the scale parameters.
  • the zoom scale is large, the face detection speed is slow, the resource consumption is high, but the accuracy rate is improved; and when the zoom scale is small, the face detection speed is faster, the resource consumption is less, but the accuracy rate is lowered.
  • the user should adjust the scaling scale parameters according to the actual detection requirements.
  • Step (f) mainly includes the following steps:
  • the input scale parameter contains the minimum scale edge interface min_len and the maximum scale edge max_len interface.
  • the length of the scaled picture is W1 and H1.
  • the values of W1 and H1 are as follows:
  • min_scale 2 ⁇ W 1 * H 1 ⁇ max_scale 2 that is, it can ensure that the scaled picture is scaled into a fixed area interval, and the time and resource consumption are guaranteed to be within a fixed range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种抗侧脸干扰的人脸快速检测方法，用户选择一张普通的图片，利用深度神经网络提取图片特征后，确定人脸的确切位置。一种人脸检测的训练方法，使用纯数据驱动的方式，使用普通人脸图片和人脸边界框作为输入，使用镜像对称与高斯滤波进行数据扩增，使用迁移学习与难例挖掘增强训练效果。在读入人脸图片后，先将图片缩放，然后放入深度神经网络中提取特征，并产生多个人脸似然框和人脸似然框的置信度得分，最后采用非极大值抑制的方式选取最合适的人脸似然框；对人脸照片的角度没有特定的要求，并且对于侧面人脸的检测效果依然非常明显。另外，上述检测方法简单，采用端到端的检测方式，可应用于实时环境。

Description

抗侧脸干扰的人脸快速检测方法 技术领域
本发明属于计算机智能监控视频处理技术领域，涉及一种抗侧脸干扰的人脸快速检测方法。
背景技术
监控视频，作为智能监控***的核心部分，一直受到广泛的关注。随着建设完备公共安全***的呼声越来越高，城市中的监控摄像头开始呈***式增长。在现有的人力资源情况下，仅凭人力检索动辄十几路的监控视频，甚至是在海量视频库中进行检索，这将浪费大量的时间。因此将视频监控自动化，充分发挥视频监控的自主性和实时性，解放人工劳动力，这对安防领域乃至人们生活水平的提高有着至关重要的作用。为了满足辅助甚至是自动检索或监控视频摄像的需求，很多自动/半自动算法应运而生。
但目前世面上的检测算法，例如人脸检测算法，很难满足市场的需求，其面对人脸检测任务时，往往不能有效地解决模糊，遮挡，过小，亦或是检测速度过慢等问题。而本发明处理速度快，检测率高，可以充分解决模糊、遮挡以及人脸过小问题，能够有效辅助安防人员的工作。
发明内容
针对现有人脸检测方法的缺点，本发明提出一种抗侧脸干扰的人脸快速检测方法，可以有效地克服人脸遮挡、过小、模糊导致的人脸不能被检测等问题，而且采用卷积神经网络以及共享参数的策略，可以大大地提高检测速度。为了达到上述目的，本发明采用以下技术方案：
本发明抗侧脸干扰的人脸快速检测方法，包含数据收集与预处理阶段、预训练与训练阶段和检测阶段，具体步骤如下：
(a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
(b)数据收集与预处理阶段，对步骤(a)中收集到的人脸图像进行镜像对称、高斯滤波处理，生成综合扩增训练集；
(c)预训练和训练阶段，使用类别数为M的非人脸普通物体的图片作为数据以SoftMax Loss或log-likehood loss的方式来预训练一个物体检测的多分类模型；
(d)预训练和训练阶段，将步骤(c)中训练得到的模型参数来以迁移学习的方式初始化人脸检测模型的部分参数,并将原始的网络模型改为二分类模型；
(e)预训练和训练阶段，将步骤(b)中的得到的扩充训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能；
(f)测试阶段该人脸检测方法可以在测试时方便的调节输入图片的缩放尺度以适应满足精确度、资源消耗和检测时间的要求。
作为优选的技术方案，所述步骤(a)包括下述步骤：
(a-1)使用步骤(a)中收集到的人脸图像，使用矩形框对图像中的人脸进行标定，标定时要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
(a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w，y1＝y0+h。
作为优选的技术方案，所述步骤(b)包括下述步骤：
(b-1)对步骤(a)中进行标定的图片做镜像对称，设原标定框左上角坐标为(x0，y0)，右下角坐标(x1,y1)，图片宽W，高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0，y’0＝y0)，右下角坐标(x’1＝W-x’1，y’1＝y0)，得到镜像扩增训练集；
(b-2)对步骤(b-1)中得到的镜像扩增训练集进行高斯滤波，其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集；
(b-3)对步骤(b-1)中得到的镜像扩增训练集和步骤(b-2)中得到的高斯滤波扩增训练集进行整合，整合过程中，人为的进行数据筛选工作：
A.对于存在单张人脸图片使用多数表决的方式，如果2人认为这为一张人脸图片，则将其保留；否则，将其删除；最终，将所有被保留的图片作为综合扩增训练集；
B.对于存在多张人脸的图片，如果存在被认为是人脸但没有被标记的情况，也将其人为剔除，最终将所有保留的图片作为综合扩增训练集。
作为优选的技术方案，所述步骤(c)包括下述步骤：
(c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
(c-2)使用ResNet-50对预训练数据集进行训练，并将分类类别从1000类调整为21类，其中20类为上述普通物体，1类为背景。
(c-3)为了预训练模型能充分的收敛，我们使用“multistep”的策略进行训练，第一步的步长为200000，第二步的步长为400000，总的迭代次数为800000次。
作为优选的技术方案，所述步骤(d)包括下述步骤：
(d-1)使用步骤(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数；
(d-2)使用区域全卷积神经网络作为训练的主体框架，并将该框架分类数量修改为2分类。
作为优选的技术方案，所述步骤(e)包括下述步骤：
(e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
(e-2)定义网络结构，整个网络包含似然窗口提取子网络和基于区域的全卷积网络；
(e-3)采用端到端的多任务训练方式，使用难例挖掘的方式，训练得到完整的人脸检测模型。
作为优选的技术方案，所述步骤(e-2)中，
所述似然窗口提取子网络用于从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种 方式映射的图像区域可覆盖原图像的所有目标区域；
所述基于区域的全卷积网络用于判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。
作为优选的技术方案，所述步骤(f)包括下述步骤：
(f-1)在测试时，输入尺度参数，其中包含最小缩放边接口和最大缩放边接口；
(f-2)该算法根据输入尺度参数对输入图片自动放缩到合适大小，并进行分类，输出位置信息和类别信息。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明在读入人脸图片后，先将图片缩放，然后放入深度神经网络中提取特征，并产生多个人脸似然框和人脸似然框的置信度得分，最后采用非极大值抑制的方式选取最合适的人脸似然框。
2、本发明提供的抗侧脸干扰的人脸快速检测方法选择人脸的脸部主要区域(上至发际线最高点、下至下巴最低点、左右各至耳朵与脸颊的分界线)作为检测目标，并通过镜像对称、高斯滤波的方式人为扩增训练图片，因此可以在很大程度上克服人脸部分遮挡、过小、模糊等导致的人脸无法被检测的问题。
3、本发明对人脸照片的角度没有特定的要求，并且对于侧面人脸的检测效果依然非常明显。
4、本发明检测方法简单，采用端到端的检测方式，可应用于实时环境。
附图说明
图1为本发明公开的一种抗侧脸干扰的人脸快速检测方法整体流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例抗侧脸干扰的人脸快速检测方法，包括数据收集与预处理阶段、预训练与训练阶段、检测阶段。
数据收集与预处理阶段首先采集应用场景下的人脸图像并标注图像中的人脸部位，然后将这些人脸样本做镜像对称和高斯滤波生成扩增训练集。
模型训练分为两个步骤：1)以普通20分类物体的图像作为训练输入，并采用SoftMax Loss的方式来训练一个21分类(多余一类为背景)模型作为预训练模型；2)用步骤1)预训练得到的模型参数来以“迁移学习”的方式来初始化人脸检测模型的部分参数，并将分类器改为2分类(一类为人脸，一类为背景)。该人脸检测模型作为最后阶段使用的模型，采用端到端的训练方式，包含了人脸似然提取、人脸特征提取及特征分类的功能。
如图1所示，本实施例的主要步骤如下：
(a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
步骤(a)属于数据收集与预处理阶段，主要目的是收集并标定数据生成原始训练 集，其采用的矩形框标定方法具有简单易用，降低人力消耗，并易于进行步骤(b)的数据扩增等特点。
步骤(a)包括以下步骤:
(a-1)使用1(a)中收集到的数据，使用矩形框对图像中的人脸进行标定，要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
(a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),则可以得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w,y1＝y0+h。
(b)数据收集与预处理阶段，对原始训练集进行镜像对称、高斯滤波，生成综合扩增训练集；
步骤(b)属于数据收集与预处理阶段，主要目的是通过镜像对称和高斯滤波的方式对步骤(a)中收集并标定好的数据进行增广以解决训练数据不足和模糊数据较少的问题。高斯滤波是一种线性平滑滤波，通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个卷积扫描图像中的每一个像素，用卷积确定的邻域内像素的加权平均灰度值去替代卷积中心像素点的值。
步骤(b)包括以下步骤：
(b-1)对步骤a中产生的原始训练集中图片、人脸标定做镜像对称。设原始训练集中，标定框左上角坐标为(x0,y0),右下角坐标(x1,y1),图片宽W,高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0,y’0＝y0),右下角坐标(x’1＝W-x’1,y’1＝y0)，得到镜像扩增训练集。
(b-2)对步骤a中产生的原始训练集、步骤(b-1)中得到的镜像扩增训练集整合到一起，对整合得到的训练集做高斯滤波。其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集。
(b-3)将步骤a中产生的原始训练集、步骤(b-1)中得到的镜像扩增训练集、步骤(b-2)中得到的高斯滤波扩增训练集整合到一起，得到综合扩增训练集。
(c)预训练和训练阶段，使用多类别非人脸普通物体图片为预训练数据预训练一个物体检测的多分类模型；
步骤(c)属于预训练与训练阶段，主要目的是使用普通物体进行预训练，以提高训练阶段模型的收敛速度。
步骤(c)主要包括以下步骤：
(c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
(c-2)定义网络结构，网络的整体部分与人脸检测网络移植，方便将预训练得到的网络参数使用迁移学习的方式，迁移到人脸检测网络中美去，然后使用公式(1)作为损失函数。公式(1)的作用是将二维的逻辑回归推广到多维，在训练时，针对每个类别，都有其独自的损失值。使用区域全卷积神经网络(Region-based Fully Convolutional Networks，RFCN)对预训练数据集进行训练，并将分类类别调整为21，其中20类为上述普通物体，1类为背景。
Figure PCTCN2018115770-appb-000001
(d)预训练和训练阶段，将原始的网络模型改为二分类模型，并以步骤(c)中预训练模型初始化部分二分类模型参数；
步骤(d)属于预训练与训练阶段，其使用步骤(c)中预训练得到的模型作为预训练模型，并将原始分类器模型从21分类改为2分类。
步骤(d)主要包括以下步骤：
(d-1)使用权利要求1(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数。
(d-2)使用区域全卷积神经网络(Region-based Fully Convolutional Networks，RFCN)作为训练的主体框架，并将该框架分类数量修改为2分类。
(e)预训练和训练阶段，将综合扩增训练集作为输入训练集，训练得到检测阶段将要使用的模型；
步骤(e)属于预训练与训练阶段，其使用步骤(b)中得到的综合扩增训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能。
步骤(e)主要包括以下步骤：
(e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
(e-2)定义网络结构，整个网络包含似然窗口提取子网络(Region ProposalNetwork，RPN)和基于区域的全卷积网络(Region-Based Fully Convolutional Network，RFCN)。RPN的作用是从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种方式映射的图像区域基本可以覆盖原图像的所有目标区域。RFCN的作用是判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。为了提高运算速度并保持较高的检测准确率，本发明使用卷积层替代全连接层作为分类层和坐标回归层。
(e-3)采用端到端的多任务训练方式，使用难例挖掘(Hard Example Mining)的方式，训练得到完整的人脸检测模型。难例挖掘，在目标检测中我们会事先标记标定框，然后在算法中会生成一系列似然，这些似然有跟标记的标定框重合的也有没重合的，那么重合度(IOU)超过一定阈值(通常0.5)的则认定为是正样本，以下的则是负样本。然后扔进网络中训练。然而这也许会出现一个问题那就是正样本的数量远远小于负样本，这样训练出来的分类器的效果总是有限的，会出现许多假阳性，把其中得分较高的这些假阳性视为难例，既然挖掘出了这些难例，就把这些扔进网络再训练一次，从而加强分类器判别假阳性的能力。
(f)测试阶段,根据测试集数据特点，调节输入图片的缩放尺度以满足检测精度、资源消耗、检测时间的要求，并进行测试。
步骤(f)属于测试阶段，其使用步骤(e)中训练得到的模型，可以通过调节尺度参数的方式，对人脸检测速度、资源消耗、准确率做出权衡。当缩放尺度较大时，人脸检测速度较慢，消耗资源较高，但准确率会提升；而当缩放尺度较小时，人脸检测速度较快，消耗资源较少，但准确率会降低。用户应该根据实际检测要求调节缩放尺度参数。
步骤(f)主要包括以下步骤：
(f-1)在测试时，输入尺度参数，其中包含最小缩放边接口min_len和最大缩放边max_len接口。设原图片边长为W0、H0，经过缩放后的图片边长为W1、H1,则W1、H1的值如下所示：
如果min_len*MAX(W 0,H 0)>max_len：
Figure PCTCN2018115770-appb-000002
Figure PCTCN2018115770-appb-000003
否则：
Figure PCTCN2018115770-appb-000004
Figure PCTCN2018115770-appb-000005
则：min_scale 2≤W 1*H 1≤max_scale 2，即可以保证将进行尺度缩放后的图片缩放到固定的面积区间内，保证时间、资源消耗在固定范围内。
(f-2)该算法对缩放好的图片，并进行分类，输出位置信息和类别信息。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

  1. 抗侧脸干扰的人脸快速检测方法，其特征在于，包含数据收集与预处理阶段、预训练与训练阶段和检测阶段，具体步骤如下：
    (a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
    (b)数据收集与预处理阶段，对步骤(a)中收集到的人脸图像进行镜像对称、高斯滤波处理，生成综合扩增训练集；
    (c)预训练和训练阶段，使用类别数为M的非人脸普通物体的图片作为数据以SoftMax Loss或log-likehood loss的方式来预训练一个物体检测的多分类模型；
    (d)预训练和训练阶段，将步骤(c)中训练得到的模型参数来以迁移学习的方式初始化人脸检测模型的部分参数,并将原始的网络模型改为二分类模型；
    (e)预训练和训练阶段，将步骤(b)中的得到的扩充训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能；
    (f)测试阶段该人脸检测方法可以在测试时方便的调节输入图片的缩放尺度以适应满足精确度、资源消耗和检测时间的要求。
  2. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(a)包括下述步骤：
    (a-1)使用步骤(a)中收集到的人脸图像，使用矩形框对图像中的人脸进行标定，标定时要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
    (a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w，y1＝y0+h。
  3. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(b)包括下述步骤：
    (b-1)对步骤(a)中进行标定的图片做镜像对称，设原标定框左上角坐标为(x0，y0)，右下角坐标(x1,y1)，图片宽W，高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0，y’0＝y0)，右下角坐标(x’1＝W-x’1，y’1＝y0)，得到镜像扩增训练集；
    (b-2)对步骤(b-1)中得到的镜像扩增训练集进行高斯滤波，其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集；
    (b-3)对步骤(b-1)中得到的镜像扩增训练集和步骤(b-2)中得到的高斯滤波扩增训练集进行整合，整合过程中，人为的进行数据筛选工作：
    A.对于存在单张人脸图片使用多数表决的方式，如果2人认为这为一张人脸图片，则将其保留；否则，将其删除；最终，将所有被保留的图片作为综合扩增训练集；
    B.对于存在多张人脸的图片，如果存在被认为是人脸但没有被标记的情况，也将其人为剔除，最终将所有保留的图片作为综合扩增训练集。
  4. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(c)包括下述步骤：
    (c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
    (c-2)使用ResNet-50对预训练数据集进行训练，并将分类类别从1000类调整为21类，其中20类为上述普通物体，1类为背景。
    (c-3)为了预训练模型能充分的收敛，我们使用“multistep”的策略进行训练，第一步的步长为200000，第二步的步长为400000，总的迭代次数为800000次。
  5. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(d)包括下述步骤：
    (d-1)使用步骤(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数；
    (d-2)使用区域全卷积神经网络作为训练的主体框架，并将该框架分类数量修改为2分类。
  6. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(e)包括下述步骤：
    (e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
    (e-2)定义网络结构，整个网络包含似然窗口提取子网络和基于区域的全卷积网络；
    (e-3)采用端到端的多任务训练方式，使用难例挖掘的方式，训练得到完整的人脸检测模型。
  7. 根据权利要求6所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(e-2)中，
    所述似然窗口提取子网络用于从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种方式映射的图像区域可覆盖原图像的所有目标区域；
    所述基于区域的全卷积网络用于判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。
  8. 根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(f)包括下述步骤：
    (f-1)在测试时，输入尺度参数，其中包含最小缩放边接口和最大缩放边接口；
    (f-2)该算法根据输入尺度参数对输入图片自动放缩到合适大小，并进行分类，输出位置信息和类别信息。
PCT/CN2018/115770 2018-03-09 2018-11-15 抗侧脸干扰的人脸快速检测方法 WO2019169895A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/979,186 US11263434B2 (en) 2018-03-09 2018-11-15 Fast side-face interference resistant face detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810194209.4 2018-03-09
CN201810194209.4A CN108446617B (zh) 2018-03-09 2018-03-09 抗侧脸干扰的人脸快速检测方法

Publications (1)

Publication Number Publication Date
WO2019169895A1 true WO2019169895A1 (zh) 2019-09-12

Family

ID=63194403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/115770 WO2019169895A1 (zh) 2018-03-09 2018-11-15 抗侧脸干扰的人脸快速检测方法

Country Status (3)

Country Link
US (1) US11263434B2 (zh)
CN (1) CN108446617B (zh)
WO (1) WO2019169895A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853019A (zh) * 2019-11-13 2020-02-28 西安工程大学 一种用于安检检测识别管制刀具的方法
CN110852352A (zh) * 2019-10-22 2020-02-28 西北工业大学 一种用于目标检测深度神经网络模型训练的数据增强方法
CN110880168A (zh) * 2019-10-08 2020-03-13 西安医学院 一种基于机器视觉的纸病识别分类方法
CN111553227A (zh) * 2020-04-21 2020-08-18 东南大学 基于任务指导的轻量级人脸检测方法
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN112465803A (zh) * 2020-12-11 2021-03-09 桂林慧谷人工智能产业技术研究院 一种结合图像增强的水下海参检测方法
CN113361395A (zh) * 2021-06-04 2021-09-07 中山大学 一种基于多任务学习模型的ai换脸视频检测方法
CN113468954A (zh) * 2021-05-20 2021-10-01 西安电子科技大学 基于多通道下局部区域特征的人脸伪造检测方法
CN113762084A (zh) * 2021-08-09 2021-12-07 江苏大学 基于RetinaXNet的建筑夜景灯光异常检测方法
CN114005150A (zh) * 2020-07-28 2022-02-01 北京君正集成电路股份有限公司 一种可量化的前端人脸检测的设计方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446617B (zh) * 2018-03-09 2022-04-22 华南理工大学 抗侧脸干扰的人脸快速检测方法
CN109658349A (zh) * 2018-11-16 2019-04-19 聚时科技(上海)有限公司 一种针对监督学习应用的图像增强方法及其应用
CN109376713A (zh) * 2018-12-11 2019-02-22 天地伟业技术有限公司 一种嵌入式人脸检测设备
CN110189255B (zh) * 2019-05-29 2023-01-17 电子科技大学 基于两级检测的人脸检测方法
CN112580408B (zh) * 2019-09-30 2024-03-12 杭州海康威视数字技术股份有限公司 深度学习模型训练方法、装置及电子设备
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN112381032B (zh) * 2020-11-24 2024-03-22 华南理工大学 抗人体姿态干扰的室内无人值守快速检测方法
CN112991200B (zh) * 2021-02-08 2024-02-02 中国科学院西安光学精密机械研究所 一种红外图像自适应增强的方法与装置
CN113076886A (zh) * 2021-04-09 2021-07-06 深圳市悦保科技有限公司 一种猫的面部个体识别装置和方法
CN113065533B (zh) * 2021-06-01 2021-11-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113689324B (zh) * 2021-07-06 2024-04-26 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置
CN114444293B (zh) * 2022-01-21 2023-06-23 南京森林警察学院 一种基于迁移学习的类干涉信号解相方法
CN115861940B (zh) * 2023-02-24 2023-04-28 珠海金智维信息科技有限公司 基于人体跟踪及识别技术的工作场景行为评估方法及***
CN116843988B (zh) * 2023-06-26 2024-01-30 中国信息通信研究院 一种基于深度学习的目标检测方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512620A (zh) * 2015-11-30 2016-04-20 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法和装置
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108446617A (zh) * 2018-03-09 2018-08-24 华南理工大学 抗侧脸干扰的人脸快速检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
JP4406547B2 (ja) * 2003-03-03 2010-01-27 富士フイルム株式会社 Ｉｄカード作成装置、ｉｄカード、顔認証端末装置、顔認証装置およびシステム
US7689033B2 (en) * 2003-07-16 2010-03-30 Microsoft Corporation Robust multi-view face detection methods and apparatuses
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US20170236057A1 (en) * 2016-02-16 2017-08-17 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and Method for Face Detection and Landmark Localization
CN107103269A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种表情反馈方法及智能机器人
CN105912990B (zh) * 2016-04-05 2019-10-08 深圳先进技术研究院 人脸检测的方法及装置
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106529447B (zh) * 2016-11-03 2020-01-21 河北工业大学 一种小样本人脸识别方法
CN106599863A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于迁移学习技术的深度人脸识别方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512620A (zh) * 2015-11-30 2016-04-20 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法和装置
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108446617A (zh) * 2018-03-09 2018-08-24 华南理工大学 抗侧脸干扰的人脸快速检测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880168A (zh) * 2019-10-08 2020-03-13 西安医学院 一种基于机器视觉的纸病识别分类方法
CN110852352A (zh) * 2019-10-22 2020-02-28 西北工业大学 一种用于目标检测深度神经网络模型训练的数据增强方法
CN110852352B (zh) * 2019-10-22 2022-07-29 西北工业大学 一种用于目标检测深度神经网络模型训练的数据增强方法
CN110853019A (zh) * 2019-11-13 2020-02-28 西安工程大学 一种用于安检检测识别管制刀具的方法
CN111553227A (zh) * 2020-04-21 2020-08-18 东南大学 基于任务指导的轻量级人脸检测方法
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN114005150A (zh) * 2020-07-28 2022-02-01 北京君正集成电路股份有限公司 一种可量化的前端人脸检测的设计方法
CN114005150B (zh) * 2020-07-28 2024-05-03 北京君正集成电路股份有限公司 一种可量化的前端人脸检测的设计方法
CN112465803A (zh) * 2020-12-11 2021-03-09 桂林慧谷人工智能产业技术研究院 一种结合图像增强的水下海参检测方法
CN113468954A (zh) * 2021-05-20 2021-10-01 西安电子科技大学 基于多通道下局部区域特征的人脸伪造检测方法
CN113468954B (zh) * 2021-05-20 2023-04-18 西安电子科技大学 基于多通道下局部区域特征的人脸伪造检测方法
CN113361395A (zh) * 2021-06-04 2021-09-07 中山大学 一种基于多任务学习模型的ai换脸视频检测方法
CN113361395B (zh) * 2021-06-04 2023-01-17 中山大学 一种基于多任务学习模型的ai换脸视频检测方法
CN113762084A (zh) * 2021-08-09 2021-12-07 江苏大学 基于RetinaXNet的建筑夜景灯光异常检测方法

Also Published As

Publication number Publication date
US11263434B2 (en) 2022-03-01
US20200410212A1 (en) 2020-12-31
CN108446617B (zh) 2022-04-22
CN108446617A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
WO2019169895A1 (zh) 抗侧脸干扰的人脸快速检测方法
CN109154978B (zh) 用于检测植物疾病的***和方法
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
WO2020007307A1 (zh) 全景图像的天空滤镜方法及便携式终端
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109063559B (zh) 一种基于改良区域回归的行人检测方法
EP1391842B1 (en) Method for locating faces in digital color images
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
CN109086723B (zh) 一种基于迁移学习的人脸检测的方法、装置以及设备
CN105184808B (zh) 一种光场图像前后景自动分割方法
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
CN106846339A (zh) 一种图像检测方法和装置
WO2012036669A1 (en) Smile detection systems and methods
CN107491762A (zh) 一种行人检测方法
CN103902958A (zh) 人脸识别的方法
CN108960076B (zh) 基于卷积神经网络的耳朵识别与跟踪方法
JP2006119817A (ja) 画像処理装置
CN106886763A (zh) 实时检测人脸的***及其方法
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN107564041B (zh) 一种可见光图像空中运动目标的检测方法
CN113076860B (zh) 一种野外场景下的鸟类检测***
CN106485226A (zh) 一种基于神经网络的视频行人检测方法
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
CN107403192B (zh) 一种基于多分类器的快速目标检测方法及***
CN112070041B (zh) 一种基于cnn深度学习模型的活体人脸检测方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909041

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/12/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18909041

Country of ref document: EP

Kind code of ref document: A1