WO2019134327A1 - 一种基于边缘检测与sift的人脸表情识别特征提取方法 - Google Patents

一种基于边缘检测与sift的人脸表情识别特征提取方法 Download PDF

Info

Publication number
WO2019134327A1
WO2019134327A1 PCT/CN2018/087568 CN2018087568W WO2019134327A1 WO 2019134327 A1 WO2019134327 A1 WO 2019134327A1 CN 2018087568 W CN2018087568 W CN 2018087568W WO 2019134327 A1 WO2019134327 A1 WO 2019134327A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
class
pixel
object class
gray
Prior art date
Application number
PCT/CN2018/087568
Other languages
English (en)
French (fr)
Inventor
高天寒
陈爽
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Publication of WO2019134327A1 publication Critical patent/WO2019134327A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Definitions

  • the invention belongs to the technical field of facial feature recognition, in particular to a facial expression recognition feature extraction method based on edge detection and SIFT.
  • Facial expression recognition is a technique for automatically identifying expressions based on faces. According to the individual differences of faces, it is more stable for itself.
  • the facial expression can be recognized; its implementation mainly seeks the mapping process between two feature points through the comparison of images and information points.
  • the traditional facial recognition method is suitable for facial expression recognition, the effect is not ideal, and the efficiency is low, and then, Facial expression recognition can be applied to public security, access control and other fields; therefore, implementing a facial expression recognition method is an important research direction.
  • image segmentation is to segment the entire image into partial image blocks for initial target extraction.
  • An important way is to detect the gray level or the sudden change of the structure through the edge detection, indicating the end of the area, so that the face can be better divided into the eyebrows, eyes, nose, mouth, and corners of the eyes.
  • a method for extracting facial expression recognition features based on edge detection and SIFT comprising:
  • the feature points in the object class sub-image are extracted, and a SIFT descriptor for the expression information in the object class sub-image is generated.
  • the edge detection includes:
  • the edge of the object class sub-image in the image is determined, and the object class sub-image is obtained, which is a sub-image about the face information.
  • the number of pixels of the background class and the object class in the statistical image specifically: a gray histogram reflecting the gray level distribution and the gray value frequency information according to the image; all pixels of the image are divided into two by using a given threshold Classes, a class that is larger than a given threshold is called an object class, and a class that is less than a given threshold is called a background class.
  • calculation object type pixel gray value median and background class pixel gray value median specifically:
  • the statistics of the gray level of the pixel in the object class and the gray level of the pixel in the background class are respectively counted, and the gray value of the pixel when the number of pixels in the corresponding class reaches half of the total number of pixels in the corresponding class is the gray level of the corresponding class pixel.
  • J is the distance function between the object class and the background class; the gray value of all pixels in the object class deviates from the sum of the gray values of the pixel of the object class pixel. Represents the distance from the gray value of all pixels in the object class to the median value of the pixel of the object class; the sum of the gray values of all pixels in the background class deviating from the median gray value of the background pixel Represents the distance from the gray value of all pixels in the background class to the median gray value of the background class pixel.
  • Extracting a feature point in the object image of the object class, and generating a SIFT descriptor for the expression information in the object class sub-image including:
  • the grayscale extreme point detection is performed based on the scale space constructed by the pixels on the object class sub-image, and the grayscale extreme point is used as the candidate feature point;
  • a SIFT descriptor for the expression information is generated for each feature point and the SIFT descriptor sub-dimensionality reduction process is performed.
  • Performing grayscale extreme point detection based on the scale space constructed by the pixels on the object class sub-image including:
  • a scale space is separately constructed for each pixel on the object class sub-image, and all the scale spaces obtained constitute a pyramid;
  • the gray extreme points in the pyramid are determined as candidate feature points.
  • the determining grayscale extreme points in the pyramid includes:
  • one pixel of the middle layer is compared with four adjacent pixels on the left and right sides of the layer and 18 pixels corresponding to the above nine pixels in the upper and lower adjacent layers of the intermediate layer, if the gray level of the current pixel
  • the value is the maximum value of the 26 pixel gray values, marking the current pixel as a gray extreme point, recording its position, curvature and scale, and determining the current gray extreme point as a candidate feature point; otherwise discarding the gray The extreme point, using the next pixel of the middle layer to find the gray extreme point.
  • the screening of candidate feature points includes:
  • the candidate feature points whose scale is smaller than the set threshold are removed, and the edge sensitive candidate feature points are removed to obtain the final feature points;
  • the edge-sensitive candidate feature points include: candidate feature points whose Hessian matrix values are negative, and candidate feature points whose principal curvature is not less than a set threshold in the Hessian matrix.
  • the SIFT descriptor sub-dimensionality processing includes:
  • SIFT descriptors of several feature points constitute a SIFT feature vector matrix
  • the eigenvectors and eigenvalues of the covariance matrix are obtained.
  • the eigenvectors corresponding to the largest k eigenvalues are composed into a transformation matrix, and the transformation matrix is multiplied by the SIFT descriptor to achieve dimensionality reduction.
  • the invention removes the equal influence of the background on the important information in the feature extraction process, and utilizes the scale invariance of the SIFT descriptor, and has certain invariance to the rotation, translation, illumination and a certain degree of affine transformation of the image.
  • the advantage is that the SIFT descriptor obtained by extracting the feature points of the image has high stability for noise, illumination, partial occlusion and affine transformation, and the SIFT descriptor in the extracted image completes the image matching, and uses PCA for performance.
  • Dimensionality reduction speeds up the extraction of features and matching time, improves matching efficiency and accuracy, and is very suitable for image recognition, image face recognition and image comparison, and overcomes the rotation, illumination, etc. of images in images. Aspects of the impact on face recognition; this method can be applied to research fields such as image processing.
  • FIG. 1 is a general flow chart of a method of a specific embodiment of the present invention.
  • FIG. 2 is a flow chart of edge detection according to an embodiment of the present invention.
  • step 3 is a detailed flow chart of step 3 of an embodiment of the present invention.
  • the embodiment provides a method for extracting facial expression recognition features based on edge detection and SIFT as shown in FIG. 1 , including:
  • Step 1 Collect a face image through a digital camera, a mobile phone, or a monitoring device to obtain an image including a face.
  • Step 2 Dividing the image into a background class and an object class, and performing edge detection to obtain a sub-image about the face information, that is, the object class sub-image.
  • the edge detection process shown in Figure 2 is as follows:
  • Step 2.1 Count the number of pixels of the background class and the object class in the image.
  • a gray histogram reflecting the gray level distribution and the gray value frequency information is obtained.
  • L be the total number of pixels of the image
  • His[i] denote the number of pixels whose gray value is i in the image
  • the given threshold th uses the given threshold th to divide all pixels of the image into two categories, which are larger than a given threshold th
  • One type is called an object class
  • a class smaller than a given threshold th is called a background class.
  • the gray histogram the number of pixels of the object class Sum Object and the number of pixels of the background class Sum BackGround are obtained .
  • Step 2.2 Calculate the gray value median of the object class pixel and the median gray value of the background class pixel.
  • the gray histogram based on the gray level distribution and the gray value frequency information is respectively counted from the gray minimum value of the pixel in the object class and the gray minimum value of the pixel in the background class, and the number of statistical pixels reaches the corresponding class.
  • the gray value of the pixel at half of the total number of pixels is the median gray value of the corresponding class pixel.
  • For the object class pixel grayscale median For the background class pixel gray value median, set Indicates the number of pixels corresponding to the median value of the gray level of the object class pixel. Indicates the number of pixels corresponding to the background gray value of the background pixel.
  • Step 2.3 Obscuring the pixel set of the image, and using the membership function of the blurred pixel set to indicate the degree to which the pixel belongs to the object class, and the greater the membership function value, the greater the probability that the pixel belongs to the object class.
  • ⁇ ij represents the degree to which the pixel point (m, n) in the image belongs to the object class
  • x ij represents the gray value of the pixel point (m, n) in the image
  • x max and x min are the pixels in the image, respectively.
  • the maximum gray value the smallest gray value.
  • Step 2.4 Calculate the degree to which the gray value of the pixel in the background class and the object class deviates from the median value of the pixel gray in the corresponding class.
  • V Obiect is the sum of the gray values of all the pixels in the object class deviating from the median value of the pixel of the object class
  • V BackGround is the degree to which the gray value of all pixels in the background class deviates from the median gray value of the background pixel.
  • P Obiect represents the probability that a pixel with a gray value of i appears in the object class
  • P BackGround represents the probability that a pixel with a gray value of i appears in the background class
  • ⁇ (i) represents a pixel with a gray value of i.
  • Step 2.5 When the distance between the object class and the background class is the smallest, the edge of the object class sub-image in the image is determined, and the object class sub-image is obtained, and the sub-image is a sub-image about the face information.
  • J is the distance function between the object class and the background class, specifically expressed by the distance between the gray value of all the pixels in the object class and the background class to the median value of the corresponding class gray; the gray of all pixels in the object class
  • the sum of degrees and the square of the gray value of the object class pixel Represents the distance from the gray value of all pixels in the object class to the median value of the pixel of the object class.
  • the gray value of all pixels in the background class deviates from the median value of the gray level of the background pixel.
  • the minimum value of the distance function between the object class and the background class is obtained by J(th * ), and the optimal segmentation threshold of the background sub-image and the object sub-image is determined.
  • Step 3 Extract feature points in the object class sub-image, and generate a SIFT descriptor for the expression information in the object class sub-image.
  • step 3 The specific process of step 3 shown in Figure 3 is as follows:
  • Step 3.1 Perform grayscale extreme point detection based on the scale space constructed by the pixels on the object class sub-image, and use the grayscale extreme point as the candidate feature point.
  • Step 3.1.1 calculating a two-dimensional Gaussian kernel of each pixel on the object image sub-image
  • I(x, y) denote an object class sub-image
  • (x, y) be an arbitrary pixel on the object class sub-image
  • L(x, y, ⁇ ) is a representation of I(x, y), wherein ⁇ is the standard deviation of the Gaussian kernel, and * is the convolution in the x and y directions of the object class sub-image.
  • Steps 3.1.1 to 3.1.2 are performed for each pixel of the object class sub-image, and all the scale spaces DoG obtained form a DoG pyramid.
  • Step 3.1.3 Determine the gray extreme point in the DoG pyramid as the candidate feature point: in the DoG pyramid, one pixel of the middle layer and four adjacent pixels of the left and right layers and the upper and lower adjacent layers of the middle layer The 18 pixels corresponding to the above 9 pixels are compared with the gray value. If the gray value of the current pixel is the maximum value of the 26 pixel gray values, the current pixel is marked as the gray extreme point, and the position is recorded. , curvature and scale, the current grayscale extreme point is determined as the candidate feature point; otherwise, the grayscale extreme point is discarded, and the grayscale extreme point is searched for by the next pixel of the middle layer.
  • Step 3.2 screening candidate feature points, and smoothing the gradient direction of the feature points.
  • Step 3.2.1 cull candidate feature points whose scale is less than a set threshold
  • D is the term in the Taylor expansion where the rest of the order is higher than the second order
  • x and y are the horizontal and vertical coordinates of the candidate feature points, respectively;
  • the threshold value is lower than the set threshold, the candidate feature point is removed.
  • the threshold is set to 0.03.
  • Step 3.2.2 Introduce the Hessian matrix to further filter the candidate feature points, and remove the feature points sensitive to the edge: remove the candidate feature points whose negative Hessian matrix value is negative, and remove the candidate feature points whose principal curvature is not less than the set threshold in the Hessian matrix. , to get the final feature points;
  • the Hessian matrix is defined as:
  • D xx is D(x, y, ⁇ ) for the second-order partial derivative of x
  • D xy is D(x, y, ⁇ ) for the first-order partial derivative of x and y
  • D yy is D(x, y, ⁇ ) Find the second-order partial derivative of y to form a Hessian matrix.
  • the eigenvalue, ⁇ min( ⁇ 1 , ⁇ 2 , . . . , ⁇ k ), which is the eigenvalue corresponding to the vertical direction of the Hessian matrix, only needs to know the ratio of the two eigenvalues, that is, the screening of the candidate feature points is completed.
  • ⁇ 1 , ⁇ 2 , . . . , ⁇ k ⁇ is the eigenvalue of the Hessian matrix, which is proportional to the principal curvature of D(X).
  • Tr(H) is the trace of the matrix
  • Det(H) is the value of the matrix
  • the candidate feature points are culled.
  • Step 3.2.3 Select a Gaussian function to smooth filter the gradient direction of the feature points
  • the gradient mode m and the gradient direction ⁇ are calculated using the pixel difference.
  • m(x, y) represents the gradient modulus of the candidate feature points
  • ⁇ (x, y) represents the gradient direction of the candidate feature points
  • L is the image and the Gaussian kernel convolution.
  • the gradient direction histogram is statistically calculated, and each neighborhood pixel of the current feature point is weighted in the gradient direction to the set pixel gradient direction (per 10 degree is plotted as a pixel gradient direction), and the pixel gradient direction histogram is obtained.
  • the main peak in the pixel gradient direction histogram is the main pixel gradient direction of the current feature point, and the pixel gradient direction histogram is not less than 80% of the main peak.
  • the peak value is the auxiliary pixel gradient direction of the current feature point; the weight of the neighborhood pixel is the product of the gradient mode m of the current feature point and the Gaussian function.
  • Step 3.3 Generate a SIFT descriptor for the emoticon information for each feature point and describe the sub-dimensionality reduction processing for the SIFT.
  • Step 3.3.1 Generate a SIFT descriptor for the expression information for each feature point: select a region of 16*16 pixels centered on each feature point, and divide the region into 4*4 sub-regions to calculate each sub-region. A gradient direction histogram of 8 directions of up, down, left, right, and diagonal in the region, and a seed point with cumulative gradient modulus values of 8 directions is obtained. Each feature point is described by 4*4 seed points, forming a feature point of 128 dimensions. SIFT descriptor.
  • SIFT Scale-invariant feature transform
  • Step 3.3.2 using the PCA algorithm to reduce the dimension of the SIFT descriptor.
  • Principal Component Analysis is a standard dimensionality reduction method that reduces n features to k (n>k).
  • the image is treated as a random vector with a certain regularity.
  • the similarity of face structure, the distribution of random vectors may not be random.
  • Principal component analysis can be used to obtain the principal component method of face image distribution, which is used to describe face. Its main feature is the ability to aggregate multi-segmented information into new composite images as little as possible. It can well overcome the shortcomings of SIFT dimension.
  • Step 3.3.2.1 SIFT descriptors of several feature points constitute a SIFT feature vector matrix
  • Step 3.3.2.2 Calculate the mean value of the SIFT feature vector matrix And the covariance matrix C x :
  • Step 3.3.2.3 obtain the eigenvector e i of the covariance matrix C x and the eigenvalue ⁇ i , and combine the eigenvector corresponding to the largest k eigenvalues e i into the transformation matrix A, and multiply the transformation matrix by the SIFT descriptor , to achieve dimensionality reduction.
  • the transform matrix A dimension is k ⁇ 128, and k is 36 in this embodiment, thus forming a 36 ⁇ 128-dimensional transform matrix A.
  • y i is a 36-dimensional SIFT descriptor and x i is a 128-dimensional SIFT descriptor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于边缘检测与SIFT的人脸表情识别特征提取方法，包括：获得包含人脸的图像；将图像划分为背景类和对象类，进行边缘检测后得到关于人脸信息的子图像，即对象类子图像；提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子。本发明在特征提取过程中去除掉背景对重要信息造成的等影响，对图像进行特征点提取得到的SIFT描述子，对于噪声、光照、部分遮挡以及仿射变换等的稳定性极高，提取到的图像中的SIFT描述子完成图像的匹配，同时利用PCA进行降维，加快了提取特征与匹配的时间，提高了匹配的效率以及准确率，非常适用于图像的识别、图像人脸识别与图像比对等方面。

Description

一种基于边缘检测与SIFT的人脸表情识别特征提取方法 技术领域
本发明属于面部特征识别技术领域，特别是一种基于边缘检测与SIFT的人脸表情识别特征提取方法。
背景技术
表情可以传播人类的想法与情感的方式，它包含大量有价值的信息；人脸表情识别是根据人脸自动进行表情鉴定的技术，依据人脸有个体差异性而对于自己本身比较稳定的特点，可以识别出人脸表情；它的实现主要通过图像以及信息点的比对，寻找两个特征点之间的映射关系过程。然而，由于人脸表情之间只存在微小的差别，特征点定位不准确等缺点，单纯的从传统的面部识别方法适用于人脸表情识别，效果不理想，效率较低，随之而来，人脸表情识别可应用于公共安全、访问控制等领域；因此，实现一种人脸表情识别方法是一个重要的研究方向。
图像分割的目的是将整张图片分割成部分图像块，实现初步目标提取。它的一种重要途径是通过边缘检测，检测灰度级或者结构存在突变的地方，表示区域的结束，这样可以更好的将人脸进行分块，成为定位眉毛、眼睛、鼻子、嘴角、眼角等细节信息的关键步骤之一。
发明内容
本发明的目的在于提供一种基于边缘检测与SIFT的人脸表情识别特征提取方法。
本发明的技术方案如下：
一种基于边缘检测与SIFT的人脸表情识别特征提取方法，包括：
获得包含人脸的图像；
将图像划分为背景类和对象类，进行边缘检测后得到关于人脸信息的子图像，即对象类子图像；
提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子。
所述边缘检测，包括：
统计图像中背景类和对象类的像素个数；
计算对象类像素灰度中值和背景类像素灰度中值；
对图像的像素集合模糊化；
计算背景类与对象类中像素灰度值偏离对应类像素灰度中值的程度；
对象类与背景类的距离最小时确定出图像中对象类子图像的边缘，得到对象类子图像，该子图像是关于人脸信息的子图像。
所述统计图像中背景类和对象类的像素个数，具体是：根据图像得出反映灰度分布及灰度值频数信息的灰度直方图；利用给定阈值将图像的所有像素分为两类，大于给定阈值的一类称为对象类，小于给定阈值的一类称为背景类。
所述计算对象类像素灰度中值和背景类像素灰度中值，具体是：
分别从对象类中像素的灰度最小值与背景类中像素的灰度最小值开始统计，统计的像素个数达到对应类中像素总数的一半时的像素的灰度值为对应类像素灰度中值。
所述对象类与背景类的距离通过如下对象类与背景类的距离函数计算：
Figure PCTCN2018087568-appb-000001
式中，J为对象类与背景类的距离函数；对象类中所有像素的灰度值偏离对象类像素灰度中值的程度之和开平方
Figure PCTCN2018087568-appb-000002
表示对象类中所有像素的灰度值到对象类像素灰度中值的距离；背景类中所有像素的灰度值偏离背景类像素灰度中值的程度之和开平方
Figure PCTCN2018087568-appb-000003
表示背景类中所有像素的灰度值到背景类像素灰度中值的距离。
所述提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子，包括：
基于对象类子图像上的像素所构建的尺度空间进行灰度极值点检测，将灰度极值点作为候选特征点；
对候选特征点进行筛选，对特征点的梯度方向进行平滑滤波；
针对每一个特征点生成关于表情信息的SIFT描述子并对SIFT描述子降维处理。
所述基于对象类子图像上的像素所构建的尺度空间进行灰度极值点检测，包括：
计算对象类子图像上每一个像素的二维高斯核；
针对对象类子图像上的每一个像素分别构建尺度空间，得到的所有尺度空间 构成金字塔；
确定金字塔中的灰度极值点，作为候选特征点。
所述确定金字塔中的灰度极值点，包括：
在金字塔里将中间层的一个像素与其所在层次左右各4个相邻像素以及中间层的上下相邻层次内的与上述9个像素对应的18个像素比较灰度值，若当前像素的灰度值为这26个像素灰度值中的最大值，标记当前像素为灰度极值点，记录其位置、曲率和尺度，将当前灰度极值点确定为候选特征点；否则舍弃该灰度极值点，利用中间层的下一个像素寻找灰度极值点。
所述对候选特征点进行筛选，包括：
将尺度小于设定阈值的候选特征点剔除，再将对边缘敏感的候选特征点去除，得到最终的特征点；
所述对边缘敏感的候选特征点，包括：Hessian矩阵值为负数的候选特征点，Hessian矩阵中主曲率不小于设定阈值的候选特征点。
所述对SIFT描述子降维处理，包括：
若干个特征点的SIFT描述子组成SIFT特征向量矩阵；
计算SIFT特征向量矩阵均值以及协方差矩阵；
求得协方差矩阵的特征向量与特征值，将最大的k个特征值所对应的特征向量组成变换矩阵，变换矩阵与SIFT描述子相乘，实现降维。
有益效果：
本发明在特征提取过程中去除掉背景对重要信息造成的等影响，利用SIFT描述子具有的尺度不变性、对图像的旋转、平移、光照以及一定程度上的仿射变换具有一定的不变性的优点，对图像进行特征点提取得到的SIFT描述子，对于噪声、光照、部分遮挡以及仿射变换等的稳定性极高，提取到的图像中的SIFT描述子完成图像的匹配，同时利用PCA进行降维，加快了提取特征与匹配的时间，提高了匹配的效率以及准确率，非常适用于图像的识别、图像人脸识别与图像比对等方面，克服了图像中人脸的旋转、光照等方面对人脸识别的影响；可以将这种方法应用于图像处理等研究领域。
附图说明
图1是本发明具体实施方式的方法总体流程图；
图2是本发明具体实施方式的边缘检测流程图；
图3是本发明具体实施方式的步骤3的具体流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做详细说明。
本实施方式提供一种如图1所示的基于边缘检测与SIFT的人脸表情识别特征提取方法，包括：
步骤1、通过数码相机、手机或监控设备对人脸图片进行采集，获得包含人脸的图像。
步骤2、将图像划分为背景类和对象类，进行边缘检测后得到关于人脸信息的子图像，即对象类子图像。
如图2所示的边缘检测流程如下：
步骤2.1、统计图像中背景类和对象类的像素个数。
根据步骤1所获得的人脸图像，得出反映灰度分布及灰度值频数信息的灰度直方图。设L为该图像的总像素个数，His[i]表示该图像中灰度值为i的像素个数，利用给定阈值th将图像的所有像素分为两类，大于给定阈值th的一类称为对象类，小于给定阈值th的一类称为背景类。根据灰度直方图得到对象类的像素个数Sum Object以及背景类的像素个数Sum BackGround。
计算公式如下：
Figure PCTCN2018087568-appb-000004
Figure PCTCN2018087568-appb-000005
步骤2.2、计算对象类像素灰度中值和背景类像素灰度中值。
基于反映灰度分布及灰度值频数信息的灰度直方图，分别从对象类中像素的灰度最小值与背景类中像素的灰度最小值开始统计，统计的像素个数达到对应类中像素总数的一半时的像素的灰度值为对应类像素灰度中值，设
Figure PCTCN2018087568-appb-000006
为对象类像素灰度中值，
Figure PCTCN2018087568-appb-000007
为背景类像素灰度中值，设
Figure PCTCN2018087568-appb-000008
表示对象类像素灰度中值所对应的像素个数，
Figure PCTCN2018087568-appb-000009
表示背景类像素灰度中值所对应的像素个数。
计算公式如下：
Figure PCTCN2018087568-appb-000010
Figure PCTCN2018087568-appb-000011
Figure PCTCN2018087568-appb-000012
Figure PCTCN2018087568-appb-000013
步骤2.3、对图像的像素集合模糊化，利用模糊化的像素集合的隶属函数表示像素属于对象类的程度，隶属函数值越大像素属于对象类的概率越大。
隶属函数如下所示：
Figure PCTCN2018087568-appb-000014
式中，μ ij表示图像中的像素点(m，n)属于对象类的程度，x ij表示图像中的像素点(m，n)的灰度值，x max、x min分别为图像中像素的最大灰度值、最小的灰度值。
步骤2.4、计算背景类与对象类中像素灰度值偏离对应类中像素灰度中值的程度。
P Object＝his[i]/Sum Object
Figure PCTCN2018087568-appb-000015
P BackGround＝his[i]/Sum BackGround
Figure PCTCN2018087568-appb-000016
式中，V Obiect为对象类中所有像素的灰度值偏离对象类像素灰度中值的程度之和；V BackGround为背景类中所有像素灰度值偏离背景类像素灰度中值的程度之 和，P Obiect表示灰度值为i的像素在对象类中出现的概率，P BackGround表示灰度值为i的像素在背景类中出现的概率，μ(i)表示灰度值为i的像素隶属于对应类的隶属程度，
Figure PCTCN2018087568-appb-000017
表示灰度值为对象类像素灰度中值的像素隶属于对象类的隶属程度，
Figure PCTCN2018087568-appb-000018
表示灰度值为背景类像素灰度中值的像素隶属于背景类的隶属程度。
步骤2.5、对象类与背景类的距离最小时确定出图像中对象类子图像的边缘，得到对象类子图像，该子图像是关于人脸信息的子图像。
可以采用如下对象类与背景类的距离函数计算对象类与背景类的距离：
Figure PCTCN2018087568-appb-000019
式中，J为对象类与背景类的距离函数，具体以对象类与背景类中所有像素的灰度值到对应类灰度中值的距离和的平方来表达；对象类中所有像素的灰度值偏离对象类像素灰度中值的程度之和开平方
Figure PCTCN2018087568-appb-000020
表示对象类中所有像素的灰度值到对象类像素灰度中值的距离，背景类中所有像素的灰度值偏离背景类像素灰度中值的程度之和开平方
Figure PCTCN2018087568-appb-000021
表示背景类中所有像素的灰度值到背景类像素灰度中值的距离。将J展开得到项
Figure PCTCN2018087568-appb-000022
反映出两类的差异程度，该值越大表示两类的方差差异越小，得到的分割图像越不理想，J全面考虑了对象类和背景类之间的集中和差异程度。通过J(th *)求得对象类与背景类的距离函数最小值，进而确定出背景类子图像和对象类子图像的最佳分割阈值。
Figure PCTCN2018087568-appb-000023
步骤3、提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子。
如图3所示的步骤3的具体流程如下：
步骤3.1、基于对象类子图像上的像素所构建的尺度空间进行灰度极值点检测，将灰度极值点作为候选特征点。
步骤3.1.1、计算对象类子图像上每一个像素的二维高斯核；
设I(x，y)表示对象类子图像，(x，y)为对象类子图像上的任意像素，L(x，y，σ)为I(x，y)的一种表示方式，其中σ为高斯核的标准差，*为在对象类子图像的x与y 方向上的卷积。计算如下二维高斯核G(x，y，σ)：
Figure PCTCN2018087568-appb-000024
L(x，y，σ)＝G(x，y，σ)*I(x，，y)
步骤3.1.2、针对对象类子图像上的像素分别构建尺度空间DoG，用D(x，y，σ)表示，表达式为：D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，式中k为常数，取
Figure PCTCN2018087568-appb-000025
针对对象类子图像每一个像素执行步骤3.1.1～3.1.2，得到的所有尺度空间DoG构成DoG金字塔。
步骤3.1.3、确定DoG金字塔中的灰度极值点，作为候选特征点：在DoG金字塔里，将中间层的一个像素与其所在层次左右各4个相邻像素以及中间层的上下相邻层次内的与上述9个像素对应的18个像素比较灰度值，若当前像素的灰度值为这26个像素灰度值中的最大值，标记当前像素为灰度极值点，记录其位置、曲率和尺度，将当前灰度极值点确定为候选特征点；否则舍弃该灰度极值点，利用中间层的下一个像素寻找灰度极值点。
步骤3.2、对候选特征点进行筛选，对特征点的梯度方向进行平滑滤波。
步骤3.2.1、将尺度小于设定阈值的候选特征点剔除；
先将候选特征点的尺度空间表达式D(x，y，σ)泰勒展开最高至平方项，得到如下表达式：
Figure PCTCN2018087568-appb-000026
其中的D为泰勒展开式中其余阶数高于二阶的项；X＝(x，y，σ) T是候选特征点的偏移量，x、y分别是候选特征点的横纵坐标；
再对泰勒展开的表达式D(X)进行求导，求出导数等于0时的候选特征点偏移量X′：
Figure PCTCN2018087568-appb-000027
然后，针对每一个候选特征点均采用上式求得偏移量
Figure PCTCN2018087568-appb-000028
将候选特征点的偏移量
Figure PCTCN2018087568-appb-000029
带入泰勒展开的表达式D(X)：
Figure PCTCN2018087568-appb-000030
若
Figure PCTCN2018087568-appb-000031
低于设定阈值，则去除掉该候选特征点，本实施例中设定阈值取0.03。
步骤3.2.2、引入Hessian矩阵对候选特征点进一步筛选，去除掉对边缘敏感的特征点：去除Hessian矩阵值为负数的候选特征点，去除Hessian矩阵中主曲率不小于设定阈值的候选特征点，得到最终的特征点；
Hessian矩阵定义为：
Figure PCTCN2018087568-appb-000032
其中：
Figure PCTCN2018087568-appb-000033
Figure PCTCN2018087568-appb-000034
Figure PCTCN2018087568-appb-000035
D xx为D(x，y，σ)对x求二阶偏导，D xy为D(x，y，σ)分别对x、y求一阶偏导，D yy为D(x，y，σ)对y求二阶偏导，构成Hessian矩阵。
Hessian矩阵的作用是求出主曲率，因为不稳定的候选特征点主方向响应会远大于其垂直方向，设α＝max(λ 1，λ 2，…，λ k)，即Hessian矩阵主方向对应的特征值，β＝min(λ 1，λ 2，…，λ k)，即为Hessian矩阵垂直方向对应的特征值，仅需要知道这两个特征值之比，即完成候选特征点的筛选，其中{λ 1，λ 2，…，λ k}为Hessian矩阵的特征值，与D(X)的主曲率成正比。
α+β＝D xx+D yy＝Tr(H)
αβ＝D xxD yy-D xy 2＝Det(H)
令α＝γβ，则：
Figure PCTCN2018087568-appb-000036
其中Tr(H)为矩阵的迹，Det(H)为矩阵的值，若Det(H)的值为负数，则将该候选特征点剔除。
Figure PCTCN2018087568-appb-000037
为D(X)的主曲率，其与α和β无关，只与γ有关，本实施例γ取10，若
Figure PCTCN2018087568-appb-000038
则剔除掉该候选特征点。
步骤3.2.3、选取高斯函数对特征点的梯度方向进行平滑滤波；
利用像素差计算梯度模m和梯度方向θ。
Figure PCTCN2018087568-appb-000039
Figure PCTCN2018087568-appb-000040
其中，m(x，y)表示候选特征点的梯度模值，θ(x，y)表示候选特征点的梯度方向，L为图像与高斯核卷积。
针对每一个特征点，在以其为中心的邻域内采样，统计梯度方向直方图，将当前特征点的每个邻域像素以加权的形式按梯度方向归到设定的像素梯度方向上(每10度划为一个像素梯度方向)，得到像素梯度方向直方图，像素梯度方向直方图中的主峰值即为当前特征点的主像素梯度方向，像素梯度方向直方图中不小于80％主峰值的峰值为当前特征点的辅助像素梯度方向；邻域像素的权重为当前特征点的梯度模m与高斯函数的乘积。
步骤3.3、针对每一个特征点生成关于表情信息的SIFT描述子并对SIFT描述子降维处理。
步骤3.3.1、针对每一个特征点生成关于表情信息的SIFT描述子：以每一个特征点为中心选取16*16像素的区域，将这片区域以平分为4*4个子区域，计算各子区域内上下左右以及对角共8个方向的梯度方向直方图，得到一个具有8个方向的累积梯度模值的种子点，每个特征点由4*4个种子点描述，形成特征点128维的SIFT描述子。
SIFT(Scale-invariant feature transform)对光照、旋转等方面有很好的效果，在人脸识别上已经有很好的效果，但是由于SIFT提取到的特征点较多，维数较高，对于存储数据和计算方面，影响算法的实时性，而且，正确匹配的特征点只有小部分，存在误配点，使识别效率降低。
步骤3.3.2、采用PCA算法对SIFT描述子降维处理。
主成分分析法(Principle Component Analysis，PCA)是一种标准的降维方法，将n个特征降维到k个(n＞k)；把图像视作分布具有一定规律性的随机向量， 根据人脸构造相似的特点，随机向量的分布可能不是随意的，通过主成分分析法可以得到人脸图像分布的主成分方法，用于描述人脸。它的主要特性是能够把多分段的信息尽可能少的聚集到新的组合图像中，它可以很好地克服SIFT维数过高的缺点。
步骤3.3.2.1、若干个特征点的SIFT描述子组成SIFT特征向量矩阵；
若干个特征点的128维SIFT描述子组成SIFT特征向量矩阵X n＝(x 1，x 2，...，x n)，维数为n×128，其中的x 1，x 2，...，x n为n个特征向量；
步骤3.3.2.2、计算SIFT特征向量矩阵均值
Figure PCTCN2018087568-appb-000041
以及协方差矩阵C x：
Figure PCTCN2018087568-appb-000042
Figure PCTCN2018087568-appb-000043
步骤3.3.2.3、求得协方差矩阵C x的特征向量e i与特征值λ i，将最大的k个特征值e i所对应的特征向量组成变换矩阵A，变换矩阵与SIFT描述子相乘，实现降维。
变换矩阵A维数为k×128，本实施例中k为36，因此形成36×128维的变换矩阵A。
y i＝Ax i
其中，y i为36维SIFT描述子，x i为128维SIFT描述子。

Claims (10)

  1. 一种基于边缘检测与SIFT的人脸表情识别特征提取方法，其特征在于，包括：
    获得包含人脸的图像；
    将图像划分为背景类和对象类，进行边缘检测后得到关于人脸信息的子图像，即对象类子图像；
    提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子。
  2. 根据权利要求1所述的方法，其特征在于，所述边缘检测，包括：
    统计图像中背景类和对象类的像素个数；
    计算对象类像素灰度中值和背景类像素灰度中值；
    对图像的像素集合模糊化；
    计算背景类与对象类中像素灰度值偏离对应类像素灰度中值的程度；
    对象类与背景类的距离最小时确定出图像中对象类子图像的边缘，得到对象类子图像，该子图像是关于人脸信息的子图像。
  3. 根据权利要求2所述的方法，其特征在于，所述统计图像中背景类和对象类的像素个数，具体是：根据图像得出反映灰度分布及灰度值频数信息的灰度直方图；利用给定阈值将图像的所有像素分为两类，大于给定阈值的一类称为对象类，小于给定阈值的一类称为背景类。
  4. 根据权利要求2所述的方法，其特征在于，所述计算对象类像素灰度中值和背景类像素灰度中值，具体是：
    分别从对象类中像素的灰度最小值与背景类中像素的灰度最小值开始统计，统计的像素个数达到对应类中像素总数的一半时的像素的灰度值为对应类像素灰度中值。
  5. 根据权利要求2所述的方法，其特征在于，所述对象类与背景类的距离通过如下对象类与背景类的距离函数计算：
    Figure PCTCN2018087568-appb-100001
    式中，J为对象类与背景类的距离函数；对象类中所有像素的灰度值偏离对象类像素灰度中值的程度之和开平方
    Figure PCTCN2018087568-appb-100002
    表示对象类中所有像素的灰度值到对象类像素灰度中值的距离；背景类中所有像素的灰度值偏离背景类像素灰度中值的程度之和开平方
    Figure PCTCN2018087568-appb-100003
    表示背景类中所有像素的灰度值到背景类像素灰度中值的距离。
  6. 根据权利要求1所述的方法，其特征在于，所述提取对象类子图像中的特征点，生成对象类子图像中关于表情信息的SIFT描述子，包括：
    基于对象类子图像上的像素所构建的尺度空间进行灰度极值点检测，将灰度极值点作为 候选特征点；
    对候选特征点进行筛选，对特征点的梯度方向进行平滑滤波；
    针对每一个特征点生成关于表情信息的SIFT描述子并对SIFT描述子降维处理。
  7. 根据权利要求6所述的方法，其特征在于，所述基于对象类子图像上的像素所构建的尺度空间进行灰度极值点检测，包括：
    计算对象类子图像上每一个像素的二维高斯核；
    针对对象类子图像上的每一个像素分别构建尺度空间，得到的所有尺度空间构成金字塔；
    确定金字塔中的灰度极值点，作为候选特征点。
  8. 根据权利要求7所述的方法，其特征在于，所述确定金字塔中的灰度极值点，包括：
    在金字塔里将中间层的一个像素与其所在层次左右各4个相邻像素以及中间层的上下相邻层次内的与上述9个像素对应的18个像素比较灰度值，若当前像素的灰度值为这26个像素灰度值中的最大值，标记当前像素为灰度极值点，记录其位置、曲率和尺度，将当前灰度极值点确定为候选特征点；否则舍弃该灰度极值点，利用中间层的下一个像素寻找灰度极值点。
  9. 根据权利要求6所述的方法，其特征在于，所述对候选特征点进行筛选，包括：
    将尺度小于设定阈值的候选特征点剔除，再将对边缘敏感的候选特征点去除，得到最终的特征点；
    所述对边缘敏感的候选特征点，包括：Hessian矩阵值为负数的候选特征点，Hessian矩阵中主曲率不小于设定阈值的候选特征点。
  10. 根据权利要求6所述的方法，其特征在于，所述对SIFT描述子降维处理，包括：
    若干个特征点的SIFT描述子组成SIFT特征向量矩阵；
    计算SIFT特征向量矩阵均值以及协方差矩阵；
    求得协方差矩阵的特征向量与特征值，将最大的k个特征值所对应的特征向量组成变换矩阵，变换矩阵与SIFT描述子相乘，实现降维。
PCT/CN2018/087568 2018-01-03 2018-05-18 一种基于边缘检测与sift的人脸表情识别特征提取方法 WO2019134327A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810004825.9A CN108038476B (zh) 2018-01-03 2018-01-03 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN201810004825.9 2018-01-03

Publications (1)

Publication Number Publication Date
WO2019134327A1 true WO2019134327A1 (zh) 2019-07-11

Family

ID=62098678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/087568 WO2019134327A1 (zh) 2018-01-03 2018-05-18 一种基于边缘检测与sift的人脸表情识别特征提取方法

Country Status (2)

Country Link
CN (1) CN108038476B (zh)
WO (1) WO2019134327A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675388A (zh) * 2019-09-27 2020-01-10 沈阳派得林科技有限责任公司 一种焊缝图像相似性比较方法
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN110765993A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于ai算法的sem图形量测方法
CN111027572A (zh) * 2019-12-02 2020-04-17 湖南警察学院 一种基于sift算法的单幅图像算法
CN111091133A (zh) * 2019-11-05 2020-05-01 西安建筑科技大学 一种基于sift算法的青铜器金文图像识别方法
CN111414917A (zh) * 2020-03-18 2020-07-14 民生科技有限责任公司 一种低像素密度文本的识别方法
CN111666925A (zh) * 2020-07-02 2020-09-15 北京爱笔科技有限公司 一种人脸识别模型的训练方法及装置
CN111709428A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111915582A (zh) * 2020-07-28 2020-11-10 南京工业大学浦江学院 基于亮度特征耦合信息量制约的图像篡改检测方法
CN112001954A (zh) * 2020-08-20 2020-11-27 大连海事大学 一种基于极曲线约束的水下pca-sift图像匹配方法
CN112017223A (zh) * 2020-09-11 2020-12-01 西安电子科技大学 基于改进SIFT-Delaunay的异源图像配准方法
CN112288734A (zh) * 2020-11-06 2021-01-29 西安工程大学 一种基于图像处理的印花织物表面缺陷检测方法
CN112508947A (zh) * 2020-12-29 2021-03-16 苏州光格科技股份有限公司 一种电缆隧道异常检测方法
CN113155293A (zh) * 2021-04-06 2021-07-23 内蒙古工业大学 一种基于无人机的人体遥感测温监测识别***
CN113421248A (zh) * 2021-06-30 2021-09-21 上海申瑞继保电气有限公司 变电站设备旋转图像数值处理方法
CN113777033A (zh) * 2021-08-18 2021-12-10 长沙长泰机器人有限公司 一种基于机器视觉的生条缺陷检测方法和装置
CN114359591A (zh) * 2021-12-13 2022-04-15 重庆邮电大学 一种融合边缘特征的自适应图像匹配算法
CN114783014A (zh) * 2022-02-25 2022-07-22 上海应用技术大学 一种去除遮挡人脸背景的阈值分割方法
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN115131355A (zh) * 2022-08-31 2022-09-30 南通鑫阳雨具有限公司 利用电子设备数据检测防水布异常的智能方法
CN110956640B (zh) * 2019-12-04 2023-05-05 国网上海市电力公司 一种异源图像边缘点检测与配准方法
CN116109915A (zh) * 2023-04-17 2023-05-12 济宁能源发展集团有限公司 一种集装箱箱门状态智能识别方法
WO2023103372A1 (zh) * 2021-12-06 2023-06-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN116647335A (zh) * 2023-05-26 2023-08-25 中国大唐集团财务有限公司 一种基于离散余弦变换通过场景生成私钥的方法和装置
CN117037272A (zh) * 2023-08-08 2023-11-10 深圳市震有智联科技有限公司 一种老人摔倒监测方法及***
CN117876361A (zh) * 2024-03-11 2024-04-12 烟台海上航天科技有限公司 用于燃气管道高危作业的图像处理方法及***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038476B (zh) * 2018-01-03 2019-10-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN109431511B (zh) * 2018-11-14 2021-09-24 南京航空航天大学 一种基于数字图像处理的人体背部脊柱侧弯脊柱轮廓特征曲线拟合方法
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN111830988A (zh) * 2020-07-29 2020-10-27 苏州科瓴精密机械科技有限公司 自动行走设备及其控制方法和***及可读存储介质
CN112418085B (zh) * 2020-11-23 2022-11-18 同济大学 一种部分遮挡工况下的面部表情识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632149A (zh) * 2013-12-17 2014-03-12 上海电机学院 一种基于图像特征分析的人脸识别方法
US20140369554A1 (en) * 2013-06-18 2014-12-18 Nvidia Corporation Face beautification system and method of use thereof
CN104881639A (zh) * 2015-05-14 2015-09-02 江苏大学 一种基于层次tdp模型的人脸检测、分割和表情识别方法
CN105550657A (zh) * 2015-12-23 2016-05-04 北京化工大学 基于关键点的改进sift人脸特征提取方法
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885893B1 (en) * 2011-11-22 2014-11-11 The United States Of America As Represented By The Secretary Of The Navy System and method for adaptive face recognition
CN104077597B (zh) * 2014-06-25 2017-09-05 小米科技有限责任公司 图像分类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140369554A1 (en) * 2013-06-18 2014-12-18 Nvidia Corporation Face beautification system and method of use thereof
CN103632149A (zh) * 2013-12-17 2014-03-12 上海电机学院 一种基于图像特征分析的人脸识别方法
CN104881639A (zh) * 2015-05-14 2015-09-02 江苏大学 一种基于层次tdp模型的人脸检测、分割和表情识别方法
CN105550657A (zh) * 2015-12-23 2016-05-04 北京化工大学 基于关键点的改进sift人脸特征提取方法
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765993A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于ai算法的sem图形量测方法
CN110765993B (zh) * 2019-09-25 2023-09-12 上海众壹云计算科技有限公司 基于ai算法的sem图形量测方法
CN110675388A (zh) * 2019-09-27 2020-01-10 沈阳派得林科技有限责任公司 一种焊缝图像相似性比较方法
CN110675388B (zh) * 2019-09-27 2024-02-02 沈阳派得林科技有限责任公司 一种焊缝图像相似性比较方法
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN110689485B (zh) * 2019-10-14 2022-11-04 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN111091133A (zh) * 2019-11-05 2020-05-01 西安建筑科技大学 一种基于sift算法的青铜器金文图像识别方法
CN111091133B (zh) * 2019-11-05 2023-05-30 西安建筑科技大学 一种基于sift算法的青铜器金文图像识别方法
CN111027572A (zh) * 2019-12-02 2020-04-17 湖南警察学院 一种基于sift算法的单幅图像算法
CN111027572B (zh) * 2019-12-02 2023-08-22 湖南警察学院 一种基于sift算法的单幅图像算法
CN110956640B (zh) * 2019-12-04 2023-05-05 国网上海市电力公司 一种异源图像边缘点检测与配准方法
CN111414917A (zh) * 2020-03-18 2020-07-14 民生科技有限责任公司 一种低像素密度文本的识别方法
CN111709428B (zh) * 2020-05-29 2023-09-15 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111709428A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111666925B (zh) * 2020-07-02 2023-10-17 北京爱笔科技有限公司 一种人脸识别模型的训练方法及装置
CN111666925A (zh) * 2020-07-02 2020-09-15 北京爱笔科技有限公司 一种人脸识别模型的训练方法及装置
CN111915582B (zh) * 2020-07-28 2024-03-08 南京工业大学浦江学院 基于亮度特征耦合信息量制约的图像篡改检测方法
CN111915582A (zh) * 2020-07-28 2020-11-10 南京工业大学浦江学院 基于亮度特征耦合信息量制约的图像篡改检测方法
CN112001954B (zh) * 2020-08-20 2023-09-15 大连海事大学 一种基于极曲线约束的水下pca-sift图像匹配方法
CN112001954A (zh) * 2020-08-20 2020-11-27 大连海事大学 一种基于极曲线约束的水下pca-sift图像匹配方法
CN112017223A (zh) * 2020-09-11 2020-12-01 西安电子科技大学 基于改进SIFT-Delaunay的异源图像配准方法
CN112017223B (zh) * 2020-09-11 2024-01-30 西安电子科技大学 基于改进SIFT-Delaunay的异源图像配准方法
CN112288734A (zh) * 2020-11-06 2021-01-29 西安工程大学 一种基于图像处理的印花织物表面缺陷检测方法
CN112508947A (zh) * 2020-12-29 2021-03-16 苏州光格科技股份有限公司 一种电缆隧道异常检测方法
CN113155293A (zh) * 2021-04-06 2021-07-23 内蒙古工业大学 一种基于无人机的人体遥感测温监测识别***
CN113421248B (zh) * 2021-06-30 2024-02-09 上海申瑞继保电气有限公司 变电站设备旋转图像数值处理方法
CN113421248A (zh) * 2021-06-30 2021-09-21 上海申瑞继保电气有限公司 变电站设备旋转图像数值处理方法
CN113777033A (zh) * 2021-08-18 2021-12-10 长沙长泰机器人有限公司 一种基于机器视觉的生条缺陷检测方法和装置
WO2023103372A1 (zh) * 2021-12-06 2023-06-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN114359591A (zh) * 2021-12-13 2022-04-15 重庆邮电大学 一种融合边缘特征的自适应图像匹配算法
CN114783014A (zh) * 2022-02-25 2022-07-22 上海应用技术大学 一种去除遮挡人脸背景的阈值分割方法
CN114783014B (zh) * 2022-02-25 2024-04-05 上海应用技术大学 一种去除遮挡人脸背景的阈值分割方法
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN115131355A (zh) * 2022-08-31 2022-09-30 南通鑫阳雨具有限公司 利用电子设备数据检测防水布异常的智能方法
CN116109915A (zh) * 2023-04-17 2023-05-12 济宁能源发展集团有限公司 一种集装箱箱门状态智能识别方法
CN116647335A (zh) * 2023-05-26 2023-08-25 中国大唐集团财务有限公司 一种基于离散余弦变换通过场景生成私钥的方法和装置
CN117037272A (zh) * 2023-08-08 2023-11-10 深圳市震有智联科技有限公司 一种老人摔倒监测方法及***
CN117037272B (zh) * 2023-08-08 2024-03-19 深圳市震有智联科技有限公司 一种老人摔倒监测方法及***
CN117876361A (zh) * 2024-03-11 2024-04-12 烟台海上航天科技有限公司 用于燃气管道高危作业的图像处理方法及***
CN117876361B (zh) * 2024-03-11 2024-05-10 烟台海上航天科技有限公司 用于燃气管道高危作业的图像处理方法及***

Also Published As

Publication number Publication date
CN108038476B (zh) 2019-10-11
CN108038476A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
WO2019134327A1 (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
Ge et al. Detecting masked faces in the wild with lle-cnns
Seo et al. Action recognition from one example
US8452096B2 (en) Identifying descriptor for person or object in an image
CN103632132B (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
Sarfraz et al. Head Pose Estimation in Face Recognition Across Pose Scenarios.
Li et al. Real-time object tracking via compressive feature selection
Guo et al. Improved hand tracking system
Lee et al. Face image retrieval using sparse representation classifier with gabor-lbp histogram
Angadi et al. Face recognition through symbolic modeling of face graphs and texture
Wan et al. Face recognition with convolutional neural networks and subspace learning
Wu et al. Privacy leakage of sift features via deep generative model based image reconstruction
Kruppa et al. Using Local Context To Improve Face Detection.
CN111325275A (zh) 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置
Santhanam et al. A survey of techniques for human detection in static images
Ammar et al. A Framework for People Re-Identification in Multi-Camera Surveillance Systems.
CN105678265B (zh) 基于流形学习的数据降维方法及装置
Mekami et al. Towards a new approach for real time face detection and normalization
Wang et al. Human interaction recognition based on sparse representation of feature covariance matrices
Al-Ani et al. Multi-view face detection based on kernel principal component analysis and kernel support vector techniques
El-Bashir et al. Face Recognition Model Based on Covariance Intersection Fusion for Interactive devices
Mohan et al. Object Face Liveness Detection with Combined HOG-local Phase Quantization using Fuzzy based SVM Classifier
Thomas et al. Real Time Face Mask Detection and Recognition using Python
Al-Azzawy Eigenface and SIFT for gender classification
Puhalanthi et al. Effective multiple person recognition in random video sequences using a convolutional neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18898463

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18898463

Country of ref document: EP

Kind code of ref document: A1