WO2014205768A1 - 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 - Google Patents

基于增量主成分分析的特征与模型互匹配人脸跟踪方法 Download PDF

Info

Publication number
WO2014205768A1
WO2014205768A1 PCT/CN2013/078331 CN2013078331W WO2014205768A1 WO 2014205768 A1 WO2014205768 A1 WO 2014205768A1 CN 2013078331 W CN2013078331 W CN 2013078331W WO 2014205768 A1 WO2014205768 A1 WO 2014205768A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
point
model
key
key point
Prior art date
Application number
PCT/CN2013/078331
Other languages
English (en)
French (fr)
Inventor
吴怀宇
潘春洪
陈艳琴
赵两可
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Priority to PCT/CN2013/078331 priority Critical patent/WO2014205768A1/zh
Publication of WO2014205768A1 publication Critical patent/WO2014205768A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to the field of computer graphics and image technology, and more particularly to a highly robust feature based on online incremental principal component analysis for matching models and models. Face tracking method.
  • face tracking technology can be mainly divided into three categories: feature matching based tracking, region matching based tracking and model matching based tracking.
  • This method performs tracking of sequence image moving targets, which includes two processes of feature extraction and feature matching.
  • feature extraction process it is necessary to select appropriate tracking features, and extract these features in the next frame of the sequence image; in the feature matching process, the extracted current frame features are the same as the previous frame, or are used to determine the target object.
  • the feature templates are compared, and it is determined whether the corresponding object is based on the comparison result, thereby completing the tracking process.
  • the feature points are not visible due to occlusion or light changes, which will result in tracking failure, which is based on the shortcomings of feature matching tracking.
  • This method is a method of tracking the detected value by using the common feature information of the connected area of the target object in the image. A variety of area information can be used in successive images. Tracking based on region matching cannot adjust the tracking result according to the overall shape of the target. Therefore, when tracking continuously for a long time, it is easy to cause the target to be lost due to error accumulation.
  • model-based matching tracking This method is to establish a model to represent the target object that needs to be tracked, and then track the model in the sequence image to achieve the purpose of tracking.
  • deformable models there are mainly two types of deformable models, one is a free-form deformable model, which can be used to track a target object of arbitrary shape as long as some simple regularization constraints (such as continuity, smoothness, etc.) are satisfied.
  • This type of method is often referred to as an active contour model; the other is a parametric deformation model that uses a parametric formula, or a prototype and a deformation formula to describe the shape of the target object.
  • the present invention proposes a highly robust online incremental principal component analysis feature and model matching face tracking method, which combines feature-based matching.
  • the feature of the highly robust online incremental principal component analysis and the model matching face tracking method include the following steps:
  • Step S1 performing offline modeling on a plurality of face images to obtain a model matching (CLM) model A including a shape model s and a texture model M/ t ;
  • CLM model matching
  • Step S2 inputting a to-be-tracked face video, performing key point detection on each frame of the face image in the to-be-tracked face video, and obtaining a set of all the key points obtained and a robust description of the key points
  • the sub-group is combined as the key point model B;
  • Step S3 Perform key point matching on each frame of the face image in the to-be-tracked face video based on the key point model B obtained in the step S2, and obtain a face image in each frame.
  • An initial face pose parameter set (R, T ), where R represents an angle parameter and ⁇ represents a displacement parameter;
  • Step S4 Perform CLM face tracking on the to-be-tracked face video by using the model, and obtain a location of a feature point in each frame of the face image of the to-be-tracked face video;
  • Step S5 based on the gesture parameter group of the face in each frame of the face image obtained by the step S3, and the position of the feature point in each frame of the face image tracked by the step S4, Tracking each frame of the face image in the face video for re-tracking of the face;
  • Step S6 Update the model A by using an incremental PCA method, and repeat the steps S1-S5 with the updated model A to obtain a final face tracking result.
  • the beneficial effects of the present invention are as follows:
  • the present invention combines feature matching (keypoint matching) and model matching (CLM) based face tracking, and simultaneously adds online incremental learning, so that CLM model A and key point model B match each other.
  • CLM model matching
  • the real-time update makes the detection accuracy and robustness well ensured, and the method of the invention can solve the face tracking problem of a larger viewing angle.
  • FIG. 1 is a flow chart of a feature matching model matching face tracking method based on online incremental principal component learning according to an embodiment of the invention
  • FIG. 2 is a schematic diagram showing the result of tracking a positive face according to the method of the present invention.
  • Figure 3 is a schematic illustration of the tracking results for a face having a small angular rotation in accordance with the method of the present invention
  • Figure 4 is a schematic illustration of the tracking results for a face having a large angular rotation in accordance with the method of the present invention.
  • FIG. 1 is a flowchart of a method for matching face and face matching methods based on online incremental principal component analysis according to the present invention. As shown in FIG. 1 , the method includes the following steps: Step Sl, offline modeling of a plurality of face images to obtain a model matching (CLM, Constrained Local Model) model A;
  • CLM Constrained Local Model
  • the CLM model A includes a shape model s and a texture model w T , so in this step, the step of obtaining the CLM model A includes the following steps:
  • Step S11 Perform calibration on the plurality of face images according to a common face contour determined in advance to obtain a plurality of calibration feature points, and obtain a face shape model according to coordinate values of the plurality of calibration feature points. ;
  • the shape is defined as a grid of a series of vertex positions, so a set of vertex coordinates can be used to define a face shape vector s m:
  • ⁇ ; . are the coordinate values of the first vertex in the corresponding face image
  • n is the number of vertices actually used, and can be set to 66, 88, and so on.
  • step S11 further includes the following steps:
  • Step S111 collecting N face images in advance, where N is a positive integer greater than n, and each face image is manually calibrated according to the common face contour, thereby obtaining a plurality of calibration feature points,
  • the common facial contour includes an outline of the eyes, the nose, the mouth, and the outside of the face, and then the N human face shape vector s m can be obtained according to the formula (1), where m represents the mth sheet in the N facial images. Face image.
  • Step S112 on the basis of obtaining the face shape vector s m , the face shape model s can be represented by a linear combination of an average face shape s Q plus u orthogonal face shape vectors, ie :
  • Step 12 Based on each of the calibration feature points obtained in step S11, learn a texture model M/ T that can represent a texture feature having a certain size region corresponding to each of the calibration feature points.
  • the establishment of the texture model may be performed in various manners.
  • a support vector machine (SVM) is used to establish the texture model, and the specific process includes:
  • Step S121 taking each of the calibration feature points of each face image obtained in the step S11 as a center, intercepting a region of size rxr as a positive sample, and intercepting a plurality of r X at any other position in the corresponding image.
  • the r-sized area is used as a negative sample, so that N-face images will have the same meaning of the calibration feature points (for example, in different face images, the calibration feature points of the left-eye corner are considered to have the same meaning.
  • N positive samples and multiple negative samples of feature points
  • Step S122 Obtain a texture model M/ T corresponding to each calibration feature point by using a support vector machine (SVM) based on the sample group corresponding to each calibration feature point.
  • SVM support vector machine
  • each sample (including positive and negative samples) in the sample group corresponding to each calibration feature point is first written into a mathematical form:
  • the texture model M/ T corresponding to each of the calibration feature points is obtained.
  • y( W T . ( + ⁇ (4 )
  • the key point model B is constructed and matched with the offline key points. This part includes the steps S2-S3, which are mainly for obtaining stable and effective key points, and learning as much as possible by simulating various deformations of the human face surface. Key points that are robust to these deformations, resulting in stable keypoint matching.
  • Step S2 inputting a to-be-tracked face video, performing key point detection on each frame of the face image in the to-be-tracked face video, and obtaining a set of all the key points obtained and a robust description of the key points
  • the sub-group is combined as the key point model B;
  • the method commonly used for the detection of key points is to perform identification detection based on key points in the image.
  • the advantage of using key points to identify image information over straight, curve segments, and points is that it can still make better matches in the presence of crowding (occlusion), large scale and direction changes.
  • the key point detection step includes the learning of key points and the learning of its robust descriptors, wherein the learning of the robust descriptors is to ensure the stability of the key points.
  • the learning of the key points includes the following steps:
  • Step S21 For each frame image in the sequence of face images, using a key point calculation method commonly used in the prior art, such as the Fast algorithm, a plurality of key points are obtained by initial calculation; Step S22, from the frame Selecting the invariant key points from the plurality of key points obtained in step S21, and combining the invariant key points of all the images in the to-be-tracked face video to obtain the key point set and the descriptors of the key points ( f 1 Xl , ), where 3 ⁇ 4 denotes the eigenvalue of the i-th key point, and ( Xl , yi ) denotes the coordinate of the key point;
  • the invariant key point is still after the posture rotation, the expression change, and/or the illumination change
  • the key point of the key point which uses the change of the parameter set (Pose, Shape, Light) to simulate the posture rotation, expression change and illumination change of the face, wherein Pose refers to the small range of posture rotation caused by Partial occlusion, Shape refers to non-rigid facial expression changes, L lg ht refers to complex changes caused by illumination, such as shadows;
  • W k 0 ; Pose, Shape, Light represent a key on image I Q Point ⁇ the position corresponding to the point k obtained under the above three kinds of transformations. If the key point k Q is still checked as a key point after the above transformation, and the following formula is satisfied, it is considered that the key point k Q has no for the above transformation.
  • F kQ is the key point!
  • the eigenvalue of ⁇ , F k is the eigenvalue of point k, and t is the upper limit of the allowed positioning error.
  • the key point descriptors in the currently obtained key point set are not robust, and then the learning method is needed to obtain the robust descriptors of the key points.
  • the learning of the key point robust descriptor uses an incremental learning method.
  • the key points should be invariant (such as invariance to direction, scale, rotation, etc.) as the main identification factor for detecting images.
  • the local appearance of key points may change in direction and scale, and sometimes even affine deformation. Therefore, in order to match the key points more accurately, it is necessary to effectively distinguish the key points.
  • the frame estimate of its local direction, scale and rotation is extracted to form a descriptor. For example, Sift is a descriptor that can be used to resample the key points.
  • the learning of the robust descriptors of the key points includes the following steps:
  • Step S23 performing key point detection on each frame image in the to-be-tracked face video according to the description of steps S21 and S22, to obtain n invariant key points, and the n invariant key points constitute Initial key point set A;
  • Step S24 performing a certain parameter transformation on the face in the image, and simulating the transformed image, wherein the parameter is shape, pose or light;
  • Step S25 performing key point detection on the transformed image according to the descriptions of steps S21 and S22 to obtain a plurality of invariant key points, and the invariant key points constitute a key point set B;
  • Step S26 depicting each point p in the key point set B, and the key point set A Narration matching operation:
  • Step S27 repeating the steps 24 to 26 for the image transformed by the other different parameters, and finally obtaining a complete key point robust descriptor of each frame image in the face video to be tracked.
  • Step S3 based on the key point model B obtained in the step S2, performing key point matching on each frame of the face image in the to-be-tracked face video, and obtaining an initial face in each frame of the face image.
  • An attitude parameter group wherein the attitude parameter group includes an angle parameter R and a displacement parameter T: (R, T);
  • the process of matching the key points is a process of comparing differences, and the object to be matched is usually a sequence of images with relatively small changes in the image frame before and after.
  • step S3 further includes the following steps:
  • Step S31 obtaining a key point of a previous face image frame of a certain frame face image of the face video according to the step S2, and searching for a previous face image frame in the frame face image
  • the descriptors are matched to form a set V of 3D key points in the current frame that are detected by using the existing 3D face model and can be matched with the descriptors in the key point model B, and the current frame is
  • the 2D key points on the descriptor matching in the key point model B constitute a set u, and the set V is passed through the selected pose parameter group (R, T), and the internal parameter K of the camera (this parameter can be determined in advance by the calibration method) And obtaining a set 2D key point u' of the set V after planar projection, comparing u' and u, and obtaining an initial face of the frame image with a minimum of
  • ⁇ is the camera parameter, is the angle matrix, r is the displacement vector, [ ?
  • CLM face tracking is performed, and this part is mainly implemented by step S4.
  • Step S4 performing CLM face tracking on the to-be-tracked face video by using the model A, and obtaining a position of a feature point in each frame of the face image of the to-be-tracked face video, and further based on the step S3 obtained an initial face pose parameter group, and obtained a face pose parameter group corrected for each frame of the face video of the to-be-tracked face video;
  • the step is to perform tracking of the facial feature points by a fitting operation, which is actually a process of adjusting parameters of a model, obtaining an example model, and matching the example model with a new input image. This is an energy minimization problem.
  • the step S4 further includes the following steps:
  • Step S41 performing face detection on a current frame face image in the to-be-tracked face video, obtaining initial n feature points, and correspondingly obtaining a response image of each feature point.
  • the frame face is firstly solved by the Viola-Jones method commonly used in the prior art.
  • the image is subjected to face detection to obtain a small range of face regions; then within the face region, a facial contour model is initialized, which may be the S mentioned above. .
  • a facial contour model is initialized, which may be the S mentioned above.
  • the initial n feature points of the frame face image are obtained according to the initialized face contour model.
  • Step S42 using the response image R x, y:), by fitting, the position of the feature point in the face image of each frame of the to-be-tracked face video having the same meaning as the current frame face image is obtained. ;
  • the fitting further includes the following steps:
  • Step S421 performing a search of a range of axa for the region of size r x r centered on each of the feature points obtained in the step S41, and obtaining a feature for each feature point a square area of diameter (r + a) centered;
  • the range of the sample at the time of learning is, that is, the size of the response image in the fitting process, step S422.
  • the next frame of the current frame is found by function fitting or A coordinate position of a feature point having the same meaning as the current frame face image in the square region of the previous frame image.
  • r(x, y) a' (x- x.) 2 + b' (y- y.) 2 +c' (7)
  • s j [R ⁇ x,y)-r ⁇ x,y)] (8)
  • r(x, is a positive sample of a certain feature point obtained by fitting, due to the positive sample of a certain feature point The feature point is centered, so the positive sample naturally yields the coordinate position of the feature point.
  • the present invention is The position limit of the feature points is introduced during the fitting process, that is, the position of the feature points obtained by the fitting x ⁇ should satisfy the formula (9), where 1 represents the first feature point: Where /0 represents the coordinate function of the fitted feature points, n is the number of feature points, and k is the principal component analysis PCA of the N face shape vector s m mentioned in the step S1.
  • the number of feature vectors indicates the weight of the corresponding feature vector, ⁇ indicates the feature value corresponding to the corresponding feature vector, and ⁇ is the artificially set weight.
  • H diag(H 1 , 2 ,... i ..., H n ), ⁇ diagCa b ), a and b are respectively the parameters in the formula (7);
  • F [F 1; F 2 F n ] T , where i is the ordinal number of the feature point, n is the number of feature points;
  • F i ⁇ , y 0l ] T , (xo, yo) is the response image of the corresponding feature point R (x, y:> has the maximum value
  • the coordinate point; [ / L s 2 / ! s k /H Sl s fc is the first k eigenvectors obtained after passing through the PCA, and ⁇ ⁇ ⁇ represents the eigenvalue corresponding to the corresponding eigenvector.
  • Equation (10) is a quadratic equation about X, so that a unique one can be obtained, so that the maximum value of (10) is obtained.
  • Step S43 based on the initial face pose parameter group obtained in the step S3, the corrected face pose parameter group is obtained according to the position of the feature point obtained by the fitting.
  • This step belongs to the prior art and will not be described here.
  • the key point detection described in the step S2 the face pose parameter group acquisition described in the step S3, and the CLM face tracking described in the step S4 need to be merged to learn from each other. To track the face to improve the robustness of face tracking.
  • Step S5 based on the gesture parameter group of the face in each frame of the face image obtained by the step S3, and the position of the feature point in each frame of the face image tracked by the step S4, Tracking each frame of the face image in the face video for re-tracking of the face;
  • the pose parameter group (R, T) of the face in each frame of the face image of the to-be-tracked face video may be calculated initially, and the parameter group may be used as an initial parameter when the CLM face is tracked.
  • the key point model B is used to initialize the CLM face tracking mainly because R represents the angle of the face. With R, the CLM model of the correct angle can be selected and the initialized face shape can be adjusted when the CLM is instantiated.
  • the CLM model contains models with multiple angles, such as three types: front model, left side model, and right side model. For the face to be tracked, the angle of the face is determined by R. When the CLM model is instantiated, the model matching the angle can be instantiated.
  • the step S5 further includes the following steps:
  • Step S51 obtaining, according to the step S2 and the step S3, a key point in the frame image of the frame of the face video to be tracked and an initial face pose parameter group;
  • Step S52 based on the initial face pose parameter group (R, T) in the frame face image, according to the description of the step S4, in the forward or backward direction (forward, for example, may be under the current frame image) a frame image direction, the backward direction may be, for example, a previous frame image direction of the current frame image) performing CLM face tracking on the face image in the to-be-tracked face video, and obtaining key points in each frame face image Positioning, and further obtaining a corrected face pose parameter group according to the initial face pose parameter set (R, ⁇ ), and updating the key point model ⁇ by using the corrected face pose parameter set;
  • the step of updating the key point model ⁇ further includes the following steps: Step S521: determining, for the current frame image, a posture of the face according to the face pose parameter group (R, ⁇ ); Step S522, updating the key point model B according to the matching situation of the key point description sub-F ⁇ f ⁇ i ⁇ n key point model B in the current frame image, specifically:
  • the initial key point model B is based on the front face map, and will be added with the key points on the side after repeated supplementation; otherwise, the supplementary update of the key point model B is not performed, because the key of the current frame image at this time Points may contain a lot of key points that are misidentified.
  • Step S53 Perform re-tracking of the face of each frame image in the to-be-tracked face video by using the updated key point model B according to the descriptions of steps S3 and S4.
  • the face pose parameter group may be initialized according to the description of the step S51 every several frames, which can correct the CLM face tracking because If the initialization of the previous frame is used for initialization, it may cause accumulation of errors, resulting in loss of tracking.
  • the present invention also adopts an online learning method, that is, step S6, to use the existing detection results to perform learning training at any time during the tracking process, so that modeling and tracking are integrated, and the online update can be performed.
  • Model A compared to the traditional machine learning process, that is, the separation of learning and application, has made a breakthrough. In this way, combined with the fusion tracking method introduced in the previous step, the tracking effect of the entire face tracking system can be made more robust, and even a larger angle of rotation can obtain a better tracking effect.
  • Step S6 Update the model A by using an incremental PCA (Incremental PCA) method, and repeat the steps S1-S5 with the updated model A to obtain a final face tracking result.
  • incremental PCA Intelligent PCA
  • the model A is divided into two parts: a shape and a texture model.
  • the shape model is taken as an example to illustrate the procedure.
  • the model A is still used for expression.
  • the model A it is known from the equation (2) that it is the average face shape S.
  • a set B' in which the coordinate vector of the face feature points obtained according to the face pose parameter group (R, T) accumulated during online learning is placed, which contains S z in the set A' (/ e ⁇ l, 2, ---, M ⁇ ), that is, the ⁇ in the set A' is obtained when offline modeling, and the partial elements S M+l , +ra in the set B' are updated
  • the key point model B is added to the set B' in real time
  • its arithmetic mean is set to S '.
  • m is the number of vectors in the set B'
  • n is the number of the feature points of the face.
  • the number of vectors added in the set B' can be set according to the needs of use, so that the accuracy of the online update is ensured, and the incremental learning is not required for each frame, thereby highlighting the timeliness.
  • the steps to update Model A include the following steps:
  • Step S61 calculating the singular value decomposition SVD of the expression ⁇ , and obtaining f/ ⁇ V T , wherein the matrix of each column vector in the set A′ is subtracted from the SQ ;
  • Step S63 calculating the singular value decomposition SVD of R, and obtaining ⁇ ⁇ ;
  • Step S64, calculating , then U' is a new set of orthogonal bases, which can also be understood as the updated set A', and then the updated model A;
  • FIGS. 2 to 4 are diagrams showing the results of tracking different faces according to the method of the present invention.
  • 2 is a schematic diagram showing the result of tracking the front face
  • FIG. 3 is a schematic diagram showing the tracking result of the face having a small angle of rotation
  • FIG. 4 is a schematic diagram showing the tracking result of the face having a large angle of rotation
  • Figure a in the middle is the tracking result without online incremental learning
  • Figure b is the tracking result of online incremental learning. It can be seen that the face tracking effect using online incremental learning is better than not online. Incremental learning face tracking effect.
  • the forgetting factor f is an empirical value, and the value ranges from 0 to 1.
  • the present invention combines face detection and CLM algorithms, and incorporates principal component analysis based on online incremental learning, thereby greatly improving the overall robustness of the system and ensuring the real-time performance of the system.
  • the present invention estimates the face angle using key point detection as a basis for selecting a model angle during CLM modeling, and at the same time, uses the CLM detection result to continuously correct the key point sample library, and on the other hand, utilizes
  • the detection result updates the CLM model online in real time, so that the model is no longer only statically acquired during learning, but is dynamically connected with the current state, thereby solving the problem of adjacent frames in the target image when performing CLM face tracking.
  • the problem of tracking loss that occurs at a large time improves the accuracy of tracking.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法，该方法包括以下歩骤：对多幅人脸图像进行离线建模，得到模型匹配（CLM）模型A；对待跟踪人脸视频中的每一帧进行关键点检测，所有关键点的集合及其鲁棒描述子组合为关键点模型B；基于所述关键点模型B对所述待跟踪人脸视频中的每一帧进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组；利用模型A对待跟踪人脸视频进行CLM人脸跟踪；基于初始人脸姿态参数组和初次跟踪结果进行再跟踪；更新模型A并重复上述歩骤，得到最终的人脸跟踪结果。本发明解决了在进行CLM人脸跟踪时，由于目标图像中相邻帧间变化大时出现的跟踪丢失的问题，从而提高了跟踪的精准度。

Description

基于增量主成分分析的特征与模型互匹配人脸跟踪方法 技术领域 本发明涉及计算机图形图像技术领域， 尤其是一种高鲁棒性的基于 在线增量主成分分析的特征与模型互匹配人脸跟踪方法。
背景技术 近年来， 计算机视觉技术取得了长足的发展， 图像识别与跟踪已经 成为计算机领域一个热门的研究方向。 鲁棒的实时人脸跟踪是智能视频 监控和基于视觉的人机交互以及机器人导航等领域的一个核心。 该技术 应用于视频会议、 公安刑侦、 访问控制、 金融支付、 医学应用等众多领 域。 人脸是一个非刚性的识别对象， 在运动中， 其大小、 形状的变化都 会影响跟踪的效果， 所以实时的人脸跟踪是对计算机视觉领域的一个挑 战。
目前人脸跟踪技术主要可以分为三类： 基于特征匹配的跟踪、 基于 区域匹配的跟踪和基于模型匹配的跟踪。
对于基于特征匹配的跟踪： 该方法进行序列图像运动目标的跟踪， 其包括特征提取和特征匹配两个过程。 在特征提取过程中需要选择适当 的跟踪特征， 并且在序列图像的下一帧中提取这些特征； 在特征匹配过 程中， 将提取到的当前帧的特征同上一帧， 或者是用来确定目标物体的 特征模板进行比较， 根据比较结果确定是否是对应物体， 从而完成跟踪 过程。但是特征点会由于遮挡或光线变化而不可见，这将导致跟踪失败， 这是基于特征匹配跟踪的缺点。
对于基于区域匹配的跟踪： 该方法是把图像中目标物体的连通区域 的共有特征信息作为跟踪检测值的一种方法。 在连续的图像中可以采用 多种区域信息。 基于区域匹配的跟踪不能根据目标的整体形状来对跟踪 结果进行调整， 因此在长时间连续跟踪时， 容易因误差累积而发生目标 丢失的情况。 对于基于模型匹配的跟踪： 该方法是通过建立模型的方法来表示需 要跟踪的目标物体， 然后在序列图像中跟踪这个模型来达到跟踪的目的。 目前主要有两种类型的可变形模型， 一种是自由式的可变形模型， 只要 满足一些简单的正则化约束条件 (如连续性， 平滑性等 )， 就可以用来跟 踪任意形状的目标物体， 这类方法通常也被称为活动轮廓模型； 另一种 是参数形式的变形模型， 它使用一个参数公式， 或者是一个原形与一个 变形公式来共同描述目标物体的形状。
由上可见， 目前主流的人脸跟踪技术， 还是不能在保证鲁棒性的前 提下去精准地跟踪到人脸。
发明内容 为了解决现有技术的问题， 本发明的目的是提供一种高鲁棒性的人 脸跟踪技术。
为了达成所述目的， 本发明提出了一种高鲁棒性的在线增量主成分 分析的特征与模型互匹配人脸跟踪方法， 该方法结合了基于特征匹配
(关键点匹配） 和基于约束局部模型匹配 （CLM)的跟踪， 同时加入了 在线增量主成分学习， 让 CLM模型 A和关键点点模型 B相互匹配， 并 实时更新， 使得检测的精准度和鲁棒性地到了很好地保证， 且可以解决 较大视角的人脸跟踪问题。
所述高鲁棒性的在线增量主成分分析的特征与模型互匹配人脸跟 踪方法包括以下歩骤：
歩骤 Sl， 对于多幅人脸图像进行离线建模， 得到包括形状模型 s和 纹理模型 M/t的模型匹配 （CLM) 模型 A;
歩骤 S2, 输入一待跟踪人脸视频， 对于所述待跟踪人脸视频中的每 一帧人脸图像进行关键点检测， 将所得到的所有关键点的集合和这些关 键点的鲁棒描述子组合起来作为关键点模型 B;
歩骤 S3， 基于所述歩骤 S2得到的关键点模型 B， 对于所述待跟踪 人脸视频中的每一帧人脸图像进行关键点匹配， 获得每一帧人脸图像中 初始的人脸姿态参数组 （R， T )， 其中， R表示角度参数和 Τ表示位移 参数；
歩骤 S4,利用所述模型 Α对所述待跟踪人脸视频进行 CLM人脸跟 踪， 得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置；
歩骤 S5， 基于所述歩骤 S3得到的每一帧人脸图像中人脸的姿态参 数组和所述歩骤 S4跟踪得到的每一帧人脸图像中特征点的位置， 对所 述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；
歩骤 S6， 使用增量 PCA方法对所述模型 A进行更新， 并利用更新 后的模型 A重复所述歩骤 S1-S5, 得到最终的人脸跟踪结果。
本发明的有益效果是： 本发明结合了基于特征匹配 （关键点匹配） 和基于模型匹配 （CLM)的人脸跟踪， 同时加入在线增量学习， 让 CLM 模型 A和关键点模型 B相互匹配， 并实时更新，使得检测的精准度和鲁 棒性得到了很好地保证， 本发明方法可以解决较大视角的人脸跟踪问题。
附图说明 图 1是根据本发明一实施例的基于在线增量主成分学习的特征与模 型互匹配人脸跟踪方法流程图；
图 2是根据本发明方法对正脸进行跟踪的结果示意图；
图 3是根据本发明方法对存在小角度转动的脸部的跟踪结果示意图; 图 4是根据本发明方法对存在较大角度转动的脸部的跟踪结果示意 图。
具体实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体 实施例， 并参照附图， 对本发明进一歩详细说明。
图 1是本发明基于在线增量主成分分析的特征与模型互匹配人脸跟 踪方法流程图， 如图 1所示， 所述方法包括以下歩骤： 歩骤 Sl， 对于多幅人脸图像进行离线建模， 得到模型匹配（CLM, Constrained Local Model) 模型 A;
所述 CLM模型 A包括形状模型 s和纹理模型 wT， 因此该歩骤中， 得到 CLM模型 A的歩骤进一歩包括以下歩骤：
歩骤 S11 , 根据事先确定的共同的人脸轮廓对所述多幅人脸图像分 别进行标定得到多个标定特征点， 并根据所述多个标定特征点的坐标值 建立得到一人脸形状模型 s;
在一个 CLM模型 A中， 形状定义为一个由一系列顶点位置组成的 网格， 因此可以用一系列的顶点的坐标来定义一个人脸形状向量 sm:
其中， χ;. 分别为相应人脸图像中第 1个顶点的坐标值， n为实际采用 的顶点的个数， 可以设为 66， 88等。
所述顶点的坐标是依照所述事先确定的共同的人脸轮廓人为进行 标定的， 所述顶点又称为标定特征点， 具体来说， 所述歩骤 S11进一歩 包括以下歩骤：
歩骤 S111 , 事先采集 N张人脸图像， 其中， N是一个大于 n的正整 数， 每张人脸图像上都依照所述共同的人脸轮廓进行人为标定， 从而得 到多个标定特征点， 所述共同的人脸轮廓包括眼睛、 鼻子、 嘴和脸部外 部的轮廓， 进而根据公式 （1 ) 可以得到 N个人脸形状向量 sm， 其中， m表示 N张人脸图像中的第 m张人脸图像。
歩骤 S112 , 在得到人脸形状向量 sm的基础上， 所述人脸形状模型 s 可以用一个平均人脸形状 sQ加上 u个正交的人脸形状向量 的线性组合 来表示， 即：
Figure imgf000006_0001
其中， Pl是形状参数， sQ为平均人脸形状， Sl为相对于平均的人脸形状的 变化， Pl、 8«)和 均由对采集到的 N个人脸形状向量 sm进行主成分分析 (Principal Component Analysis-PC A) 得到： So为 N个人脸形状向量 sm的 均值， m=l -N; Pl是所述主成分分析后得到的 u个特征向量 所对应的 权值。 需要注意的是， 在进行主成分分析前， 需要对所述 N个人脸形状 向量 sm分别进行普鲁斯特分析 (procmstes analysis), 以减小偏转、尺度、 平移等误差， 所述普鲁斯特分析为现有技术中常用的分析方法， 在此不 做赘述。
歩骤 12， 基于所述歩骤 S11得到的每一个标定特征点， 学习得到能 够体现所述每一个标定特征点对应的具有一定大小区域的纹理特征的 纹理模型 M/T。
所述纹理模型的建立可以采取多种方式进行， 在本发明一实施例中， 采用支持向量机 (Support Vector Machine - SVM)来建立所述纹理模型，具 体过程包括：
歩骤 S121 ,以所述歩骤 S11得到的每一人脸图像的每一个标定特征 点为中心， 截取一个大小为 r x r的区域作为正样本， 在相应图像中的任 意其他位置处截取多个 r X r大小的区域作为负样本，这样对于 N幅人脸 图像就会得到具有同一含义的标定特征点 （比如在不同的人脸图像中， 指代左眼角的标定特征点认为是具有同一含义的标定特征点）的 N个正 样本和多个负样本；
歩骤 S122 , 基于每个标定特征点所对应的样本组， 利用支持向量机 ( SVM) 得到每个标定特征点对应的纹理模型 M/T。
该歩骤中， 首先将每个标定特征点所对应的样本组中的每个样本 (包括正样本和负样本） 写成数学形式：
(ί)=Γ ω ω ( IT ( 3 ) 其中，（1)表示相应样本的序号， 为相应样本中某一位置处的像素值。
然后， 利用 SVM得到每个标定特征点对应的纹理模型 M/T。
对于 SVM而言， 其学习过程可以表示为：
y( = WT . ( + θ (4 ) 其中， 为 SVM 的输出， wT是学习得到的纹理模型： wT = [Wl w2 ... wrxr] , 6>为 SVM的偏移量， 对于每个标定特征点所对应的正 样本， y« = 1； 负样本， = 0。 接下来进行关键点模型 B的构建与离线的关键点匹配， 该部分包括 歩骤 S2-S3 , 其主要是为了获得稳定有效的关键点， 通过仿真人脸表面 的各种形变， 尽可能地学习对这些形变鲁棒的关键点， 从而获得稳定的 关键点匹配。
歩骤 S2, 输入一待跟踪人脸视频， 对于所述待跟踪人脸视频中的每 一帧人脸图像进行关键点检测， 将所得到的所有关键点的集合和这些关 键点的鲁棒描述子组合起来作为关键点模型 B;
关键点的检测通常使用的方法是根据图像中的关键点进行识别检 测。 相比直、 曲线片段和点状， 利用关键点来识别图像信息的优点是能 够在出现拥挤 （遮挡）、 大的尺度和方向变化的情况下依然可以做出较 好的匹配。
由于人脸所存在的特性， 关键点的学习存在着许多问题： 1， 不同 的角度、 表情、 光照变化会产生人脸形状的几何和光学上的扭曲形变; 2， 人脸上的纹理比背景的少， 区别存在难度 （关键点相对少）； 3， 关 键点在三维上的位置估计不够精确。 但是， 采用不变特征点作为关键点 可以有效解决上述问题， 具体为： 将利用已有的 3D人脸模型检测出的 3D关键点集和利用多视角图像检测出的 2D关键点集进行模拟形变，从 而找出稳定的 2D关键点。
所述关键点检测的歩骤包含关键点的学习和其鲁棒描述子的学习， 其中鲁棒描述子的学习是为了保证关键点的稳定性。
所述关键点的学习进一歩包括以下歩骤：
歩骤 S21 , 对于所述人脸图像序列中的每一帧图像， 使用现有技术 中常用的关键点计算方法， 比如 Fast算法， 初歩计算得到多个关键点； 歩骤 S22, 从所述歩骤 S21得到的多个关键点中选出具有不变性的 关键点， 并将所述待跟踪人脸视频中的所有图像的不变性关键点组合起 来得到关键点集合及这些关键点的描述子 （f1 Xl, ）， 其中， ¾表示第 i 个关键点的特征值， （Xl, yi) 表示该关键点的坐标；
所述不变性关键点为经过姿态旋转、表情变化和 /或光照变化后仍为 关键点的关键点， 该歩骤中使用参数集 (Pose, Shape, Light)的变化， 来模 拟人脸的姿态旋转、 表情变化和光照变化， 其中， Pose指的是小范围的 姿态旋转引起的局部遮挡， Shape指的是非刚性的人脸表情变化， Llght 指的是光照引起的复杂变化， 如阴影等； 令 W k0; Pose, Shape, Light ) 表示图像 IQ上的某一关键点^在上述三种变换下得到的点 k所对应的位 置，如果该关键点 kQ在上述变换后仍然被检查为关键点，并且满足下式， 就认为关键点 kQ对于上述变换具有不变性：
Fk0 -Fk < t (5)
其中， FkQ为关键点！^的特征值， Fk为点 k的特征值， t为允许的定位误 差上限。
目前得到的关键点集合中的关键点描述子并不具有鲁棒性， 接下来 需要通过学习的方法取得关键点的鲁棒描述子。 在本发明一实施例中， 所述关键点鲁棒描述子的学习采用增量学习的方法。 由上文可知， 关键 点作为检测图像的主要识别因子， 应该具有不变性 （比如对于方向、 尺 度、 旋转等的不变性）。 但是在很多情况下， 关键点的局部外观表现可 能会在方向和尺度上发生变化， 有时甚至存在仿射变形， 因此为了更准 确地对关键点进行匹配， 需要对关键点进行有效的区分描述， 提取出其 局部方向、 尺度和旋转的框架估计， 形成描述子， 比如 Sift就是一种可 以采用的描述子， 利用该描述子能够对关键点进行重新采样。
所述关键点的鲁棒描述子的学习包括以下歩骤：
歩骤 S23 , 按照所述歩骤 S21和 S22的描述， 对于所述待跟踪人脸 视频中的每一帧图像进行关键点检测， 得到 n个不变性关键点， 这 n个 不变性关键点构成初始关键点集合 A;
歩骤 S24, 对所述图像中的人脸进行某一种参数变换， 仿真得到变 换后的图像， 其中， 所述参数为 shape、 pose或 light;
歩骤 S25 , 按照所述歩骤 S21和 S22的描述， 对变换后的图像进行 关键点检测得到多个不变性关键点， 这些不变性关键点构成关键点集合 B;
歩骤 S26, 对关键点集合 B里的每个点 p， 与关键点集合 A进行描 述子匹配操作：
在关键点集合 A中， 找到与点 p位置最近的点 q， 比较点 p和点 q 反投影到正面三维模型表面上的三维点 ρ Π q'，判断 ρ Π q'是不是同一 个三维点，如果 ρ Π q'是同一个三维点且 p的描述子和 q的描述子最为 接近， 则表示这个描述子是有效的， 则把 p的描述子加入到 q的描述子 中， 如此 q就多了一个描述子； 如果 p'和 q'是同一个三维点且点 p的描 述子和集合 A中非 q的另一个点 X的描述子最为接近，则点 q及其描述 子无效；如果 ρ Π q'是同一个三维点且点 p的描述子和集合 A中每个点 的描述子都不一样， 则说明它的描述子被错误的分类为背景了， 所以将 p和 p的描述子加入到集合 A中； 如果 ρ Π q'不是同一个三维点且 p的 描述子和集合 A中某个点 s的某个描述子很接近， 这表明点 s容易引起 误匹配， 所以将点 s及其描述子从集合 A中去掉； 如果 p'和 q'不是同一 个三维点且 p的描述子和集合 A中每个关键点的描述子都不一样，则将 点 p及其描述子加入到集合 A中；
歩骤 S27 ,对于经过其他不同参数变换后的图像重复所述歩骤 24到 26， 最终得到所述待跟踪人脸视频中每一帧图像的完备的关键点鲁棒描 述子。
得到了所有关键点集合及其鲁棒描述子后就得到了关键点模型 B。 歩骤 S3， 基于所述歩骤 S2得到的关键点模型 B， 对于所述待跟踪 人脸视频中的每一帧人脸图像进行关键点匹配， 获得每一帧人脸图像中 初始的人脸姿态参数组， 其中， 所述姿态参数组包括角度参数 R和位移 参数 T: (R， T )；
所述关键点匹配的过程是比较差异性的过程， 通常匹配的对象是前 后图像帧变化比较小的图像序列。
具体地， 所述歩骤 S3进一歩包括以下歩骤：
歩骤 S31 ,根据所述歩骤 S2得到所述人脸视频的某一帧人脸图像的 上一人脸图像帧的关键点， 并在该帧人脸图像中寻找上一人脸图像帧的 某一关键点在当前帧中的相应位置附近的关键点； 的描述子进行匹配， 将当前帧中利用已有的 3D人脸模型检测出的能够 与所述关键点模型 B中的描述子匹配上的 3D关键点组成集合 V， 将当 前帧中与所述关键点模型 B中的描述子匹配上的 2D关键点组成集合 u， 将所述集合 V通过选择姿态参数组（R， T) , 以及摄像头的内参数 K (该 参数可以通过标定的方法事先确定）， 得到所述集合 V经过平面投影后 的 2D关键点集合 u'， 比较 u'和 u， 求取使得 ||u-u' ||最小的该帧图像中 初始的人脸相对于正脸的姿态参数组 （R， T):
(R, T)* = arg min(w， T) (6)
Figure imgf000011_0001
其中， ^为摄像机参数， 为角度矩阵， r为位移向量， [ ?|r|为由 w和 组成的增广矩阵， Γ为能够匹配所述关键点模型 B 中的描述子的 3D 关键点集合， Μ'为能够匹配所述关键点模型 Β中的描述子的 2D关键点 集合， ζ为关键点的序号， Nk为集合 V和集合 ut的关键点个数的最大值。 接下来进行 CLM人脸跟踪， 该部分主要通过歩骤 S4来实现。
歩骤 S4,利用所述模型 A对所述待跟踪人脸视频进行 CLM人脸跟 踪， 得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置， 并进而 基于所述歩骤 S3 得到的初始的人脸姿态参数组， 得到所述待跟踪人脸 视频每一帧人脸图像校正后的人脸姿态参数组；
该歩骤通过拟合操作来实现人脸特征点的跟踪， 所述拟合其实就是 对一模型进行参数调整， 得到一实例模型， 并使所述实例模型与新的输 入图片相匹配的过程， 这是一个能量最小化问题。
所述歩骤 S4进一歩包括以下歩骤：
歩骤 S41 , 对所述待跟踪人脸视频中的某一当前帧人脸图像进行脸 部检测， 得到初始的 n个特征点， 并相应地得到每个特征点的响应图像
R(x,y);
该歩骤中，首先利用现有技术中常用的 Viola-Jones方法对该帧人脸 图像进行脸部检测，得到一个小范围的脸部区域；然后在该脸部区域内， 初始化一个脸部轮廓模型， 该模型可以是上文提到的 S。。 这样， 根据所 述初始化的脸部轮廓模型就得到该帧人脸图像的初始的 n个特征点。
其中， 每个特征点的响应图像 R(x,y)为 Μ/Τ · χ(έ)矩阵化后的结果，其 中， wT是根据 SVM求得的该特征点的纹理模型: wT = [w w2 ... wrxr] ， )为该特征点的第 i个大小为 r*r的样本， 可见， 所述响应图像 R(x,y) 的大小为 r*r， 其实， 所述响应图像相当于用纹理模型 wT在样本中进行 滤波所得到的结果。 歩骤 S42 , 利用所述响应图像 R x,y:)， 通过拟合得到所述待跟踪人 脸视频每一帧人脸图像中与所述当前帧人脸图像具有同一含义的特征 点的位置；
所述拟合进一歩包括以下歩骤：
歩骤 S421 ,对以所述歩骤 S41中得到的所有特征点中的每一个特征 点为中心的大小为 r X r的区域进行范围为 a x a的搜索， 对于每一个特征 点， 得到一以其为中心、 直径为 (r + a)的正方形区域；
， 而学习时样本的范围是， 其也即拟合过程中响应图像的大小歩骤 S422, 在已知当前帧的特征点的情况下， 通过函数拟合的方式找到当前 帧的下一帧或上一帧图像的所述正方形区域中与所述当前帧人脸图像 具有同一含义的特征点的坐标位置。
对于所述拟合， 需要找到能够使在下一帧或上一帧图像中拟合得到 的每个特征点的正样本与相应响应图像 R(X,y)的均方差降到最低的函数 参数最优解。 为了使这个最优解能达到全局化而非局部性的目的， 在本 发明一实施例中， 采用二次函数进行拟合， 此时就需要找到能够使得 (8) 式所表示的目标函数中的均方差值最小的（7 )式中的函数参数 a'， b'， c'， 在本发明一实施例中， 可通过二次规划的方法来求得函数参数 a'， b'， c'的最优解。
r(x, y) = a' (x— x。)2 + b' (y— y。)2 +c' (7 ) s = j[R{x,y)-r{x,y)] (8) 其中， r(x, 为拟合得到的某一特征点的正样本， 由于某一特征点的正 样本以该特征点为中心， 因此得到了正样本自然也就得到了该特征点的 坐标位置。
在实际的拟合过程中， 有可能会出现拟合得到的某一满足上述目标 函数的特征点实际上并不是人脸特征点的情况， 为了避免这种误判情况 的发生， 本发明在上述拟合过程中引入对于特征点的位置限制， 即拟合 得到的特征点的位置x^应满足公式（9)，其中， 1代表第 1个特征点：
Figure imgf000013_0001
其中， /0, 表示拟合得到的特征点的坐标函数， n 为特征点的个数， k为所述歩骤 S1中提及的对 N个人脸形状向量 sm进行主成分分析 PCA 后得到的特征向量的个数， 表示相应特征向量的权值， ^表示相应特 征向量对应的特征值， β是人为设定的权重。
为了节省计算量， （9)式可简化为如下表达式：
f (X) = xTHx- 2FTx - xTsnrsn T rx (10) 其中， χ = [； , 为拟合后的结果， 即特征点被跟踪到的新坐标向量，
H=diag(H1, 2,... i ...,Hn), ^diagCa b )， a 、 b 分别为 (7)式中的 参数； F=[F1; F2 Fn]T, 其中， i为特征点的序数， n为特征点的个数； F i^, y0l]T, (xo, yo)为相应特征点的响应图像 R(x,y:>具有最大值的 坐标点； = [ / L s2/ ! sk/H Sl sfc为经过 PCA后得 到的前 k个特征向量， · · · 表示相应特征向量对应的特征值。
(10)式是一个关于 X 的二次方程， 因而可以求得一个唯一的 ， 使 得 (10)式取得最大值。
歩骤 S43,基于所述歩骤 S3得到的初始的人脸姿态参数组， 根据拟 合得到的特征点的位置得到校正后的人脸姿态参数组。 该歩骤属于现有技术， 在此不作赘述。 接下来， 需要将所述歩骤 S2中描述的关键点检测、 所述歩骤 S3中 描述的人脸姿态参数组获取与所述歩骤 S4中描述的 CLM人脸跟踪进行 融合， 相互进行学习来对人脸进行跟踪， 以提高人脸跟踪的鲁棒性。
歩骤 S5， 基于所述歩骤 S3得到的每一帧人脸图像中人脸的姿态参 数组和所述歩骤 S4跟踪得到的每一帧人脸图像中特征点的位置， 对所 述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；
根据上文的描述， 可以初歩计算出所述待跟踪人脸视频每一帧人脸 图像中人脸的姿态参数组（R， T), 该参数组可以作为 CLM人脸跟踪时 的初始参数， 利用关键点模型 B对于 CLM人脸跟踪进行初始化主要是 因为 R代表了人脸的角度， 利用 R可以在 CLM实例化时选择正确角度 的 CLM模型及调整初始化的人脸形状。 CLM模型包含有多个角度的模 型， 比如可以包含 3类： 正面模型、 左侧面模型和右侧面模型。 对于待 跟踪的人脸， 通过 R确定人脸的角度， 在 CLM模型实例化的时候就可 以利用和这个角度匹配的那类模型来进行实例化。
所述歩骤 S5进一歩包括以下歩骤：
歩骤 S51， 根据所述歩骤 S2和歩骤 S3得到所述待跟踪人脸视频某 一帧人脸图像中的关键点和初始的人脸姿态参数组；
歩骤 S52, 基于该帧人脸图像中初始的人脸姿态参数组 （R， T)， 根据所述歩骤 S4 的描述， 在前向或后向上 （前向比如可以为当前帧图 像的下一帧图像方向， 后向比如可以为当前帧图像的上一帧图像方向） 对所述待跟踪人脸视频中的人脸图像进行 CLM人脸跟踪， 得到每一帧 人脸图像中关键点的位置，进而根据所述初始的人脸姿态参数组 (R， Τ) 得到校正后的人脸姿态参数组， 并利用所述校正后的人脸姿态参数组对 所述关键点模型 Β进行更新；
对所述关键点模型 Β进行更新的歩骤进一歩包括以下歩骤： 歩骤 S521 , 对于当前帧图像， 根据其人脸姿态参数组 （R， Τ) 判 断人脸的姿态； 歩骤 S522, 根据当前帧图像中的关键点描述子 F^f ^i^n关键点 模型 B的匹配情况来更新所述关键点模型 B， 具体为：
如果当前帧图像的大多数（比如 80%)关键点都和所述关键点模型 B中的关键点匹配， 则将当前帧中没有匹配上的那些关键点补充到所述 关键点模型 B中， 最开始的所述关键点模型 B是基于正脸图进行的， 经 过不断的补充后会包含侧面的关键点； 否则不进行所述关键点模型 B的 补充更新， 因为此时当前帧图像的关键点可能包含了很多误检出来的关 键点。
当然，并非每帧图像进行 CLM人脸跟踪后，都要进行关键点模型 B 的更新， 在实际情况中， 可以每隔几帧进行一次。
歩骤 S53 , 利用更新后的关键点模型 B按照所述歩骤 S3和歩骤 S4 的描述对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪。
在所述歩骤 S52进行 CLM人脸跟踪时， 可以每隔数帧就根据所述 歩骤 S51 的描述对于人脸姿态参数组进行初始化， 这样做可以对 CLM 人脸跟踪起到校正作用， 因为如果一直使用前一帧的检测结果来进行初 始化可能会造成错误的累积， 导致跟踪丢失。 为了进一歩增强效果，本发明还采用了在线学习的方式，即歩骤 S6, 以在跟踪过程中利用已有的检测结果随时进行学习训练， 使得建模与跟 踪融为一体， 能够在线更新所述模型 A， 相比传统的机器学习过程， 即 学习与应用相分离的模式， 有所突破。 如此， 再结合上一歩骤所介绍的 融合跟踪方法， 能够使得整个人脸跟踪***的跟踪效果更加鲁棒， 即使 对于较大角度的转动也能够得到较理想的跟踪效果。
歩骤 S6， 使用增量 PCA (Incremental PCA)方法对所述模型 A进 行更新， 并利用更新后的模型 A重复所述歩骤 S1-S5, 得到最终的人脸 跟踪结果。
由上文中的介绍可知， 所述模型 A分为形状与纹理模型两部分， 接 下来以形状模型为例对该歩骤进行说明， 简洁起见， 下文中仍使用模型 A来表述。 对于所述模型 A， 由 （2) 式可知， 其为平均人脸形状 S。与一系列标 准正交基 线性组合的结果。将这一系列标准正交基 组成集合 A'，且 集合 A' = ，而平均人脸形状 so则为集合 A'中元素的算术平均 值。另设一集合 B'，里面放置在线学***均值设为 S'。， m为集合 B'中向量的个数， n为所 述人脸特征点的个数。另外，所述集合 B'中所加入的向量个数可根据使 用需要来设定， 这样既保证了在线更新的准确性， 同时也不必每一帧都 进行增量学习， 从而突出了时效性。
那么对模型 A进行更新的歩骤进一歩包括以下歩骤：
歩骤 S61, 计算表达式^ 的奇异值分解 SVD, 得到 f/∑VT， 其中 指集合 A'中的每一列向量均与 SQ相减所得的矩阵； 歩骤 S62, 构造一增广矩阵 =[(^- |^^。- ]， 其中， 为 集合 B'的算术平均值， m为集合 B'中向量的个数， n为所述人脸特征 点的个数，并根据所述增广矩阵计算得到 与 Β = orthiB - UUTB), orth( · )表示矩 阵正交化操作 ， 可用 QR 分解得 出 ，
L 0 BT(B - UUTB) J，
歩骤 S63， 计算 R的奇异值分解 SVD， 得到 ^Τ;
歩骤 S64, 计算得到 = ， 则 U'为一组新的正交基， 也可 以理解为是更新过后的集合 A'， 进而得到更新后的模型 A;
图 2-图 4为根据本发明方法对不同的人脸进行跟踪的结果示意图。 其中， 图 2是对正脸进行跟踪的结果示意图； 图 3是对存在小角度转动 的脸部的跟踪结果示意图； 图 4是对存在较大角度转动的脸部的跟踪结 果示意图， 以上各图中的图 a均是没有进行在线增量学习的跟踪结果， 图 b为进行了在线增量学习的跟踪结果， 可以看出， 采用了在线增量学 习的人脸跟踪效果要优于没有进行在线增量学习的人脸跟踪效果。
为了突出在线增量学习对于模型 A的影响，也即考虑到离当前帧越 近的图像越能影响跟踪效果， 因此， 还可以选择性地在进行在线增量学 习的时候加入遗忘因子 f:
Figure imgf000017_0001
其中， 所述遗忘因子 f为一经验值， 其取值范围为 0~1。
综上， 本发明结合了人脸检测和 CLM算法， 并加入了基于在线增 量学习的主成分分析， 从而大大提升了***的整体鲁棒性， 并且同时保 证了***的实时性。 具体地， 本发明利用关键点检测对于人脸角度进行 了估算， 以此作为 CLM建模时模型角度的选择依据， 同时， 一方面利 用 CLM检测结果来不断校正关键点样本库， 另一方面利用检测结果在 线实时更新 CLM模型， 使得模型不再仅仅是学习时静态的获得， 而是 动态地与当前状态紧密相连， 从而解决了在进行 CLM人脸跟踪时， 由 于目标图像中相邻帧间变化大时出现的跟踪丢失的问题， 提高了跟踪的 精准度。
以上所述的具体实施例， 对本发明的目的、 技术方案和有益效果进 行了进一歩详细说明， 所应理解的是， 以上所述仅为本发明的具体实施 例而已， 并不用于限制本发明， 凡在本发明的精神和原则之内， 所做的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求
1、 一种基于在线增量主成分分析的特征与模型互匹配人脸跟踪方 法， 其特征在于， 该方法包括以下歩骤：
歩骤 Sl， 对于多幅人脸图像进行离线建模， 得到包括形状模型 s和 纹理模型 M/t的模型匹配 （CLM) 模型 A;
歩骤 S2, 输入一待跟踪人脸视频， 对于所述待跟踪人脸视频中的每 一帧人脸图像进行关键点检测， 将所得到的所有关键点的集合和这些关 键点的鲁棒描述子组合起来作为关键点模型 B;
歩骤 S3， 基于所述歩骤 S2得到的关键点模型 B， 对于所述待跟踪 人脸视频中的每一帧人脸图像进行关键点匹配， 获得每一帧人脸图像中 初始的人脸姿态参数组 （R， T )， 其中， R表示角度参数和 Τ表示位移 参数；
歩骤 S4,利用所述模型 Α对所述待跟踪人脸视频进行 CLM人脸跟 踪， 得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置；
歩骤 S5， 基于所述歩骤 S3得到的每一帧人脸图像中人脸的姿态参 数组和所述歩骤 S4跟踪得到的每一帧人脸图像中特征点的位置， 对所 述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；
歩骤 S6， 使用增量 PCA方法对所述模型 A进行更新， 并利用更新 后的模型 A重复所述歩骤 S1-S5 , 得到最终的人脸跟踪结果。
2、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S1进一歩 包括以下歩骤：
歩骤 S11 , 根据事先确定的共同的人脸轮廓对所述多幅人脸图像分 别进行标定得到多个标定特征点， 并根据所述多个标定特征点的坐标值 建立得到一人脸形状模型 s;
歩骤 12， 基于所述歩骤 S11得到的每一个标定特征点， 学习得到能 够体现所述每一个标定特征点对应的具有一定大小区域的纹理特征的 纹理模型 M/T。
3、 根据权利要求 2所述的方法， 其特征在于， 所述歩骤 S11进一 歩包括：
歩骤 Sill ,采集 N张人脸图像，对于每张人脸图像都依照所述共同 的人脸轮廓进行人为标定， 得到多个标定特征点， 进而得到 N个人脸形 状向量 sm:
其中， m表示 Ν张人脸图像中的第 m张人脸图像， 分别为相应人 脸图像中第 1个标定特征点的坐标值， n为所述标定特征点的个数； 歩骤 S112, 用一个平均人脸形状 8«)和 u个正交的人脸形状向量 进行线性组合得到所述人脸形状模型 s:
其中，平均人脸形状 sQ为N个人脸形状向量 sm的均值， Pl是形状参数， 其值为对所述 N个人脸形状向量 sm进行主成分分析后得到的 u个特征 向量 所对应的权值。
4、 根据权利要求 3所述的方法， 其特征在于， 在所述歩骤 S112中 进行主成分分析前， 对所述 N个人脸形状向量 sm分别进行普鲁斯特分 析， 以减小运动误差。
5、 根据权利要求 2所述的方法， 其特征在于， 所述歩骤 12进一歩 包括以下歩骤：
歩骤 S121 ,以所述歩骤 S11得到的每一人脸图像的每一个标定特征 点为中心， 取一个大小为 r x r的区域作为正样本， 在相应图像中的任意 其他位置处截取多个同样大小的区域作为负样本；
歩骤 S122, 基于每个标定特征点所对应的样本组， 利用支持向量机 得到每个标定特征点对应的纹理模型 wT。
6、 根据权利要求 5所述的方法， 其特征在于， 所述歩骤 S122中： 首先， 将每个标定特征点所对应的样本组中的每个样本写成以下形 式：
ν(0=Γν(0 v(0 v(0 I T 其中， （i ) 表示样本的序号， x )为相应样本中某一位置处的像素值； 然后， 利用 SVM得到每个标定特征点对应的纹理模型 Μ/τ :
= WT - X( + 6» , 其中， 为 SVM 的输出， wT是学习得到的纹理模型： wT = [Wl w2 ... wrxr] , 6>为 SVM的偏移量， 对于每个标定特征点所对应的正 样本， y« = 1； 负样本， = 0。
7、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S2中的关 键点检测包含关键点的学习和其鲁棒描述子的学习， 所述关键点的学习 进一歩包括以下歩骤：
歩骤 S21， 对于所述待跟踪人脸视频中的每一帧图像， 初歩计算得 到多个关键点；
歩骤 S22, 从所述歩骤 S21初歩得到的多个关键点中选出具有不变 性的关键点， 并将所述待跟踪人脸视频中所有图像的不变性关键点组合 起来得到关键点集合及这些关键点的描述子 （¾, , ）， 其中， ¾表示第 1个关键点的特征值， （x1 yi) 表示该关键点的坐标；
所述关键点的鲁棒描述子的学习进一歩包括以下歩骤：
歩骤 S23 , 将所述歩骤 S22得到的 n个不变性关键点组成初始关键 点集合 A;
歩骤 S24, 对所述待跟踪人脸视频中每一帧图像中的人脸进行姿态 旋转、表情变化、光照变化中的一种参数变换，仿真得到变换后的图像； 歩骤 S25 , 将根据所述歩骤 S21和 S22检测得到的变换后的图像的 多个不变性关键点组成关键点集合 B;
歩骤 S26, 对关键点集合 B里的每个点 p， 关键点集合 A进行描述 子匹配操作；
歩骤 S27 ,对于经过其他参数变换后的图像重复所述歩骤 24到 26， 最终得到所述特定人脸图像序列中每一帧图像的完备关键点鲁棒描述 子。
8、 根据权利要求 7所述的方法， 其特征在于， 所述歩骤 S26具体 为：
在关键点集合 A中， 找到与点 p位置最近的点 q， 判断点 p和点 q 反投影到正面三维模型表面上的三维点 ρ Π q'是否为同一个三维点， 若 P'和 q'是同一个三维点且 p的描述子和 q的描述子最为接近， 则把 p的 描述子加入到 q的描述子中； 若 ρ Π q'是同一个三维点且点 p的描述子 和关键点集合 A中非 q的另一个点 X的描述子最为接近，则点 q及其描 述子无效； 如果 ρ Π q'是同一个三维点且点 p的描述子和关键点集合 A 中每个点的描述子都不一样， 则将 p和 p的描述子加入到关键点集合 A 中；如果 ρ Π q'不是同一个三维点且 p的描述子和关键点集合 A中某个 点 s的某个描述子很接近，则将点 s及其描述子从关键点集合 A中去掉； 如果 ρ Π q'不是同一个三维点且 p的描述子和关键点集合 A中每个关键 点的描述子都不一样， 则将点 p及其描述子加入到关键点集合 A中。
9、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S3进一歩 包括以下歩骤：
歩骤 S31 ,根据所述歩骤 S2得到所述人脸视频的某一帧人脸图像的 上一人脸图像帧的关键点， 并在该帧人脸图像中寻找上一人脸图像帧的 某一关键点在当前帧中的相应位置附近的关键点；
歩骤 S32, 将当前帧中所述关键点的描述子和所述关键点模型 B中 的描述子进行匹配，将当前帧中与所述关键点模型 B中的描述子匹配上 的 3D关键点组成集合 V， 将当前帧中与所述关键点模型 B中的描述子 匹配上的 2D关键点组成集合 u， 将所述集合 V经过平面投影后得到的 2D关键点组成集合 u'， 比较 u'和 u， 得到使得 ||u-U' ||最小的当前帧图像 中初始的人脸相对于正脸的姿态参数组 （R， T):
2
(R, T)* = arg min(w， τ)∑ | Τψ' - u ||2 ，
i 其中， ^为摄像机参数， 为角度矩阵， r为位移向量， [ ?| r|为由 w和 组成的增广矩阵， z为关键点的序号， Nk为集合 V和集合 u的关键点 个数的最大值。
10、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S4进一 歩包括以下歩骤：
歩骤 S41 , 对所述待跟踪人脸视频中的某一当前帧人脸图像进行脸 部检测，得到初始的 n个特征点， 并相应地得到每个特征点的大小为 r*r 的响应图像 R(x,y)， 其中， 每个特征点的响应图像 R(x,y)为 Μ/Τ · χ (ί)矩阵 化后的结果， wT是根据支持向量机求得的该特征点的纹理模型： wT = [w w2 ... wrxr] ， (^)为该特征点的第 i个大小为 r*r的样本； 歩骤 S42 , 利用所述响应图像 R x,y:)， 通过拟合得到所述待跟踪人 脸视频每一帧人脸图像中与所述当前帧人脸图像具有同一含义的特征 点的位置；
歩骤 S43 ,基于所述歩骤 S3得到的初始的人脸姿态参数组， 根据拟 合得到的特征点的位置得到校正后的人脸姿态参数组。
11、 根据权利要求 10所述的方法， 其特征在于， 所述歩骤 S42进 一歩包括以下歩骤：
歩骤 S421 ,对以所述歩骤 S41中得到的所有特征点中的每一个特征 点为中心的大小为 r X r的区域进行范围为 a x a的搜索， 对于每一个特征 点， 得到一以其为中心、 直径为 (r + a)的正方形区域；
歩骤 S422,通过函数拟合的方式找到当前帧的下一帧或上一帧图像 的所述正方形区域中与所述当前帧人脸图像具有同一含义的特征点的 坐标位置。
12、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S5进一 歩包括以下歩骤：
歩骤 S51， 根据所述歩骤 S2和歩骤 S3得到所述待跟踪人脸视频某 一帧人脸图像中的关键点和初始的人脸姿态参数组；
歩骤 S52 , 基于该帧人脸图像中初始的人脸姿态参数组 （R， T)， 根据所述歩骤 S4 的描述， 在前向或后向上对所述待跟踪人脸视频中的 人脸图像进行 CLM人脸跟踪， 得到每一帧人脸图像中关键点的位置， 进而根据所述初始的人脸姿态参数组（R， Τ)得到校正后的人脸姿态参 数组， 并利用所述校正后的人脸姿态参数组对所述关键点模型 Β进行更 新；
歩骤 S53 , 利用更新后的关键点模型 Β按照所述歩骤 S3和 S4的描 述对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪。
13、根据权利要求 12所述的方法，其特征在于，所述歩骤 S52中， 对所述关键点模型 B进行更新的歩骤进一歩包括以下歩骤：
歩骤 S521 , 对于当前帧图像， 根据其人脸姿态参数组 （R， T) 判 断人脸的姿态；
歩骤 S522, 根据当前帧图像中的关键点描述子 F^f ^i^n关键点 模型 B的匹配情况来更新所述关键点模型 B:
如果当前帧图像的大多数关键点都和所述关键点模型 B中的关键点 匹配， 则将当前帧中没有匹配上的那些关键点补充到所述关键点模型 B 中； 否则不进行所述关键点模型 B的补充更新。
14、 根据权利要求 1所述的方法， 其特征在于， 所述对模型 A进行 更新的歩骤进一歩包括以下歩骤：
歩骤 S61 , 计算表达式^ 的奇异值分解， 得到 I ∑VT， 其中， A' 为由所述模型 A中的一系列标准正交基 Sl组成的集合， so表示所述模型 A中的平均人脸形状； 骤 S62, 构造一增广矩阵 = [( - λ」^( _ ]， 其中， B'为 放置有根据人脸姿态参数组 （R,T) 所得到的人脸特征点的坐标向量的 集合， 为集合 B'的算术平均值， m为集合 B'中向量的个数， n为所 述人脸特征点的个数， 并根据所述增广矩阵计算得到 ^与
∑ U1 B
B = orth(B - UUTB), R ， orth(，）表示矩阵
0 BT{B ^ UUTB) 正交化操作； S63， 计算 R的奇异值分解， 得到
Figure imgf000023_0001
S64, 计算得到一组新的正交基 = [U Bp, 并利用得到的新 的正交基对模型 A进行更新。
15、 根据权利要求 14所述的方法， 其特征在于， ?的表达式由下式 来代替： B
R = 其中， f为遗忘因子， 其为取值范围为 0~1的一经验值 t
PCT/CN2013/078331 2013-06-28 2013-06-28 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 WO2014205768A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/078331 WO2014205768A1 (zh) 2013-06-28 2013-06-28 基于增量主成分分析的特征与模型互匹配人脸跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/078331 WO2014205768A1 (zh) 2013-06-28 2013-06-28 基于增量主成分分析的特征与模型互匹配人脸跟踪方法

Publications (1)

Publication Number Publication Date
WO2014205768A1 true WO2014205768A1 (zh) 2014-12-31

Family

ID=52140856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/078331 WO2014205768A1 (zh) 2013-06-28 2013-06-28 基于增量主成分分析的特征与模型互匹配人脸跟踪方法

Country Status (1)

Country Link
WO (1) WO2014205768A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备
CN109660719A (zh) * 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN109800635A (zh) * 2018-12-11 2019-05-24 天津大学 一种基于光流法的受限局部人脸关键点检测与跟踪方法
CN109859234A (zh) * 2017-11-29 2019-06-07 深圳Tcl新技术有限公司 一种视频人体轨迹跟踪方法、装置及存储介质
CN110298306A (zh) * 2019-06-27 2019-10-01 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
EP3579187A4 (en) * 2017-02-06 2020-02-12 Tencent Technology (Shenzhen) Company Limited FACIAL TRACKING METHOD, APPARATUS, INFORMATION MEDIUM, AND ELECTRONIC DEVICE
CN111161395A (zh) * 2019-11-19 2020-05-15 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN111447379A (zh) * 2019-01-17 2020-07-24 百度在线网络技术（北京）有限公司 生成信息的方法和装置
CN111523345A (zh) * 2019-02-01 2020-08-11 上海看看智能科技有限公司 人脸实时跟踪***及方法
CN111539368A (zh) * 2020-04-30 2020-08-14 中穗科技股份有限公司 一种防疫检测信息一体化识别方法及装置
CN111626154A (zh) * 2020-05-14 2020-09-04 闽江学院 一种基于卷积变分编码器的人脸跟踪方法
CN111680699A (zh) * 2020-04-27 2020-09-18 中国人民解放***箭军工程大学 一种基于背景抑制的空地红外时敏弱小目标检测方法
CN111695498A (zh) * 2020-06-10 2020-09-22 西南林业大学 一种木材同一性检测方法
CN111753747A (zh) * 2020-06-28 2020-10-09 高新兴科技集团股份有限公司 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN111898471A (zh) * 2020-07-09 2020-11-06 北京捷通华声科技股份有限公司 一种行人跟踪方法和装置
CN111950447A (zh) * 2020-08-11 2020-11-17 合肥工业大学 基于走路姿态的情绪识别方法和***、存储介质
CN112508778A (zh) * 2020-12-18 2021-03-16 咪咕文化科技有限公司 一种3d人脸道具贴图方法、终端及存储介质
CN112556625A (zh) * 2020-12-08 2021-03-26 安徽江淮汽车集团股份有限公司 轮毂安装面的角度测量方法、装置、设备及存储介质
CN112883836A (zh) * 2021-01-29 2021-06-01 中国矿业大学 一种煤矿井下巷道形变视频检测方法
CN116110100A (zh) * 2023-01-14 2023-05-12 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116402935A (zh) * 2023-03-28 2023-07-07 北京拙河科技有限公司 一种基于光线追踪算法的图像合成方法及装置
CN117788720A (zh) * 2024-02-26 2024-03-29 山东齐鲁壹点传媒有限公司 一种生成用户人脸模型的方法、存储介质及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030165260A1 (en) * 2002-03-04 2003-09-04 Samsung Electronics Co, Ltd. Method and apparatus of recognizing face using 2nd-order independent component analysis (ICA)/principal component analysis (PCA)
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030165260A1 (en) * 2002-03-04 2003-09-04 Samsung Electronics Co, Ltd. Method and apparatus of recognizing face using 2nd-order independent component analysis (ICA)/principal component analysis (PCA)
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579187A4 (en) * 2017-02-06 2020-02-12 Tencent Technology (Shenzhen) Company Limited FACIAL TRACKING METHOD, APPARATUS, INFORMATION MEDIUM, AND ELECTRONIC DEVICE
US11182592B2 (en) 2017-11-23 2021-11-23 Beijing Sensetime Technology Development Co., Ltd. Target object recognition method and apparatus, storage medium, and electronic device
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备
CN109859234A (zh) * 2017-11-29 2019-06-07 深圳Tcl新技术有限公司 一种视频人体轨迹跟踪方法、装置及存储介质
CN109800635A (zh) * 2018-12-11 2019-05-24 天津大学 一种基于光流法的受限局部人脸关键点检测与跟踪方法
CN109660719A (zh) * 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN111447379A (zh) * 2019-01-17 2020-07-24 百度在线网络技术（北京）有限公司 生成信息的方法和装置
CN111523345A (zh) * 2019-02-01 2020-08-11 上海看看智能科技有限公司 人脸实时跟踪***及方法
CN111523345B (zh) * 2019-02-01 2023-06-23 上海看看智能科技有限公司 人脸实时跟踪***及方法
CN110298306A (zh) * 2019-06-27 2019-10-01 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
CN110298306B (zh) * 2019-06-27 2022-08-05 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
CN111161395A (zh) * 2019-11-19 2020-05-15 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN111161395B (zh) * 2019-11-19 2023-12-08 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN111680699A (zh) * 2020-04-27 2020-09-18 中国人民解放***箭军工程大学 一种基于背景抑制的空地红外时敏弱小目标检测方法
CN111680699B (zh) * 2020-04-27 2023-04-07 中国人民解放***箭军工程大学 一种基于背景抑制的空地红外时敏弱小目标检测方法
CN111539368A (zh) * 2020-04-30 2020-08-14 中穗科技股份有限公司 一种防疫检测信息一体化识别方法及装置
CN111539368B (zh) * 2020-04-30 2023-06-02 中穗科技股份有限公司 一种防疫检测信息一体化识别方法及装置
CN111626154B (zh) * 2020-05-14 2023-04-07 闽江学院 一种基于卷积变分编码器的人脸跟踪方法
CN111626154A (zh) * 2020-05-14 2020-09-04 闽江学院 一种基于卷积变分编码器的人脸跟踪方法
CN111695498A (zh) * 2020-06-10 2020-09-22 西南林业大学 一种木材同一性检测方法
CN111695498B (zh) * 2020-06-10 2023-04-07 西南林业大学 一种木材同一性检测方法
CN111753747B (zh) * 2020-06-28 2023-11-24 高新兴科技集团股份有限公司 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN111753747A (zh) * 2020-06-28 2020-10-09 高新兴科技集团股份有限公司 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN111898471B (zh) * 2020-07-09 2024-06-07 北京捷通华声科技股份有限公司 一种行人跟踪方法和装置
CN111898471A (zh) * 2020-07-09 2020-11-06 北京捷通华声科技股份有限公司 一种行人跟踪方法和装置
CN111950447A (zh) * 2020-08-11 2020-11-17 合肥工业大学 基于走路姿态的情绪识别方法和***、存储介质
CN111950447B (zh) * 2020-08-11 2023-08-22 合肥工业大学 基于走路姿态的情绪识别方法和***、存储介质
CN112556625B (zh) * 2020-12-08 2021-09-28 安徽江淮汽车集团股份有限公司 轮毂安装面的角度测量方法、装置、设备及存储介质
CN112556625A (zh) * 2020-12-08 2021-03-26 安徽江淮汽车集团股份有限公司 轮毂安装面的角度测量方法、装置、设备及存储介质
CN112508778B (zh) * 2020-12-18 2024-04-12 咪咕文化科技有限公司 一种3d人脸道具贴图方法、终端及存储介质
CN112508778A (zh) * 2020-12-18 2021-03-16 咪咕文化科技有限公司 一种3d人脸道具贴图方法、终端及存储介质
CN112883836A (zh) * 2021-01-29 2021-06-01 中国矿业大学 一种煤矿井下巷道形变视频检测方法
CN112883836B (zh) * 2021-01-29 2024-04-16 中国矿业大学 一种煤矿井下巷道形变视频检测方法
CN116110100B (zh) * 2023-01-14 2023-11-14 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116110100A (zh) * 2023-01-14 2023-05-12 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116402935B (zh) * 2023-03-28 2024-01-19 北京拙河科技有限公司 一种基于光线追踪算法的图像合成方法及装置
CN116402935A (zh) * 2023-03-28 2023-07-07 北京拙河科技有限公司 一种基于光线追踪算法的图像合成方法及装置
CN117788720A (zh) * 2024-02-26 2024-03-29 山东齐鲁壹点传媒有限公司 一种生成用户人脸模型的方法、存储介质及终端
CN117788720B (zh) * 2024-02-26 2024-05-17 山东齐鲁壹点传媒有限公司 一种生成用户人脸模型的方法、存储介质及终端

Similar Documents

Publication Publication Date Title
WO2014205768A1 (zh) 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
Liu et al. Kinect posture reconstruction based on a local mixture of gaussian process models
Pateraki et al. Visual estimation of pointed targets for robot guidance via fusion of face pose and hand orientation
Xiong et al. Supervised descent method for solving nonlinear least squares problems in computer vision
US20110134221A1 (en) Object recognition system using left and right images and method
CN103310204A (zh) 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
Chen et al. PointPoseNet: Point pose network for robust 6D object pose estimation
CN103514441A (zh) 基于移动平台的人脸特征点定位跟踪方法
Barros et al. Fusion of keypoint tracking and facial landmark detection for real-time head pose estimation
Sung et al. Pose-Robust Facial Expression Recognition Using View-Based 2D $+ $ 3D AAM
CN104145296A (zh) 头部跟踪方法、装置及计算机可读记录介质
Tan et al. Real-time accurate 3d head tracking and pose estimation with consumer rgb-d cameras
Lee et al. RS-SLAM: RANSAC sampling for visual FastSLAM
Wang et al. Joint head pose and facial landmark regression from depth images
Chen et al. Full transformer framework for robust point cloud registration with deep information interaction
Darujati et al. Facial motion capture with 3D active appearance models
Lopez-Nicolas et al. Homography-based visual control of nonholonomic vehicles
Comport et al. Kinematic sets for real-time robust articulated object tracking
Hafez et al. Visual servoing based on gaussian mixture models
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Sun et al. A robust point set registration approach with multiple effective constraints
Kumar et al. Pose induction for visual servoing to a novel object instance
Jiménez et al. Face pose estimation and tracking using automatic 3D model construction
Li et al. Gaussian mixture model-signature quadratic form distance based point set registration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13887753

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13887753

Country of ref document: EP

Kind code of ref document: A1