KR102667737B1 - Method and apparatus for positioning key points - Google Patents
Method and apparatus for positioning key points Download PDFInfo
- Publication number
- KR102667737B1 KR102667737B1 KR1020160128386A KR20160128386A KR102667737B1 KR 102667737 B1 KR102667737 B1 KR 102667737B1 KR 1020160128386 A KR1020160128386 A KR 1020160128386A KR 20160128386 A KR20160128386 A KR 20160128386A KR 102667737 B1 KR102667737 B1 KR 102667737B1
- Authority
- KR
- South Korea
- Prior art keywords
- linear
- update
- feature
- feature point
- shape
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012549 training Methods 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013179 statistical model Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000288110 Fulica Species 0.000 description 1
- 241000228740 Procrustes Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
검출된 영상의 비선형 특징을 추출하는 특징 추출부, 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대한 반복 업데이트를 진행하는 업데이트부, 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계 형태모델에 기초하여 상기 검출된 영상의 특징점 위치를 검출하는 위치 검출부를 포함하는 특징점 포지셔닝 장치가 제공된다.A feature extraction unit that extracts the non-linear features of the detected image, an update unit that repeatedly updates the shape coefficients based on the regressor matrix obtained through training and the non-linear features, and the shape coefficients after the update and the statistical form obtained through training. A feature point positioning device is provided including a position detection unit that detects the feature point position of the detected image based on a model.
Description
컴퓨터 시각 기술에 연관된다. 더욱 구체적으로는 특징점 포지셔닝 방법과 장치에 관한 것이다.It is related to computer vision technology. More specifically, it relates to a feature point positioning method and device.
얼굴의 특징점 포지셔닝은 컴퓨터 시각 영역에 있어서의 전형적인 문제 중이고, 현재까지 이미 20여 년의 연구역사를 갖고 있다. 얼굴의 자세, 표정, 조명 등 각종 불확정 요소의 영향으로 얼굴 특징점 포지셔닝은 어려운 문제이다. 비교적 전형적인 사람얼굴 특징점 포지셔닝 알고리즘에는 여러 알고리즘들이 존재하며, 최근에 특징점 포지셔닝 기술은 큰 발전을 이루고 있다.Positioning facial features is a typical problem in the computer vision field, and has already had a research history of over 20 years. Facial feature point positioning is a difficult problem due to the influence of various uncertain factors such as facial posture, expression, and lighting. There are several relatively typical human face feature point positioning algorithms, and feature point positioning technology has recently made great progress.
다만, 이러한 기존의 알고리즘은 모바일 플랫폼 상에서 구현되기에는 적합하지 않은 측면이 존재할 수 있다. 모바일 플랫폼 상에서 자유롭게 이용될 수 있도록 하기 위해 모델 파일의 크기를 작게 하고, 동시에 정밀도와 속도를 향상시킬 수 있는 알고리즘에 대한 연구가 필요하다.However, these existing algorithms may have aspects that are not suitable for implementation on mobile platforms. In order to enable it to be freely used on mobile platforms, research is needed on algorithms that can reduce the size of model files and improve precision and speed at the same time.
일실시예에 따른 특징점 포지셔닝 장치는, 검출된 영상의 비선형 특징을 추출하는 특징 추출부, 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대한 반복 업데이트를 진행하는 업데이트부, 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계 형태모델에 기초하여 상기 검출된 영상의 특징점 위치를 검출하는 위치 검출부를 포함할 수 있다.A feature point positioning device according to an embodiment includes a feature extraction unit that extracts non-linear features of the detected image, an update unit that iteratively updates the shape coefficient based on the regressor matrix obtained through training and the non-linear features, and an update unit. It may include a position detection unit that detects the location of the feature point of the detected image based on the later shape coefficient and the statistical shape model obtained through training.
일실시예에 따른 업데이트부는, 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬시켜 유사성 변환행렬을 획득하고, 상기 유사성 변환행렬에 기초하여 상기 중간 형태와 상기 검출된 영상에 대한 유사성 변환을 진행할 수 있다.The update unit according to one embodiment may obtain a similarity transformation matrix by aligning the intermediate form and the average form obtained through the update, and perform similarity transformation on the intermediate form and the detected image based on the similarity transformation matrix. there is.
일실시예에 따른 업데이트부는, 다해상도 피라미드 프레임을 이용하여 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬하고, 제1해상도의 영상에서 특징점 포지셔닝을 임계치까지 수행하고, 상기 특징점을 포지셔닝한 결과를 제1 해상도보다 큰 제2해상도의 영상에 매핑하여 특징점을 포지셔닝하여 유사성 변환 행렬을 획득할 수 있다.The update unit according to one embodiment aligns the intermediate shape and the average shape obtained through updating using a multi-resolution pyramid frame, performs feature point positioning in the image of the first resolution up to a threshold, and provides the result of positioning the feature point. A similarity transformation matrix can be obtained by positioning feature points by mapping them to an image of a second resolution that is larger than the first resolution.
일실시예에 따른 업데이트부는, 반복 업데이트를 통해 획득한 유사성 변환 행렬에 기초하여 획득한 특징점을 상기 검출된 영상의 좌표계에 역변환할 수 있다.The update unit according to one embodiment may inversely transform the feature points obtained based on a similarity transformation matrix obtained through iterative updating into the coordinate system of the detected image.
일실시예에 따른 상기 업데이트부는, k번째의 형태 계수에 대한 반복 업데이트에 사용된 유사성 변환행렬 는 타겟 함수 를 통하여 획득하고, 는 k번째 반복 후의 제i번째 샘플 형태일 수 있다.The update unit according to one embodiment is a similarity transformation matrix used for iterative updating of the kth shape coefficient. is the target function Obtained through, may be in the form of the i-th sample after the k-th repetition.
일실시예에 따른 업데이트부는, 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 비선형 특징에 기초하여 회귀인자 행렬을 확정할 수 있다.The update unit according to one embodiment may determine the regression factor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear characteristics.
일실시예에 따른 상기 업데이트부는, 상기 트레이닝 샘플에서 평균적인 텍스처 특징을 학습하고, 상기 트레이닝 샘플에서 추출한 비선형 텍스처 특징과 상기 평균 텍스처 특징의 차이 값을 트레이닝 샘플의 비선형 특징으로 결정할 수 있다.The updater according to one embodiment may learn average texture features from the training samples, and determine a difference value between the non-linear texture features extracted from the training samples and the average texture features as the non-linear features of the training samples.
일실시예에 따른 상기 비선형 텍스처 특징은 한 종류의 비선형 텍스처 특징 또는 적어도 두 종류의 비선형 텍스처 특징의 조합을 포함하고, 서로 다른 반복 단계에서 같거나 다른 비선형 텍스처 특징 또는 적어도 두 종류의 비선형 텍스처 특징의 조합을 사용할 수 있다.The non-linear texture feature according to one embodiment includes one type of non-linear texture feature or a combination of at least two types of non-linear texture features, and includes the same or different non-linear texture feature or at least two types of non-linear texture feature in different iteration steps. Combinations can be used.
일실시예에 따른 상기 업데이트부는, 최적 형태 계수 업데이트 량과 상기 비선형 특징에 기초하여 계산한 형태 계수 업데이트 량 사이의 오차를 최소화하여 회귀인자 행렬을 확정할 수 있다.The update unit according to one embodiment may determine the regression factor matrix by minimizing the error between the optimal shape coefficient update amount and the shape coefficient update amount calculated based on the non-linear feature.
일실시예에 따른 특징점 포지셔닝 장치에 있어서, k번째 형태 계수에 대한 반복 업데이트에 사용된 회귀인자 행렬는 타겟 함수 를 통하여 얻고, 여기서, N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이며, 는 k번째 반복 때, i번째 샘플의 비선형 특징에 기초하여 계산하여 획득한 형태 계수 업데이트 량일 수 있다.In a feature point positioning device according to an embodiment, a regressor matrix used for iterative update for the kth shape coefficient is the target function Obtained through, where N means the total number of training samples, is the optimal shape coefficient update amount of the ith sample at the kth iteration, is the nonlinear feature of the ith sample at the kth iteration, may be the shape coefficient update amount obtained by calculating based on the non-linear characteristics of the i-th sample at the k-th repetition.
일실시예에 따른 특징점 포지셔닝 방법은, 검출된 영상의 비선형 특징을 추출하는 단계, 트레이닝을 통해 획득한 회귀 인자 행렬 및 상기 비선형 특징에 기초하여 형태 계수를 반복적으로 업데이트하는 단계, 상기 업데이트된 형태 계수 및 트레이닝 하여 획득한 통계 형태 모델에 기초하여 상기 검출된 영상의 특징점을 검출하는 단계를 포함할 수 있다.A feature point positioning method according to an embodiment includes extracting non-linear features of a detected image, repeatedly updating shape coefficients based on a regression factor matrix obtained through training and the non-linear features, and the updated shape coefficients. And it may include detecting feature points of the detected image based on a statistical shape model obtained through training.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 상기 형태 계수를 반복적으로 업데이트하는 단계는, 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬시켜 유사성 변환행렬을 획득하는 단계, 및 상기 유사성 변환행렬에 기초하여 상기 중간 형태와 상기 검출된 영상에 대한 유사성 변환을 수행하는 단계를 더 포함할 수 있다.In the feature point positioning method according to an embodiment, the step of repeatedly updating the shape coefficient includes obtaining a similarity transformation matrix by aligning the intermediate shape and the average shape obtained through updating, and based on the similarity transformation matrix. The method may further include performing similarity conversion on the intermediate form and the detected image.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 상기 유사성 변환 행렬을 획득하는 단계는, 다해상도 피라미드 프레임을 이용하여 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬하는 단계, 제1해상도의 영상에서 특징점 포지셔닝을 임계치까지 수행하고, 상기 특징점을 포지셔닝한 결과를 제1 해상도보다 큰 제2해상도의 영상에 매핑하여 특징점을 포지셔닝하는 단계를 포함할 수 있다.In the feature point positioning method according to one embodiment, the step of obtaining the similarity transformation matrix includes aligning the intermediate shape and the average shape obtained through update using a multi-resolution pyramid frame, and the step of aligning the feature point in the image of the first resolution. It may include performing positioning up to a threshold value and positioning the feature point by mapping the result of positioning the feature point to an image of a second resolution that is larger than the first resolution.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 반복 업데이트를 통해 획득한 유사성 변환 행렬에 기초하여 획득한 특징점을 상기 검출된 영상의 좌표계에 역변환하는 단계, 를 더 포함할 수 있다.In the feature point positioning method according to an embodiment, the step of inversely transforming the feature point obtained based on a similarity transformation matrix obtained through iterative updating into the coordinate system of the detected image may be further included.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, k번째의 형태 계수에 대한 반복 업데이트에 사용된 유사성 변환행렬 는 타겟 함수 를 통하여 획득되고, 는 k번째 반복 후의 제i번째 샘플 형태일 수 있다.In the feature point positioning method according to an embodiment, the similarity transformation matrix used for iterative update of the kth shape coefficient is the target function It is obtained through , and may be in the form of the i-th sample after the k-th repetition.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 트레이닝 샘플의 비선형 특징을 확정하는 단계, 및 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 비선형 특징에 기초하여 회귀인자 행렬을 획득하는 단계를 포함할 수 있다.A feature point positioning method according to an embodiment may include determining non-linear features of a training sample, and obtaining a regressor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear feature.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 상기 비선형 특징은 비선형 텍스처 특징을 포함하고, 트레이닝 샘플의 비선형 특징을 확정하는 단계는, 상기 트레이닝 샘플에서 평균적인 텍스처 특징을 학습하는 단계, 상기 트레이닝 샘플에서 추출한 비선형 텍스처 특징과 상기 평균적인 비선형 텍스처 특징의 차이 값을 트레이닝 샘플의 비선형 특징으로 결정하는 단계를 포함할 수 있다.In the feature point positioning method according to an embodiment, the non-linear feature includes a non-linear texture feature, and determining the non-linear feature of the training sample includes learning an average texture feature from the training sample, It may include determining the difference value between the extracted nonlinear texture feature and the average nonlinear texture feature as the nonlinear feature of the training sample.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 상기 비선형 텍스처 특징은 하나 또는 그 이상의 종류의 비선형 텍스처 특징의 조합을 포함하고, 상기 업데이트를 반복하는 경우 상기 하나 이상의 비선형 텍스처 특징의 조합을 사용할 수 있다.In the feature point positioning method according to one embodiment, the non-linear texture feature includes a combination of one or more types of non-linear texture features, and when the update is repeated, a combination of the one or more non-linear texture features may be used.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 비선형 특징에 기초하여 회귀인자 행렬을 확정하는 단계는, 최적 형태 계수 업데이트 량과 상기 비선형 특징에 기초하여 계산한 형태 계수 업데이트 량 사이의 오차를 최소화하여 회귀인자 행렬을 확정하는 단계를 포함할 수 있다.In the feature point positioning method according to one embodiment, the step of determining the regressor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear features includes the form calculated based on the optimal shape coefficient update amount and the non-linear feature. It may include the step of confirming the regression factor matrix by minimizing the error between coefficient update amounts.
일실시예에 따른 특징점 포지셔닝 방법에 있어서, k번째로 형태 계수에 대한 반복 업데이트에 사용된 회귀인자 행렬는 타겟 함수 를 통하여 획득되고, N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이며, 는 k번째 반복 때, i번째 샘플의 비선형 특징에 기초하여 계산하여 획득한 형태 계수 업데이트 량일 수 있다.In the feature point positioning method according to an embodiment, the kth regressor matrix used for iterative update of the shape coefficient is the target function It is obtained through, N means the total number of training samples, is the optimal shape coefficient update amount of the ith sample at the kth iteration, is the nonlinear feature of the ith sample at the kth iteration, may be the shape coefficient update amount obtained by calculating based on the non-linear characteristics of the i-th sample at the k-th repetition.
도 1은 일실시예에 따른 의 키 포인트 포지셔닝 장치의 조성도이다.
도 2a는 일실시예에 따른 특징점 포지셔닝 방법의 전체 흐름도이다.
도 2b는 일실시예에 따른 특징점 포지셔닝 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 통계형태 모델의 예시이다.
도 4a 및 도 4b는 일실시예에 따라 단해상도에서의 특징점의 초기 형태 및 1차 반복 후의 형태에 대한 예시이다.
도 5는 일실시예에 따른 반복 업데이트를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 다해상도 통계 모델 계수 회귀(Statistical model coefficient regression, SMCR) 알고리즘이다.
도 7은 도 4 내지 도 6의 알고리즘을 병합한 다 해상도 통계 모델 계수 회귀 알고리즘의 흐름도이다.Figure 1 is a composition diagram of a key point positioning device according to an embodiment.
Figure 2A is an overall flowchart of a feature point positioning method according to an embodiment.
Figure 2b is a diagram for explaining a feature point positioning method according to an embodiment.
Figure 3 is an example of a statistical model according to an embodiment.
FIGS. 4A and 4B are examples of the initial shape and the shape after the first repetition of a feature point in single resolution according to an embodiment.
Figure 5 is a diagram for explaining iterative update according to one embodiment.
Figure 6 is a multi-resolution statistical model coefficient regression (SMCR) algorithm according to an embodiment.
Figure 7 is a flow chart of a multi-resolution statistical model coefficient regression algorithm that merges the algorithms of Figures 4 to 6.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only and may be modified and implemented in various forms. Accordingly, the embodiments are not limited to the specific disclosed form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component. For example, a first component may be named a second component, and similarly, the second component may also be named a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected or connected to the other component, but that other components may exist in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate the presence of the described features, numbers, steps, operations, components, parts, or combinations thereof, but are not intended to indicate the presence of one or more other features or numbers, It should be understood that this does not exclude in advance the possibility of the presence or addition of steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art. Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. No. Hereinafter, embodiments will be described in detail with reference to the attached drawings. The same reference numerals in each drawing indicate the same members.
과학기술의 발전에 따라, 기존의 모바일 디바이스, 특히 핸드폰, 태블릿 PC등은 모두 전방 카메라가 장착되어 있다. 하드웨어적으로, 전방 카메라를 통하여 사람 얼굴의 특징점을 포지셔닝을 편리하게 할 수 있다. 동시에 기존의 핸드폰, 태블릿 PC는 높은 계산능력을 갖고 있고, 이는 복잡한 영상처리 알고리즘을 하드웨어적으로 가능하게 할 수 있다.With the advancement of science and technology, existing mobile devices, especially cell phones and tablet PCs, are all equipped with front-facing cameras. In terms of hardware, it is possible to conveniently position the characteristic points of a person's face through the front camera. At the same time, existing mobile phones and tablet PCs have high computational capabilities, which can enable complex image processing algorithms in hardware.
본원은 모바일 플랫폼에 대하여 모델 파일의 크기가 작고, 정밀도가 높으며 속도가 빠른 특징점 포지셔닝 알고리즘을 제안한다. 그 기본 아이디어는 먼저 오프라인으로 하나의 통계 형태 모델을 트레이닝 하고, 검출할 영상의 비선형특징을 추출하고 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 근거하여 형태 계수에 대하여 반복적인 업데이트를 하고, 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계형태 모델에 근거하여 상기 검출할 영상의 특징점 위치를 검출한다. 본원은 미리 통계형태 모델을 서로 다른 형태의 모델으로 트레이닝 할 수 있고, 대응 형태의 특징점을 검출할 수 있으므로, 본원이 제공한 기술방안은 사람 얼굴의 특징점 검출에 한정되지 않고, 동물 얼굴, 동물 신체부위, 초음파 영상 등 의 특징점 포지셔닝 등을 포함한다. 본원에서는, 사람 얼굴의 특징점 포지셔닝만을 예로 들어 설명한다.For mobile platforms, we propose a feature point positioning algorithm that has a small model file size, high precision, and high speed. The basic idea is to first train a statistical shape model offline, extract and train the non-linear features of the image to be detected, and repeatedly update the shape coefficients based on the obtained regressor matrix and the non-linear features. The location of the feature point of the image to be detected is detected based on the later shape coefficient and the statistical shape model obtained through training. Since our institute can train statistical models in advance with models of different types and detect feature points of corresponding shapes, the technical solution provided by this institute is not limited to detecting feature points of human faces, but also animal faces and animal bodies. It includes positioning of feature points such as area and ultrasound image. In this application, only the positioning of feature points of a human face will be explained as an example.
사람 얼굴의 특징점을 예로 들면, 트레이닝 한 통계형태 모델은 열 개의 좌우의 형태 계수만으로 모든 정상적인 사람 얼굴의 형태를 표현할 수 있다. 복잡한 모델에 비해, 비교적 적은 계수를 통해 차원을 감소시켜 사람 얼굴의 형태에 대한 간단한 묘사가 가능하게 한다. 이로써, 사람 얼굴 특징점 포지셔닝은 최적의 형태 계수를 구하는 것으로 귀결된다. 비선형 특징을 선형 회귀로 추출하는 방식을 이용해 형태 계수에 대한 반복적 업데이트를 통하여 최적의 형태 계수를 획득하고, 오프라인으로 트레이닝 하여 획득한 통계형태 모델에 근거하여 각 특징점의 위치를 획득할 수 있다. 이 과정에서, 회귀인자 행렬의 행의 개수는 통계형태 모델의 계수 개수와 같고, 특징점의 수량과는 연관이 없다. 본원의 회귀인자 행렬의 행의 개수는 전통적인 SDM알고리즘의 9분의 1 이하이다. 이로써, 모델 파일의 크기는 크게 감소되고, 속도도 향상되며, 그러면서도 포지셔닝 정밀도가 감소되지 않도록 한다. Taking the feature points of a human face as an example, the trained statistical shape model can express the shape of all normal human faces with only ten left and right shape coefficients. Compared to complex models, the dimensionality is reduced through relatively small coefficients, enabling a simple description of the shape of the human face. As a result, human facial feature point positioning results in finding the optimal shape coefficient. Using a method of extracting non-linear features through linear regression, the optimal shape coefficient can be obtained through repeated updates to the shape coefficient, and the location of each feature point can be obtained based on a statistical shape model obtained by training offline. In this process, the number of rows of the regressor matrix is equal to the number of coefficients of the statistical model and is not related to the quantity of feature points. The number of rows of our regression factor matrix is less than one-ninth of that of the traditional SDM algorithm. This significantly reduces the size of the model file and improves speed, while ensuring that positioning precision is not reduced.
도 1은 일실시예에 따른 특징점 포지셔닝 장치의 조성도이다.1 is a composition diagram of a feature point positioning device according to an embodiment.
도 1과 같이, 상기 시스템은 특징 추출부(120), 업데이트부(130) 및 위치 검출부(140)를 포함하고, 트레이닝부(150), 저장부(160)와 영상수집부(110)를 추가적으로 더 포함할 수 있으며 이는 도면에서 점선으로 표시한다. 그 중에서, 상기 시스템은 검출할 영상의 비선형 특징을 추출하는 특징 추출부(120), 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대하여 반복 업데이트를 하는 업데이트부(130), 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계 형태 모델에 근거하여 상기 검출할 영상의 특징점 위치를 검출하는 위치 검출부(140)를 포함할 수 있다. 트레이닝부(150)는 표기한 특징점 위치의 영상을 트레이닝 샘플로 하여 통계형태 모듈을 학습하고, 트레이닝 샘플의 비션형 특징의 확정은 트레이닝 샘플의 최적화 형태 계수의 업데이트량과 상기 비선형 특징에 기초하여 회귀인자 행렬을 확정하며, 저장부(160)는 트레이닝 하여 획득한 통계형태 모듈 및 기타 필요 정보를 저장하고, 영상수집부(110)는 비디오 및/또는 영상의 포함을 수집할 수 있다.As shown in Figure 1, the system includes a
도 1의 장치와 대응하여 본원은 특징점 포지셔닝 방법을 제공하며, 검출할 영상의 비선형 특징을 추출하는 단계; 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대하여 반복 업데이트하는 단계; 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계형태 모델에 기초하여 상기 검출할 영상의 특징점 위치를 검출하는 단계를 포함한다.Corresponding to the device of FIG. 1, the present application provides a feature point positioning method, comprising the steps of extracting non-linear features of an image to be detected; Iteratively updating the shape coefficient based on the regressor matrix obtained through training and the non-linear features; It includes the step of detecting the location of the feature point of the image to be detected based on the updated shape coefficient and the statistical shape model obtained through training.
도 2a는 본 발명의 사람얼굴 특징점 포지셔닝 방법의 전체 흐름도이고, 오프라인 트레이닝 부분과 온라인 정렬 부분을 포함한다. 그 중에서, 오프라인 트레이닝 부분은 아래 단계를 포함한다. Figure 2a is an overall flowchart of the human face feature point positioning method of the present invention, and includes an offline training part and an online alignment part. Among them, the offline training part includes the steps below.
단계(211)에서는 표기한 특징점이 위치하는 사람 얼굴 영상을 입력한다. 단계(212)에서는 상기 표기한 특징점이 위치하는 사람얼굴 영상을 트레이닝 샘플로 하여 통계 형태 모델을 트레이닝 한다. 단계(213)에서는 상기 표기한 특징점이 위치하는 얼굴 영상을 트레이닝 샘플로 하여 통계 텍스처 모델을 트레이닝 하며 단계 211 내지 단계 213는 선택적으로 수행 가능하다. 단계(214)에서는 각 샘플에 대해 적어도 두 개의 초기 값을 생성하여 트레이닝 샘플을 증가시키며, 단계(215)에서는 업데이트의 제1차 반복 여부를 판단하고, 업데이트가 제1차 반복이면 직접 현재 특징점 주위에서 비선형 특징을 추출하여 단계(216)으로 전달하고, 그렇지 않으면, 이전에 업데이트한 중간형태와 평균형태를 정렬하고 아핀변환(affine transformation)을 수행하며, 아핀변환이 수행된 특징점 주위에서 비선형 특징을 추출(217)한다. 단계(218)에서는, 현재 형태 및 실제 형태에 대한 통계형태모듈 계수 업데이트 량을 계산한다. 단계(219)에서는, 형태모델 계수 업데이트 량과 비선형 특징에 근거하여 선형형태 계수 회귀인자 행렬을 계산하고 전 단계에서 획득한 선형형태 계수 회귀인자 행렬 및 비선형 특징에 근거하여 형태 계수 업데이트 량을 계산하고, 이 업데이트 량을 이용하여 현재의 형태 계수를 업데이트 하여 현재 형태를 업데이트 한다. 단계(215) 내지 단계(219)를 반복하여 지정차수를 수렴 또는 순환될 때까지 한 후 종료하고, 회귀인자 행렬, 형태모델, 평균텍스처 등을 출력하는 단계(220)를 수행한다. In
도 2a중의 온라인 포지셔닝 부분은 아래 단계들을 수행한다. The online positioning portion of Figure 2A performs the following steps.
단계(231)에서는, 한 폭의 사람얼굴을 포함하는 영상, 사람얼굴 포위 프레임 및 오프라인 모델을 입력하고, 단계(232)에서는, 영상으로부터 사람의 얼굴 영역을 도려내고 크기를 축소하며 사람 얼굴의 형태를 초기화 한다. 단계(233)에서는, 업데이트의 제1차 반복 여부를 판단하고, 제1차 반복이면 현재 특징점 주위에서 비선형 특징을 추출하여 단계(235)로 전달하고 그렇지 않으면, 업데이트 이전의 중간 형태와 평균형태를 정렬(234)하고 영상을 아핀 변환 하며, 다음 현재 특징점 주위에서 비선형 특징을 추출한다. 단계(235)에서는, 오프라인 트레이닝으로 획득한 선형 형태 계수 회귀인자 행렬 및 비선형 특징에 근거하여 형태 계수 업데이트 량을 계산(236)하고, 이 형태 계수 업데이트 량으로 형태 계수를 업데이트 하여 현재 형태를 업데이트(237)한다. 단계(233) 내지 단계(237)를 반복하여, 현재 형태가 원래의 입력 영상 좌표계로 변환되면 최종의 사람얼굴 특징점 위치를 획득할 수 있다.In
도 2b는 본 발명의 사람얼굴 특징점 포지셔닝 방법의 핵심단계 설명도이고, 동일하게 오프라인 트레이닝 부분과 온라인 포지셔닝 부분을 포함한다. 그 중에서, 오프라인 트레이닝 부분은 아래 단계를 포함한다.Figure 2b is an explanatory diagram of the core steps of the human face feature point positioning method of the present invention, and equally includes an offline training part and an online positioning part. Among them, the offline training part includes the steps below.
단계1: 아래 식에 따라 통계 형태 모델을 학습한다.Step 1: Learn a statistical model according to the equation below.
여기서, 은 평균형태, 는 국부형태 계수, 는 기초벡터를 의미한다.here, is the average form, is the local shape coefficient, means the basis vector.
단계2: 아래 식을 최소화 하는 것을 통하여 학습한다.Step 2: Learn by minimizing the equation below.
여기서, 는 최적형태 모델 계수의 업데이트 량이고; 는 표기한 진실형태가 대응하는 형태 계수며; 는 k차 반복 후의 형태 계수고, 는 영상I의 현재 형태 에서 추출한 비선형 특징이다.here, is the update amount of the optimal form model coefficients; is the form coefficient to which the indicated truth form corresponds; is the shape coefficient after the kth iteration, is the current form of image I It is a nonlinear feature extracted from .
단계3: 아래 식에 따라 형태 계수를 업데이트 한다.Step 3: Update the shape coefficient according to the equation below.
단계4: 단계2~3을 반복하여 수렴 또는 반복 차수가 지정된 차수에 도달될 때까지 수행한 후 종료한다.Step 4: Repeat steps 2 to 3 until the convergence or iteration order reaches the specified order and then terminates.
도 2b가 도시한 온라인 정렬부분은 아래 단계를 포함한다.The online sorting portion shown in Figure 2b includes the following steps.
단계 1: 원시 영상에서 사람 얼굴의 영역을 도려내어 얼굴 영역의 형태를 초기화한다. 예를 들면, 단계 1에서 도면(201)은 원시 영상이고, 우측에 위치한 도면(202)은 초기화 후의 사람 얼굴의 형태이다.Step 1: Cut out the human face area from the raw image and initialize the shape of the face area. For example, in
단계2: 아래 식에 따라 도면(203) 내지 도면(206)고 같이 형태 계수를 수렴될 때까지 반복적으로 업데이트 한다.Step 2: Iteratively update the shape coefficients in drawings 203 to 206 according to the equation below until convergence.
단계3: 아래 식에 따라 사람얼굴 형태를 합성하고 입력 영상 좌표계에 역변환하여 최종적으로 도2b의 도면(207)을 획득한다.Step 3: The human face shape is synthesized according to the equation below and inversely converted to the input image coordinate system to finally obtain the drawing 207 in FIG. 2B.
이상 알고리즘의 전체 흐름을 소개하였고, 아래에 그 중의 일부에 대한 세부 내용에 대해 기술하기로 한다.The overall flow of the above algorithm has been introduced, and details about some of them will be described below.
1. 통계형태 모델의 트레이닝1. Training of statistical model
정상적인 사람얼굴 형태에 대하여 회전, 축소, 평행이동과 같은 전체적 유사성 변환요소를 제거하고 나면, 사람얼굴 형태의 변환은 실제적으로 유한하고, 주요한 변화 패턴은 많지 않게 된다. 본 발명은 더욱 정밀한 방식을 이용하여 사람 얼굴 형태를 표시하고, 다시 말해서, 더 적은 계수의 사용으로 각종 사람 얼굴의 형태를 표시할 수 있다. 본 발명이 통계 형태 모델의 트레이닝을 요구하는 원인이다.After removing the overall similarity transformation factors such as rotation, reduction, and translation for the normal human face shape, the transformation of the human face shape is practically finite, and there are not many major change patterns. The present invention displays the shape of a human face using a more precise method, that is, it can display various shapes of a human face using fewer coefficients. This is why the present invention requires training of a statistical type model.
정밀한 통계 형태 모델을 트레이닝 하기 위하여, 우선 입력한 사람얼굴 형태에 대한 표준화 처리가 필요하다. 즉 프로크루스테스 분석(Procrustes Analysis), 회전, 축소 등 전체적 유사성 변환의 영향을 제거하도록 하며, 그 구체적인 실시단계는 관련문헌: T.F. Cootes and C.J.Taylor, Statistical Models of Appearance for Computer Vision, 2004를 참고할 수 있다. In order to train a precise statistical shape model, standardization of the input human face shape is first necessary. In other words, the influence of overall similarity transformation such as Procrustes Analysis, rotation, and reduction is removed, and the specific implementation steps are described in the related document: T.F. You can refer to Cootes and C.J.Taylor, Statistical Models of Appearance for Computer Vision, 2004.
표준화 처리 후, 다시 주성분 분석(PCA)를 통하여 평균형태 과 한 개 조의 기본 벡터를 획득하고, 동시에 전체적 유사성 변환을 실현하기 위하여 추가적인 4개의 기본 벡터의 부가가 필요할 수 있다. 평균 형태에서 서로 다른 가중치의 겹침을 통하여 하나의 특정된 사람얼굴 형태를 생성할 수 있고, 전체적 유사성 변환을 추가할 수 있으며, 이는 아래의 공식으로 표시할 수 있다.After standardization, the average form is again obtained through principal component analysis (PCA). and one base vector In order to obtain and simultaneously realize the overall similarity transformation, additional four basic vectors The addition of may be necessary. One specific human face shape can be created through the overlap of different weights in the average shape, and an overall similarity transformation can be added, which can be expressed by the formula below.
여기서, 는 국부형태 계수고, 는 전체적 유사성 변환 계수며, N(,)은 한 개 점(x, y)에 대한 전체적 유사성 변환을 나타낸다. here, is the local form coefficient, is the overall similarity transformation coefficient, and N(,) represents the overall similarity transformation for one point (x, y).
특히, 평균형태에 대한 전체적 유사성 변환은 아래 식과 같이 표현 가능하다.In particular, the overall similarity transformation for the average form can be expressed as the equation below.
여기서, 4개의 기본벡터 는 각각 , , , 이다.Here, the four basic vectors are respectively , , , am.
도 3은 일실시예에 따른 하나의 통계형태 모델의 예시이다. 입력(301)은 표준화를 마친 후의 몇 개의 사람얼굴 형태를 함께 겹친 영상이고, 여기서 볼 수 있듯이, 포인트의 분포는 가우스 분포에 근접하다. 좌측에서부터 두 번째 도면, 즉 에 대응되는 도면(302)은 평균적인 형태이고 도면(303)은 앞 세 개의 기본 벡터를 각각 평균 형태에 겹쳐 표시한 영상(도에서 화살표를 가진 작은 선단은 기본 벡터를 표시함)이다. 첫 번째 기본 벡터(303)는 사람 얼굴이 좌우로 회전 할 때의 형태 변화를 묘사하였고, 두 번째 기본 벡터(304)는 사람 얼굴이 상하로 운동할 때의 형태 변화이며, 세 번째 기본 벡터(305)는 살찐 얼굴과 마른 얼굴 사이의 형태 차이를 묘사하였다. 도 3이 도시한 예시는 단지 기본 벡터가 묘사할 수 있는 정보를 예를 들어 설명하였고, 실제응용에서, 기본 벡터가 묘사할 수 있는 정보는 상기 예제에 한정되지 않는다.Figure 3 is an example of one statistical model according to an embodiment. The
하나의 사람 얼굴 형태를 지정할 때, 아래의 공식을 통하여 국부적인 형태 계수와 전체적 유사성 변환 계수를 구할 수 있다. When specifying the shape of a person's face, the local shape coefficient and global similarity transformation coefficient can be obtained using the formula below.
여기서, 은 고정형태에 대하여 전체적 유사성 변환을 하는 역변환을 나타내고, 이는 형태 표준화의 조작과 유사하다. here, represents an inverse transformation that performs an overall similarity transformation for a fixed form, which is similar to the operation of form standardization.
2. 통계형태 모델 계수 회귀에 기초한 사람얼굴 정렬방법2. Human face sorting method based on statistical model coefficient regression
통계형태 모델 계수 회귀에 기초한 사람 얼굴 정렬 방법의 기본 아이디어는 현재 각각의 특징점 주위에서 비선형 특징을 추출하고, 상기 비선형 특징을 하나의 벡터로 조합하며 이런 비선형 특징을 이용하여 통계형태 모델 계수의 업데이트 량을 회귀하는 것이다.The basic idea of the human face alignment method based on statistical model coefficient regression is to extract non-linear features around each feature point, combine the non-linear features into one vector, and use these non-linear features to update the statistical model coefficients. is to regress.
여기서, 는 현재 형태(k번째 반복 후의 형태)가 대응하는 형태 계수고, 는 현재 형태에서 추출한 비선형 특징이며, 는 k번째 반복 업데이트 후에 사용한 회귀인자이다. 설명의 편의를 위하여 국부 형태 계수와 전체적 유사성 변환계수를 합친 것을 로 표기한다.here, is the shape coefficient to which the current shape (the shape after the kth repetition) corresponds, is a nonlinear feature extracted from the current form, is the regression factor used after the kth iteration update. For convenience of explanation, the local shape coefficient and the global similarity transformation coefficient are combined. It is written as
정확한 작업을 위하여, 데이터 학습을 통하여 매 반복에 사용되는 회귀인자 이 획득될 것이 요구된다. 본 발명에서, 는 아래 타겟 함수의 최소화를 통하여 획득할 수 있다.For accurate work, regression factors used in each iteration through data learning This is required to be obtained. In the present invention, can be obtained through minimization of the target function below.
식에서 N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량(즉 실제의 형태 계수와 현재 형태 계수의 차)이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이다. 상기 식은 아래의 최소 제곱법이 있다.In the equation, N refers to the total number of training samples, is the optimal shape coefficient update amount of the ith sample (i.e., the difference between the actual shape coefficient and the current shape coefficient) at the kth iteration, is the non-linear characteristic of the ith sample at the kth repetition. The above equation has the least squares method below.
여기서 제기한 타겟 함수와 해법공식 외에, 기타 타겟 함수와 해법공식을 사용할 수 있고, 예시적으로, 리지 회귀(ridge regression)를 채용하여 선형 회귀를 대체하고, 비선형 특징을 텍스처 모델의 공간 등에 투영할 수 있다. 구체적인 방법은 표 1을 참고한다.In addition to the target function and solution formula raised here, other target functions and solution formulas can be used. For example, ridge regression can be adopted to replace linear regression, and non-linear features can be projected into the space of the texture model, etc. You can. Please refer to Table 1 for specific methods.
SMCR 알고리즘의 타겟 함수와 해법공식Target function and solution formula of SMCR algorithm
동일한 코드 프레임에 기초하여, 우리는 감독하강법 알고리즘과도 비교할 수 있으며 결과는 표2와 같다. 비교결과에서 보면, 통계 모델 계수 회귀 알고리즘이 갖는 LFPW와 iBUG 두 개의 데이터 베이스 상에서의 정밀도는 모두 감독하강법 알고리즘보다 높다.Based on the same code frame, we can also compare with the supervised descent algorithm, and the results are shown in Table 2. From the comparison results, the precision of the statistical model coefficient regression algorithm on the two databases LFPW and iBUG is both higher than that of the supervised descent algorithm.
통계 모델 계수 회귀 알고리즘과 감독하강법의 알고리즘 비교Comparison of statistical model coefficient regression algorithms and supervised descent algorithms
통계 모델 계수 회귀 알고리즘Statistical model coefficient regression algorithm
감독 하강법 알고리즘: 통계 모델 계수 회귀 알고리즘과 매우 유사하나, p만 x로 치환함.Supervised descent algorithm: Very similar to the statistical model coefficient regression algorithm, but only p is replaced by x.
3. 중간결과의 재정렬3. Reordering of intermediate results
실제 트레이닝과 테스트 중에서 발견한 것은, 최초 1~2번의 반복을 통하여 획득한 형태는 이미 실제 형태와 근사하다는 것이다. 도4a와 도4b를 살펴보면, 도4a는 초기형태이고 도4b는 제1차 반복 한 후의 형태이다. 영상의 사람 얼굴에 일정한 회전이 있으면, 현재 형태가 이미 상기 회전을 탐지하여도 후속 반복에서 비선형 특징을 추출할 때, 얼굴 영상을 바로 잡지 못하게 될 수 있다.What we discovered during actual training and testing is that the shape obtained through the first one or two repetitions is already close to the actual shape. Looking at Figures 4a and 4b, Figure 4a is the initial form and Figure 4b is the form after the first repetition. If there is a certain rotation of the human face in the image, the face image may not be corrected when extracting non-linear features in subsequent iterations, even if the current shape already detects the rotation.
중간 결과를 추가하여 재정렬한 사람 얼굴 정렬 알고리즘의 흐름도는 도 5와 같다.The flowchart of the human face sorting algorithm rearranged by adding intermediate results is shown in Figure 5.
상기 관찰에 기초하여 본 발명은 매번 반복 업데이트를 진행할 때, 현재의 얼굴 형태와 평균 얼굴 형태를 정렬하고, 하나의 전체적 유사성 변형행렬 를 찾아서, 하기 타겟 함수를 최소화하도록 한다.Based on the above observation, the present invention aligns the current face shape and the average face shape each time iterative update is performed, and creates an overall similarity transformation matrix. Find and minimize the following target function.
여기서, 는 제k차 반복 후 i번째 샘플의 형태이다. 전체적 유사성 변환행렬을 획득한 후, 현재 형태와 영상에 대하여 전체적 유사성 변환을 하고, 이에 기초하여 다음 번 반복을 수행한다(511~515). 이로써 회전과 축소로 생기는 불리한 영향을 제거할 수 있어, 추출된 비선형 특징이 특징점 위치 편이를 더 잘 반영할 수 있다.here, is the form of the ith sample after the kth repetition. After obtaining the overall similarity transformation matrix, overall similarity transformation is performed on the current shape and image, and the next iteration is performed based on this (511 to 515). This allows the unfavorable effects of rotation and scaling to be eliminated, allowing the extracted nonlinear features to better reflect feature point location shifts.
4. 다 해상도 확장4. Multi-resolution expansion
도 6은 일실시예에 따른 다해상도에 대한 확장에 대한 예시적인 도면이다.Figure 6 is an exemplary diagram of expansion to multiple resolutions according to an embodiment.
다 해상도 프레임은 정밀도와 속도의 평형을 위하여 다시각 알고리즘에서 통상적인 수단으로 사용된다. 본 발명이 연관된 사람얼굴 알고리즘에서, 동일하게 다 해상도 프레임을 채용할 수 있다. 우선 하나의 해상도가 비교적 낮은 영상에서 사람얼굴 특징점 포지셔닝을 하고(601), 그 결과를 고해상도 영상에 매핑하여 계속하여 반복 정밀 포지셔닝을 수행(602)할 수 있다.Multi-resolution frames are commonly used in multi-angle algorithms to balance precision and speed. In the human face algorithm to which the present invention is related, the same multi-resolution frames can be employed. First, human face feature points are positioned in a relatively low-resolution image (601), and the result can be mapped to a high-resolution image to continuously perform repeated precise positioning (602).
마지막으로, 도7은 중간결과의 재정렬을 포함한 다 해상도 SMCR알고리즘의 흐름도이다. 도 7의 711 내지 715의 도면은 앞서 자세히 설명한 단해상도에 있어서의 반복적인 업데이트 수행을 나타내며, 721 내지 722에서는 다해상도에 있어서의 반복적인 포지셔닝을 수행을 나타낸다.Finally, Figure 7 is a flowchart of the multi-resolution SMCR algorithm including reordering of intermediate results. Figures 711 to 715 of FIG. 7 show the iterative update in single resolution described in detail above, and figures 721 to 722 show iterative positioning in multi-resolution.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using one or more general-purpose or special-purpose computers, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 저장부 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash storage, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with limited drawings as described above, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
Claims (20)
트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대한 반복 업데이트를 진행하는 업데이트부; 및
업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계 형태모델에 기초하여 상기 영상의 특징점 위치를 검출하는 위치 검출부
를 포함하고,
상기 업데이트부는,
트레이닝 샘플의 비선형 특징을 확정하고, 상기 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 트레이닝 샘플의 비선형 특징에 기초하여 회귀인자 행렬을 확정하는
특징점 포지셔닝 장치.A feature extraction unit that extracts non-linear features of the image;
An update unit that repeatedly updates the shape coefficient based on the regressor matrix obtained through training and the non-linear characteristics; and
A position detection unit that detects the location of feature points of the image based on the updated shape coefficient and the statistical shape model obtained through training.
Including,
The update department,
Determining the non-linear characteristics of the training sample, and determining the regressor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear characteristic of the training sample.
Feature point positioning device.
상기 업데이트부는,
업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬시켜 유사성 변환행렬을 획득하고, 상기 유사성 변환행렬에 기초하여 상기 중간 형태와 상기 검출된 영상에 대한 유사성 변환을 수행하는
특징점 포지셔닝 장치.According to paragraph 1,
The update department,
Obtaining a similarity transformation matrix by aligning the intermediate form and the average form obtained through update, and performing similarity transformation on the intermediate form and the detected image based on the similarity transformation matrix.
Feature point positioning device.
상기 업데이트부는,
다해상도 피라미드 프레임을 이용하여 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬하고, 제1해상도의 영상에서 특징점 포지셔닝을 임계치까지 수행하고, 상기 특징점을 포지셔닝한 결과를 제1 해상도보다 큰 제2해상도의 영상에 매핑하여 특징점을 포지셔닝하여 유사성 변환 행렬을 획득하는
를 포함하는
특징점 포지셔닝 장치.According to paragraph 2,
The update department,
Using a multi-resolution pyramid frame, the intermediate and average shapes obtained through update are aligned, feature point positioning is performed up to a threshold in the image of the first resolution, and the result of positioning the feature points is converted to a second resolution larger than the first resolution. Obtain a similarity transformation matrix by positioning feature points by mapping them to the image of
containing
Feature point positioning device.
상기 업데이트부는,
반복 업데이트를 통해 획득한 유사성 변환 행렬에 기초하여 획득한 특징점을 상기 검출된 영상의 좌표계에 역변환하는
특징점 포지셔닝 장치.According to paragraph 3,
The update department,
Inversely transforming the obtained feature points based on the similarity transformation matrix obtained through repeated updates into the coordinate system of the detected image.
Feature point positioning device.
상기 업데이트부는,
k번째의 형태 계수에 대한 반복 업데이트에 사용된 유사성 변환행렬 는 타겟 함수 를 통하여 획득하고,
는 k번째 반복 후의 제i번째 샘플 형태인
특징점 포지셔닝 장치.According to paragraph 2,
The update department,
Similarity transformation matrix used for iterative update of the kth shape coefficient is the target function Obtained through,
is the i-th sample form after the k-th repetition.
Feature point positioning device.
상기 비선형 특징은 비선형 텍스처 특징을 포함하고,
상기 업데이트부는,
상기 트레이닝 샘플의 비선형 특징을 확정할 때,
상기 트레이닝 샘플에서 평균적인 텍스처 특징을 학습하고,
상기 트레이닝 샘플에서 추출한 비선형 텍스처 특징과 상기 평균적인 텍스처 특징의 차이 값을 트레이닝 샘플의 비선형 특징으로 결정하는 단계
를 포함하는 특징점 포지셔닝 장치.According to paragraph 1,
The non-linear features include non-linear texture features,
The update department,
When determining the nonlinear characteristics of the training sample,
Learn average texture features from the training samples,
Determining the difference value between the non-linear texture features extracted from the training sample and the average texture feature as the non-linear feature of the training sample.
A feature point positioning device including a.
상기 비선형 텍스처 특징은 한 종류의 비선형 텍스처 특징 또는 적어도 두 종류의 비선형 텍스처 특징의 조합을 포함하고;
상기 업데이트부는,
상기 반복 업데이트를 진행할 때, 같거나 다른 비선형 텍스처 특징 또는 적어도 두 종류의 비선형 텍스처 특징의 조합을 사용하는
특징점 포지셔닝 장치.In clause 7,
The non-linear texture feature includes one type of non-linear texture feature or a combination of at least two types of non-linear texture feature;
The update department,
When performing the iterative update, using the same or different nonlinear texture features or a combination of at least two types of nonlinear texture features
Feature point positioning device.
상기 업데이트부는,
상기 최적 형태 계수 업데이트 량과 상기 트레이닝 샘플의 비선형 특징에 기초하여 계산한 형태 계수 업데이트 량 사이의 오차를 최소화하여 회귀인자 행렬을 확정하는
특징점 포지셔닝 장치.According to paragraph 1,
The update department,
Determining a regressor matrix by minimizing the error between the optimal shape coefficient update amount and the shape coefficient update amount calculated based on the non-linear characteristics of the training sample.
Feature point positioning device.
상기 업데이트부는
k번째로 형태 계수에 대한 반복 업데이트에 사용된 회귀인자 행렬는 타겟 함수 를 통하여 얻고,
여기서, N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이며, 는 k번째 반복 때, i번째 샘플의 비선형 특징에 기초하여 계산하여 획득한 형태 계수 업데이트 량인
특징점 포지셔닝 장치.According to clause 9,
The update department
Regressor matrix used for kth iterative update of shape coefficients is the target function Obtained through,
Here, N means the total number of training samples, is the optimal shape coefficient update amount of the ith sample at the kth iteration, is the nonlinear feature of the ith sample at the kth iteration, is the shape coefficient update amount obtained by calculating based on the nonlinear characteristics of the ith sample at the kth repetition.
Feature point positioning device.
트레이닝을 통해 획득한 회귀 인자 행렬 및 상기 비선형 특징에 기초하여 형태 계수를 반복적으로 업데이트하는 단계;
상기 업데이트된 형태 계수 및 트레이닝 하여 획득한 통계 형태 모델에 기초하여 상기 영상의 특징점을 검출하는 단계
를 포함하고,
상기 업데이트하는 단계는,
트레이닝 샘플의 비선형 특징을 확정하는 단계; 및
상기 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 트레이닝 샘플의 비선형 특징에 기초하여 회귀인자 행렬을 획득하는 단계
를 포함하는
특징점 포지셔닝 방법.Extracting non-linear features of the image;
Iteratively updating shape coefficients based on the regression factor matrix obtained through training and the non-linear features;
Detecting feature points of the image based on the updated shape coefficient and the statistical shape model obtained through training.
Including,
The updating step is,
determining non-linear characteristics of training samples; and
Obtaining a regressor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear characteristics of the training sample.
containing
Feature point positioning method.
상기 형태 계수를 반복적으로 업데이트하는 단계는,
업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬시켜 유사성 변환행렬을 획득하는 단계;
상기 유사성 변환행렬에 기초하여 상기 중간 형태와 상기 검출된 영상에 대한 유사성 변환을 수행하는 단계
를 더 포함하는
특징점 포지셔닝 방법.According to clause 11,
The step of iteratively updating the shape coefficient is,
Obtaining a similarity transformation matrix by aligning the intermediate shape and the average shape obtained through update;
Performing similarity transformation on the intermediate form and the detected image based on the similarity transformation matrix.
containing more
Feature point positioning method.
상기 유사성 변환 행렬을 획득하는 단계는,
다해상도 피라미드 프레임을 이용하여 업데이트를 통해 획득한 중간 형태와 평균 형태를 정렬하는 단계; 및
제1해상도의 영상에서 특징점 포지셔닝을 임계치까지 수행하고, 상기 특징점을 포지셔닝한 결과를 제1 해상도보다 큰 제2해상도의 영상에 매핑하여 특징점을 포지셔닝하는 단계
를 포함하는
특징점 포지셔닝 방법.According to clause 12,
The step of obtaining the similarity transformation matrix is,
Aligning the intermediate shape and average shape obtained through update using a multi-resolution pyramid frame; and
Positioning feature points in an image of a first resolution up to a threshold, and mapping the result of positioning the feature points to an image of a second resolution that is larger than the first resolution to position the feature points.
containing
Feature point positioning method.
반복 업데이트를 통해 획득한 유사성 변환 행렬에 기초하여 획득한 특징점을 상기 검출된 영상의 좌표계에 역변환하는 단계
를 더 포함하는
특징점 포지셔닝 방법.According to clause 13,
Inversely transforming the obtained feature points into the coordinate system of the detected image based on a similarity transformation matrix obtained through iterative updating.
containing more
Feature point positioning method.
k번째의 형태 계수에 대한 반복 업데이트에 사용된 유사성 변환행렬 는 타겟 함수 를 통하여 획득되고,
는 k번째 반복 후의 제i번째 샘플 형태인
특징점 포지셔닝 방법.According to clause 12,
Similarity transformation matrix used for iterative update of the kth shape coefficient is the target function Obtained through,
is the i-th sample form after the k-th repetition.
Feature point positioning method.
상기 비선형 특징은 비선형 텍스처 특징을 포함하고;
상기 트레이닝 샘플의 비선형 특징을 확정하는 단계는,
상기 트레이닝 샘플에서 평균적인 텍스처 특징을 학습하는 단계;
상기 트레이닝 샘플에서 추출한 비선형 텍스처 특징과 상기 평균적인 텍스처 특징의 차이 값을 상기 트레이닝 샘플의 비선형 특징으로 결정하는 단계
를 포함하는 특징점 포지셔닝 방법.According to clause 11,
The non-linear features include non-linear texture features;
The step of determining the non-linear characteristics of the training sample is:
learning average texture features from the training samples;
Determining the difference value between the non-linear texture features extracted from the training sample and the average texture feature as the non-linear feature of the training sample.
A feature point positioning method including.
상기 비선형 텍스처 특징은 하나 또는 그 이상의 종류의 비선형 텍스처 특징의 조합을 포함하고;
상기 업데이트를 반복하는 경우 상기 하나 이상의 비선형 텍스처 특징의 조합을 사용하는
특징점 포지셔닝 방법.According to clause 17,
The non-linear texture features include a combination of one or more types of non-linear texture features;
When repeating the update, a combination of one or more non-linear texture features is used.
Feature point positioning method.
상기 트레이닝 샘플의 최적 형태 계수 업데이트 량과 상기 트레이닝 샘플의 비선형 특징에 기초하여 회귀인자 행렬을 확정하는 단계는,
상기 최적 형태 계수 업데이트 량과 상기 트레이닝 샘플의 비선형 특징에 기초하여 계산한 형태 계수 업데이트 량 사이의 오차를 최소화하여 회귀인자 행렬을 확정하는 단계
를 포함하는
특징점 포지셔닝 방법.According to clause 11,
The step of determining a regressor matrix based on the optimal shape coefficient update amount of the training sample and the non-linear characteristics of the training sample,
Confirming a regressor matrix by minimizing the error between the optimal shape coefficient update amount and the shape coefficient update amount calculated based on the non-linear characteristics of the training sample.
containing
Feature point positioning method.
k번째로 형태 계수에 대한 반복 업데이트에 사용된 회귀인자 행렬는 타겟 함수 를 통하여 획득되고,
N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이며, 는 k번째 반복 때, i번째 샘플의 비선형 특징에 기초하여 계산하여 획득한 형태 계수 업데이트 량인
특징점 포지셔닝 방법.According to clause 19,
Regressor matrix used for kth iterative update of shape coefficients is the target function Obtained through,
N means the total number of training samples, is the optimal shape coefficient update amount of the ith sample at the kth iteration, is the nonlinear feature of the ith sample at the kth iteration, is the shape coefficient update amount obtained by calculating based on the non-linear characteristics of the ith sample at the kth repetition.
Feature point positioning method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/416,271 US10096132B2 (en) | 2016-01-27 | 2017-01-26 | Method and apparatus for positioning feature point |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610053455.9 | 2016-01-27 | ||
| CN201610053455.9A CN107016319B (en) | 2016-01-27 | 2016-01-27 | Feature point positioning method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170089745A KR20170089745A (en) | 2017-08-04 |
| KR102667737B1 true KR102667737B1 (en) | 2024-05-22 |
Family
ID=59438919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160128386A KR102667737B1 (en) | 2016-01-27 | 2016-10-05 | Method and apparatus for positioning key points |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102667737B1 (en) |
| CN (1) | CN107016319B (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784353A (en) * | 2017-11-14 | 2019-05-21 | 北京三星通信技术研究有限公司 | A kind of matched method of non-directed graph, equipment and storage medium |
| CN108460335B (en) * | 2018-01-26 | 2022-05-27 | 百度在线网络技术（北京）有限公司 | Video fine-granularity identification method and device, computer equipment and storage medium |
| CN108062545B (en) * | 2018-01-30 | 2020-08-28 | 北京搜狐新媒体信息技术有限公司 | Face alignment method and device |
| CN109063584B (en) * | 2018-07-11 | 2022-02-22 | 深圳大学 | Facial feature point positioning method, device, equipment and medium based on cascade regression |
| CN109241910B (en) * | 2018-09-07 | 2021-01-01 | 高新兴科技集团股份有限公司 | Face key point positioning method based on deep multi-feature fusion cascade regression |
| CN109800635A (en) * | 2018-12-11 | 2019-05-24 | 天津大学 | A kind of limited local facial critical point detection and tracking based on optical flow method |
| CN110458887B (en) * | 2019-07-15 | 2022-12-06 | 天津大学 | Weighted fusion indoor positioning method based on PCA |
| CN112528978B (en) * | 2021-02-10 | 2021-05-14 | 腾讯科技（深圳）有限公司 | Face key point detection method and device, electronic equipment and storage medium |
| CN113033524B (en) * | 2021-05-26 | 2021-08-17 | 北京的卢深视科技有限公司 | Occlusion prediction model training method and device, electronic equipment and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150169938A1 (en) * | 2013-12-13 | 2015-06-18 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339313A (en) * | 2004-05-28 | 2005-12-08 | Toshiba Corp | Method and apparatus for presenting image |
| GB0607143D0 (en) * | 2006-04-08 | 2006-05-17 | Univ Manchester | Method of locating features of an object |
| CN101499132B (en) * | 2009-03-12 | 2013-05-01 | 广东药学院 | Three-dimensional transformation search method for extracting characteristic points in human face image |
| CN101819628B (en) * | 2010-04-02 | 2011-12-28 | 清华大学 | Method for performing face recognition by combining rarefaction of shape characteristic |
| CN102999942B (en) * | 2012-12-13 | 2015-07-15 | 清华大学 | Three-dimensional face reconstruction method |
| CN103824050B (en) * | 2014-02-17 | 2017-03-15 | 北京旷视科技有限公司 | A kind of face key independent positioning method returned based on cascade |
| CN104598936B (en) * | 2015-02-28 | 2018-07-27 | 北京畅景立达软件技术有限公司 | The localization method of facial image face key point |
| CN105260703B (en) * | 2015-09-15 | 2019-07-05 | 西安邦威电子科技有限公司 | A kind of driver's smoking behavioral value method suitable under multi-pose |
-
2016
- 2016-01-27 CN CN201610053455.9A patent/CN107016319B/en active Active
- 2016-10-05 KR KR1020160128386A patent/KR102667737B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150169938A1 (en) * | 2013-12-13 | 2015-06-18 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107016319A (en) | 2017-08-04 |
| KR20170089745A (en) | 2017-08-04 |
| CN107016319B (en) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102667737B1 (en) | Method and apparatus for positioning key points | |
| CN109816725B (en) | Monocular camera object pose estimation method and device based on deep learning | |
| US10096132B2 (en) | Method and apparatus for positioning feature point | |
| WO2020168844A1 (en) | Image processing method, apparatus, equipment, and storage medium | |
| US10452899B2 (en) | Unsupervised deep representation learning for fine-grained body part recognition | |
| US20220004744A1 (en) | Human posture detection method and apparatus, device and storage medium | |
| WO2020228446A1 (en) | Model training method and apparatus, and terminal and storage medium | |
| CN103400143B (en) | A kind of data Subspace clustering method based on various visual angles | |
| CN111797753A (en) | Training method, device, equipment and medium of image driving model, and image generation method, device and medium | |
| JP7225614B2 (en) | Apparatus and method for training deep learning classification model | |
| CN104318243B (en) | High-spectral data dimension reduction method based on rarefaction representation and empty spectrum Laplce's figure | |
| CN111667483B (en) | Training method of segmentation model of multi-modal image, image processing method and device | |
| CN105426929B (en) | Object shapes alignment device, object handles devices and methods therefor | |
| CN111667027B (en) | Multi-modal image segmentation model training method, image processing method and device | |
| JP2020098603A (en) | Image processing method and information processing apparatus | |
| CN113129425A (en) | Face image three-dimensional reconstruction method, storage medium and terminal device | |
| CN112102294A (en) | Training method and device for generating countermeasure network, and image registration method and device | |
| CN115359074A (en) | Image segmentation and training method and device based on hyper-voxel clustering and prototype optimization | |
| US8548225B2 (en) | Point selection in bundle adjustment | |
| CN111192320A (en) | Position information determining method, device, equipment and storage medium | |
| JP2012123796A (en) | Active appearance model machine, method for mounting active appearance model system, and method for training active appearance model machine | |
| US20230401737A1 (en) | Method for training depth estimation model, training apparatus, and electronic device applying the method | |
| CN113159053A (en) | Image recognition method and device and computing equipment | |
| CN115862119B (en) | Attention mechanism-based face age estimation method and device | |
| CN110543845B (en) | Face cascade regression model training method and reconstruction method for three-dimensional face |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |