KR20220113830A - 안면 키포인트 검출 방법, 장치 및 전자 기기 - Google Patents
안면 키포인트 검출 방법, 장치 및 전자 기기 Download PDFInfo
- Publication number
- KR20220113830A KR20220113830A KR1020227026080A KR20227026080A KR20220113830A KR 20220113830 A KR20220113830 A KR 20220113830A KR 1020227026080 A KR1020227026080 A KR 1020227026080A KR 20227026080 A KR20227026080 A KR 20227026080A KR 20220113830 A KR20220113830 A KR 20220113830A
- Authority
- KR
- South Korea
- Prior art keywords
- keypoint
- facial
- information
- detection
- detected
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 636
- 238000001514 detection method Methods 0.000 title claims abstract description 263
- 238000013507 mapping Methods 0.000 claims abstract description 121
- 230000006870 function Effects 0.000 claims description 106
- 238000011156 evaluation Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 51
- 238000009826 distribution Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 20
- 238000007476 Maximum Likelihood Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000009827 uniform distribution Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000004904 shortening Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
본 개시는 안면 키포인트 검출 방법, 장치 및 전자 기기를 제공하며, 딥러닝 및 컴퓨터 시각 기술 분야에 관한 것이다. 구체적인 구현 수단은 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 단계; 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 단계; 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 단계; 및 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계 - 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트임 -;를 포함한다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
Description
본 개시는 2020년 5월 15일 제출한 출원인이 "BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY CO., LTD."이고, 발명의 명칭이 "안면 키포인트 검출 방법, 장치 및 전자 기기"이고, 중국 특허 출원 번호가 "202010415188.1"인 우선권을 주장한다.
딥러닝 기술의 발전과 컴퓨터 연산 능력의 비약적인 향상에 따라, 인공 지능, 컴퓨터 시각 및 이미지 처리 등 분야가 빠르게 발전하고 있으며, 그 중 안면 인식 기술이 컴퓨터 시각 분야의 고전적인 과제로서 뛰어난 연구성과 응용 가치가 있다. 안면 인식 기술은 안면 이미지 중의 각 안면 키포인트, 예를 들어 눈, 입에 각각 대응되는 키포인트를 검출할 수 있고, 나아가 검출된 각 안면 키포인트에 따라 안면 인식을 수행할 수 있다. 현재의 안면 키포인트 검출 기술은 일반적으로 심층 신경망 모델을 구축하여, 심층 신경망 러닝 모델을 통해 안면 키포인트 분포 통계 특징을 러닝하여 임의의 안면 이미지에 대해 키포인트 검출 기능을 구현하지만, 일부 안면이 가려진 경우 안면 키포인트 분포 통계 특징은 방해되거나 파괴될 수 있으며, 안면 키포인트를 정확하게 검출할 수 없다.
관련 기술에서, 일반적으로 지도 러닝과 같은 방법을 통해 가려진 안면을 포함하는 이미지에서 안면 키포인트를 검출하며, 당해 방식은 트레이닝 과정에서 가려진 키포인트의 가려짐 여부에 대한 추가 주석을 집중적으로 추가하는 것을 통해, 검출 알고리즘으로 하여금 각 키포인트의 가려짐 여부를 인식할 수 있고, 나아가 가려진 키포인트를 효과적으로 인식할 수 있지만, 당해 방식은 추가 수동 주석을 수행해야 하기 때문에, 비용이 높고, 소요 시간이 길고, 정확성이 좋지 않다.
본 개시는 안면 키포인트 검출 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 측면에 따르면, 안면 키포인트 검출 방법을 제공하며, 검출할 안면 이미지를 획득하여, 상기 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 단계; 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 단계; 상기 검출 키포인트 정보 및 상기 템플릿 키포인트 정보를 결합하여, 상기 검출할 안면 이미지와 상기 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 단계; 및 상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계 - 상기 타겟 키포인트 정보 중의 타겟 안면 키포인트는 상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트임 -;를 포함한다.
제2 측면에 따르면, 안면 키포인트 검출 장치를 제공하며, 검출할 안면 이미지를 획득하는 제1 획득 모듈; 상기 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 추출 모듈; 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 제2 획득 모듈; 상기 검출 키포인트 정보 및 상기 템플릿 키포인트 정보를 결합하여, 상기 검출할 안면 이미지와 상기 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 결정 모듈; 및 상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 처리 모듈 - 상기 타겟 키포인트 정보 중의 타겟 안면 키포인트는 상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트임 -;을 포함한다.
제3 측면에 따르면, 전자 기기를 제공하며, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하고, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되는 경우, 상기 적어도 하나의 프로세서가 전술한 안면 키포인트 검출 방법을 수행한다.
제4 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령은 컴퓨터가 전술한 안면 키포인트 검출 방법을 수행하는데 사용된다.
본 개시의 기술 수단에 따르면, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
이해 가능한 바로는, 본 부분에서 설명된 내용은 본 개시의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 개시의 범위를 한정하지도 않는다. 본 개시의 다른 특징들은 하기의 명세서에 의해 쉽게 이해될 것이다.
첨부된 도면은 본 기술 수단을 더 잘 이해하기 위한 것으로, 본 개시에 대한 한정이 구성되지 않는다.
도 1은 본 개시의 제1 실시예에 따른 개략도이다.
도 2는 검출할 안면 이미지의 검출 키포인트 정보의 개략도이다.
도 3은 템플릿 안면 이미지의 템플릿 키포인트 정보의 개략도이다.
도 4는 본 개시의 제2 실시예에 따른 개략도이다.
도 5는 본 개시의 제3 실시예에 따른 개략도이다.
도 6은 검출할 안면 이미지 중 각 안면 키포인트의 평가 위치 정보의 개략도이다.
도 7은 본 개시의 제4 실시예에 따른 개략도이다.
도 8은 본 개시의 제5 실시예에 따른 개략도이다.
도 9는 본 개시의 실시예의 안면 키포인트 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
도 1은 본 개시의 제1 실시예에 따른 개략도이다.
도 2는 검출할 안면 이미지의 검출 키포인트 정보의 개략도이다.
도 3은 템플릿 안면 이미지의 템플릿 키포인트 정보의 개략도이다.
도 4는 본 개시의 제2 실시예에 따른 개략도이다.
도 5는 본 개시의 제3 실시예에 따른 개략도이다.
도 6은 검출할 안면 이미지 중 각 안면 키포인트의 평가 위치 정보의 개략도이다.
도 7은 본 개시의 제4 실시예에 따른 개략도이다.
도 8은 본 개시의 제5 실시예에 따른 개략도이다.
도 9는 본 개시의 실시예의 안면 키포인트 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
이하, 첨부된 도면을 결부하여 본 개시의 예시적인 실시예에 대해 설명하며, 여기에는 이해를 돕기 위해 본 개시의 실시예의 다양한 세부 사항을 포함하므로, 이는 단지 예시적인 것으로 이해해야 한다. 따라서, 당업자는 본 개시의 범위 및 사상을 벗어나지 않는 한 여기에 설명된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있음을 인식해야 한다. 마찬가지로, 명확성과 간결성을 위해, 하기의 설명에서는 공지된 기능 및 구조에 대한 설명을 생략한다.
본 개시는 관련 기술에서, 지도 러닝과 같은 방법을 통해 가려진 안면을 포함하는 이미지에서 안면 키포인트를 검출하는 방식은, 트레이닝 데이터에 대해 추가 수동 주석을 수행해야 하므로, 비용이 높고, 소요 시간이 길고, 정확성이 좋지 않은 문제가 있으므로, 안면 키포인트 검출 방법을 제공한다.
본 개시에서 제공되는 안면 키포인트 검출 방법은, 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예의 안면 키포인트 검출 방법, 장치, 전자 기기 및 저장 매체를 설명한다.
도 1은 본 개시의 제1 실시예에 따른 개략도이다. 설명해야 하는 바로는, 본 실시예에서 제공되는 안면 키포인트 검출 방법의 수행 주체는 안면 키포인트 검출 장치이다. 안면 키포인트 검출 장치는 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보의 검출을 구현하기 위해 전자 기기에 구성될 수 있다. 전자 기기는 데이터 처리를 수행할 수 있는 임의의 단말 기기 또는 서버 등일 수 있으나, 본 개시에서 이에 대해 한정하지 않는다.
도 1에 도시된 바와 같이, 안면 키포인트 검출 방법은 하기의 단계를 포함할 수 있다.
단계 101, 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출한다.
검출할 안면 이미지는 안면을 포함하되, 안면의 일부 영역이 가려진 임의의 이미지일 수 있다. 예를 들어, 검출할 안면 이미지는 안면을 포함하되, 안면의 한쪽 눈이 가려지거나, 안면의 입이 반쪽이 가려진 이미지일 수 있다.
설명해야 하는 바로는, 본 개시의 실시예의 안면 키포인트 검출 방법은 안면이 가려지지 않은 검출할 안면 이미지에도 적용되며, 즉, 검출할 안면 이미지는 전체의 안면이 모두 가려지지 않은 이미지일 수도 있다. 이 경우, 본 개시의 실시예의 방식을 통해 생성된 검출할 안면 이미지의 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지 중 전체의 안면 영역의 모든 안면 키포인트이며, 이러한 안면 키포인트의 검출 위치 정보는 모두 정확하다.
안면 키포인트는 안면에서의 임의의 위치의 특징점, 예를 들어 눈, 입, 코, 윤곽, 안각, 안각 윤곽에서의 특징점 등을 포함할 수 있다.
검출 키포인트 정보는 검출할 안면 이미지 중 복수의 안면 키포인트의 검출 위치 정보를 포함할 수 있다.
예시적인 실시예에서, 다양한 방식을 통해 검출할 안면 이미지의 검출 키포인트 정보를 추출할 수 있다.
예를 들어, 딥러닝 방식을 통해 키포인트 검출 모델을 사전 트레이닝하여, 검출할 안면 이미지를 사전 트레이닝된 키포인트 검출 모델에 입력함으로써, 검출할 안면 이미지의 검출 키포인트 정보를 추출할 수 있다. 키포인트 검출 모델은 임의의 심층 신경망 모델, 예를 들어 컨볼루션 신경망 모델, 재귀 신경망 모델 등일 수 있고, 또는, 다른 유형의 데이터 처리 모델일 수도 있으나, 본 개시에서 이에 대해 한정하지 않는다.
또는, 관련 기술에 있는 임의의 다른 안면 키포인트 검출 방법을 통해 검출할 안면 이미지의 검출 키포인트 정보를 추출할 수도 있으나, 본 개시에서 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 방식에 대해 한정하지 않는다.
단계 102, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한다.
템플릿 안면 이미지는 안면을 포함하고, 안면의 각 영역이 모두 가려지지 않은 임의의 이미지일 수 있으며, 템플릿 안면 이미지 중의 안면은 임의의 사람의 안면일 수 있다. 설명해야 하는 바로는, 템플릿 안면 이미지 중의 안면 자태는 검출할 안면 이미지 중의 안면 자태와 같을 수도 있고, 다를 수도 있으나, 본 개시에서 이에 대해 한정하지 않는다. 예를 들어, 검출할 안면 이미지 중의 안면은 미소를 지으며 약간 왼쪽으로 향하는 것이지만, 템플릿 안면 이미지 중의 안면은 표정이 없는 정면의 얼굴이다.
템플릿 키포인트 정보는 템플릿 안면 이미지 중 복수의 안면 키포인트의 템플릿 위치 정보를 포함할 수 있다.
예시적인 실시예에서, 다양한 방식을 통해 템플릿 안면 이미지의 템플릿 키포인트 정보를 추출할 수 있다.
예를 들어, 딥러닝 방식을 통해 키포인트 검출 모델을 사전 트레이닝하여, 템플릿 안면 이미지를 사전 트레이닝된 키포인트 검출 모델에 입력함으로써, 템플릿 안면 이미지의 템플릿 키포인트 정보를 추출할 수 있다. 키포인트 검출 모델은 임의의 심층 신경망 모델, 예를 들어 컨볼루션 신경망 모델, 재귀 신경망 모델 등일 수 있고, 또는, 다른 유형의 데이터 처리 모델일 수도 있으나, 본 개시에서 이에 대해 한정하지 않는다.
또는, 관련 기술에 있는 임의의 다른 안면 키포인트 검출 방법을 통해 템플릿 안면 이미지의 템플릿 키포인트 정보를 추출할 수도 있으나, 본 개시에서 템플릿 안면 이미지의 템플릿 키포인트 정보를 추출하는 방식에 대해 한정하지 않는다.
설명해야 하는 바로는, 본 개시의 실시예에서, 검출할 안면 이미지의 검출 키포인트 정보를 획득하는 방식은 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 방식과 같을 수도 있고, 다를 수도 있으나, 본 개시에서 이에 대해 한정하지 않는다.
유의해야 할 점은, 본 개시의 실시예에서, 추출된 검출할 안면 이미지의 검출 키포인트 정보와 획득된 템플릿 안면 이미지의 템플릿 키포인트 정보는 일대일로 대응된다. 검출 키포인트 정보와 템플릿 키포인트 정보가 일대일로 대응된 다는 것은 검출 키포인트 정보 중의 안면 키포인트와 템플릿 키포인트 정보 중의 안면 키포인트의 개수가 같고, 검출 키포인트 정보 중의 각 안면 키포인트와 템플릿 키포인트 정보 중의 각 안면 키포인트가 각각 안면의 같은 부위에 대응된 다는 것을 의미한다.
본 개시의 실시예에서, 같은 부위의 안면 키포인트는 같은 식별자로 유일하게 표기될 수 있으며, 예를 들어, 사람의 왼쪽 눈의 왼쪽 안각의 식별자는 1이고, 사람의 왼쪽 눈의 오른쪽 안각의 식별자는 2이고, 사람의 오른쪽 눈의 왼쪽 안각의 식별자는 3이고, 등등이다. 설명해야 하는 바로는, 검출 키포인트 정보 중의 안면 키포인트와 템플릿 키포인트 정보 중의 안면 키포인트의 개수는 필요에 따라 설정 가능하므로, 본 개시에서 68개의 경우를 예로 든다.
예를 들어, 도 2 및 도 3에 도시된 바와 같이, 도 2는 검출할 안면 이미지의 검출 키포인트 정보의 개략도이고, 도 3은 템플릿 안면 이미지의 템플릿 키포인트 정보의 개략도이다. 도 2 및 도 3에 도시된 바와 같이, 템플릿 키포인트 정보는 68개의 안면 키포인트를 포함하고, 검출 키포인트 정보도 68개의 안면 키포인트를 포함하며, 사람의 왼쪽 눈의 왼쪽 안각에 안면 키포인트 1이 대응되고, 사람의 왼쪽 눈의 오른쪽 안각에 안면 키포인트 2가 대응되고, 사람의 오른쪽 눈의 왼쪽 안각에 안면 키포인트 3이 대응되고, 등등이다.
예시적인 실시예에서, 사전 트레이닝된 키포인트 검출 모델을 사용하여 키포인트 정보를 추출하는 경우를 예로 들어, 특정 위치 키포인트 및 특정 수량의 키포인트를 검출할 수 있는 키포인트 검출 모델을 사전 트레이닝함으로써, 사전 트레이닝된 키포인트 검출 모델을 사용하여 일대일로 대응되는 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득할 수 있다.
이해 가능한 바로는, 템플릿 안면 이미지는 가려지지 않은 안면 이미지이기 때문에, 템플릿 안면 이미지의 템플릿 키포인트 정보는 안면의 전부 키포인트의 템플릿 위치 정보를 포함한다. 그러나, 검출할 안면 이미지는 일부 가려진 영역을 포함하는 안면의 이미지이기 때문에, 검출할 안면 이미지의 검출 키포인트 정보는 가려진 영역의 안면 키포인트의 검출 위치 정보 및 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보를 포함하며, 다만 가려진 영역의 안면 키포인트로 구성된 형상이 심하게 변형될 수 있다.
예를 들어 설명하면, 도 2 및 도 3을 계속 참조하여, 템플릿 안면 이미지는 가려지지 않은 안면 이미지이기 때문에, 템플릿 안면 이미지의 템플릿 키포인트 정보에 포함된 안면 키포인트는 전부 안면의 안면 키포인트이며, 즉 68개의 안면 키포인트이다. 그러나, 검출할 안면 이미지에서 사람의 오른쪽 눈이 가려져 있기 때문에, 단계 101을 통해 검출할 안면 이미지의 검출 키포인트 정보를 추출할 수 있지만, 추출된 가려진 영역의 안면 키포인트로 구성된 형성은 완전히 변형되어, 당해 가려진 영역의 안면 키포인트의 검출 위치 정보가 완전히 틀렸다.
단계 103, 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정한다.
안면 키포인트 매핑 관계는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보와 템플릿 안면 이미지 중의 대응되는 같은 안면 부위의 안면 키포인트의 템플릿 위치 정보 사이의 매핑 관계이다.
단계 104, 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성한다.
타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다.
이해 가능한 바로는, 본 개시의 실시예에서, 안면 키포인트 매핑 관계는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보와 템플릿 안면 이미지에서 대응되는 같은 안면 부위의 안면 키포인트의 템플릿 위치 정보 사이의 매핑 관계이고, 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보는 기본적으로 정확하며, 즉 안면 키포인트 매핑 관계는 동일한 부위의 안면 키포인트의 템플릿 위치 정보와 기본적으로 정확한 검출 위치 정보 사이의 매핑 관계이기 때문에, 안면 키포인트 매핑 관계를 결정한 후, 안면 키포인트 매핑 관계 및 템플릿 안면 이미지의 템플릿 키포인트 정보 중의 각 안면 키포인트의 템플릿 위치 정보에 따라 검출할 안면 이미지에서 템플릿 안면 이미지와 같은 부위의 안면 키포인트의 실제 위치를 예측할 수 있다.
구체적으로, 안면 키포인트 매핑 관계 및 템플릿 안면 이미지의 템플릿 키포인트 정보 중의 각 안면 키포인트의 템플릿 위치 정보에 따라, 검출할 안면 이미지에서 템플릿 안면 이미지와 같은 부위의 안면 키포인트의 실제 위치를 예측하여, 검출할 안면 이미지에서 템플릿 안면 이미지의 부위와 같은 안면 키포인트의 평가 위치 정보를 결정할 수 있다. 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보가 기본적으로 정확하기 때문에, 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보와 결정된 대응되는 부위의 안면 키포인트의 평가 위치 정보가 일치하므로, 본 개시의 실시예에서, 검출할 안면 이미지 중의 각 안면 키포인트에 대해, 결정된 당해 안면 키포인트의 평가 위치 정보를 당해 안면 키포인트의 검출 위치 정보와 비교하여 당해 안면 키포인트의 평가 위치 정보와 검출 위치 정보가 일치하는지 여부를 결정하고, 검출할 안면 이미지 중의 특정 안면 키포인트의 검출 위치 정보와 평가 위치 정보가 일치하는 경우, 당해 안면 키포인트를 가려지지 않은 영역의 안면 키포인트, 즉 타겟 안면 키포인트로 결정할 수 있다. 이에 따라, 검출할 안면 이미지의 검출 키포인트 정보에서, 가려지지 않은 영역의 타겟 안면 키포인트를 선별할 수 있고, 나아가 검출 키포인트 정보 중의 가려지지 않은 영역의 안면 키포인트에 대응되는 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성할 수 있다.
본 개시에서 제공되는 안면 키포인트 검출 방법은 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여, 검출할 안면 이미지 중의 타겟 안면 키포인트 정보를 생성하며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다. 안면 키포인트 매핑 관계가 동일한 부위의 안면 키포인트의 템플릿 위치 정보와 기본적으로 정확한 검출 위치 정보 사이의 매핑 관계이기 때문에, 안면 키포인트 매핑 관계를 사용하여 검출할 안면 이미지 중의 안면 키포인트의 평가 위치 정보를 정확하게 결정할 수 있고, 나아가 정확하게 선별하여 타겟 키포인트 정보를 생성할 수 있다. 또한, 안면 키포인트 매핑 관계를 사용하여 검출할 안면 이미지 중의 가려지지 않은 영역의 안면 키포인트를 결정할 수 있고, 나아가 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보에 따라 검출할 안면 이미지의 타겟 키포인트 정보를 생성하기 때문에, 키포인트 검출 모델을 트레이닝할 때에만 필요한 데이터 주석을 수행해야 하는 외에, 추가 수동 주석을 수행할 필요가 없으며, 수동 주석을 수행하는데 소모되는 비용과 시간을 절약한다.
본 개시의 실시예의 안면 키포인트 검출 방법은, 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
전술한 분석을 통해 알 수 있는 바는, 본 개시에서, 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정할 수 있고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 정보를 생성한다. 이하, 도 4를 결합하여, 본 개시의 실시예에서 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 생성하는 과정에 대해 상세히 설명할 것이다.
도 4는 본 개시의 제2 실시예에 따른 개략도이다. 도 4에 도시된 바와 같이, 본 개시에서 제공되는 안면 키포인트 검출 방법은 하기의 단계를 포함할 수 있다.
단계 201, 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출한다.
단계 202, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한다.
상기 단계 201-202의 구체적인 구현 과정 및 원리는 상기 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 203, 템플릿 키포인트 정보 및 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축한다.
확률 밀도 함수는 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 의해 결정될 수 있다.
이해 가능한 바로는, 본 개시의 실시예에서, 검출할 안면 이미지가 가려진 영역 및 가려지지 않은 영역을 포함하는 안면 이미지의 경우, 템플릿 키포인트 정보 및 검출 키포인트 정보에 따라 가려진 영역의 안면 키포인트의 검출 위치 정보와 템플릿 키포인트 정보 중의 같은 부위의 안면 키포인트의 템플릿 위치 정보 사이의 안면 키포인트 매핑 관계( 즉 가려진 영역의 안면 키포인트 매핑 관계), 및 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보와 템플릿 키포인트 정보 중의 같은 부위의 안면 키포인트의 템플릿 위치 정보 사이의 안면 키포인트 매핑 관계( 즉 가려지지 않은 영역의 안면 키포인트 매핑 관계)를 구축할 수 있고, 가려진 영역의 안면 키포인트 매핑 관계 분포 정보, 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 따라, 확률 밀도 함수를 구축할 수 있다.
예시적인 실시예에서, 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보는 균일 분포 정보일 수 있고, 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보는 혼합 가우스 분포 정보일 수 있다.
예시적인 실시예에서, 확률 밀도 함수의 계산 공식은 공식(1)일 수 있다.
여기서, x는 검출할 안면 이미지의 검출 키포인트 정보를 나타내고, 
는 검출할 안면 이미지에서의 가려진 영역의 비중을 나타내고, 
는 균일 분포 정보를 나타내고, 
는 가우스 분포 정보를 나타낸다.
단계 204, 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축한다.
단계 205, 기대 함수에 대해 최대 우도 추정을 수행하여, 추정 결과에 따라 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여 최대 우도 추정을 수행하는 것을 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 수행한다.
단계 206, 사전 설정된 수렴 조건을 만족할 때의 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계를 결정한다.
수렴 조건은 필요에 따라 설정될 수 있다.
이해 가능한 바로는, 본 개시의 실시예에서 안면 키포인트 매핑 관계를 구하는 것은 상기 확률 밀도 함수를 구하는 과정이다.
구체적으로 구현할 때, 먼저 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수를 구축하고, 확률 밀도 함수 및 타겟 함수에 따라 기대 함수를 구축할 수 있다. 나아가, 기대 함수에 대해 최대 우도 추정을 수행하여, 타겟 함수의 파라미터 값을 결정할 수 있고, 결정된 파라미터 값에 따라 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여, 다시 결정된 기대 함수에 대해 최대 우도 추정을 수행하고, 상기 단계를 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 계속 수행하여, 타겟 함수가 사전 설정된 수렴 함수를 만족할 때의 확률 밀도 함수에 따라 안면 키포인트 매핑 관계를 결정할 수 있다.
예시적인 실시예에서, 최대 우도 추정을 수행하는 경우, 맥시멈 우도 함수를 사용하여 구현할 수도 있고, 미니멈 음의 로그 우도 함수를 사용하여 구현할 수도 있으나, 본 개시에서 이에 대해 한정하지 않는다.
예시적인 실시예에서, 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보와 검출 키포인트 정보 중의 안면 키포인트의 평가 위치 정보 사이의 대응 관계는 아핀 변환을 통해 나타낼 수 있으며, 본 개시에서 안면 키포인트 매핑 관계의 타겟 함수는 공식(2)의 형식일 수 있다.
여기서, 
여기서, R, t, s는 아핀 변환 파라미터이고, R는 회전 행렬을 나타내고, t는 변위 행렬을 나타내고, s는 스케일링 행렬을 나타내고, 
는 가우스 분포 분산을 나타내고, 
는 마지막 반복 파라미터에 의해 계산된 혼합 가우스 모델 사후 확률을 나타내고, N는 안면 키포인트의 개수를 나타내고, 
는 혼합 가우스 분포 합을 나타내고, 
는 검출 키포인트 정보 중의 k번째 안면 키포인트의 검출 위치 정보를 나타내고, 
는 검출 키포인트 정보 중의 k번째 안면 키포인트와 같은 부위의 안면 키포인트의 템플릿 위치 정보를 나타내고, 
는 검출 키포인트 정보 중의 k번째 안면 키포인트의 평가 위치 정보를 나타낸다.
예시적인 실시예에서, 기대 함수는 하기의 공식(3)의 형식일 수 있다.
예시적인 실시예에서, 확률 밀도 함수, 타겟 함수, 기대 함수가 각각 상기 공식(1),(2),(3)의 형식일 경우, 단계 205는 구체적으로 하기의 방식을 통해 구현될 수 있다.
먼저, 초기화를 수행하여, 
을 만족한다. 여기서, 
, I는 단위 행렬이다.
나아가, 
을 만족하는 경우, 공식(3)의 기대 함수에 대해 최대 우도 추정을 수행하여, B, t 및 
를 구한다.
구체적으로,
나아가, 계산된 B, t 및 
에 따라 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여, 다시 결정된 기대 함수에 대해 최대 우도 추정을 수행하여, B, t 및 
를 다시 구한 후, 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여, 다시 결정된 기대 함수에 대해 최대 우도 추정을 수행하여, 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 상기 과정을 반복한다.
나아가, 타겟 함수가 사전 설정된 수렴 조건을 만족할 때의 아핀 변환 파라미터 R, t, s에 따라, 안면 키포인트 매핑 관계를 획득할 수 있다.
이해 가능한 바로는, 본 개시는 템플릿 키포인트 정보 및 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축하며, 확률 밀도 함수는 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 의해 결정된다. 그 다음, 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축하며, 나아가 기대 함수에 대해 최대 우도 추정을 수행하는 방식으로, 안면 키포인트 매핑 관계를 결정한다. 최대 우도 추정에 의해 최대 확률의 안면 키포인트 매핑 관계가 나타날 때의 아핀 변환 파라미터를 결정하고, 본 개시에서 타겟 함수가 수렴될 때의 확률 밀도 함수에 따라 안면 키포인트 매핑 관계를 결정하기 때문에, 본 개시에서 상기 방식을 통해 결정된 안면 키포인트 매핑 관계는 정확하고 신뢰성이 있다. 또한 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 각각 상이한 유형의 분포 정보가 대응되도록 설정하여, 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 각각 대응되는 상이한 유형의 분포 정보에 따라, 확률 밀도 함수를 결정하고, 안면 키포인트 매핑 관계를 결정하여, 결정된 안면 키포인트 매핑 관계의 정확성 및 신뢰성을 더 향상시킬 수 있다.
단계 207, 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성한다.
타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다.
상기 단계 207의 구체적인 구현 과정 및 원리는 상기 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
이해 가능한 바로는, 본 개시에서 결정된 안면 키포인트 매핑 관계가 정확하고 신뢰성이 있으며, 안면 이미지의 타겟 키포인트 정보는 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 생성된 것이다. 이리하여, 생성된 검출할 안면 이미지의 타겟 키포인트 정보의 정확성 및 신뢰성을 향상시킨다.
본 개시에서 제공되는 안면 키포인트 검출 방법은 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 템플릿 키포인트 정보 및 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축하며, 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축하고, 다음 기대 함수에 대해 최대 우도 추정을 수행하여, 추정 결과에 따라 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여 최대 우도 추정을 수행하는 것을 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 수행하고, 다음 사전 설정된 수렴 조건을 만족할 때의 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성한다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
전술한 분석을 통해 알 수 있는 바는, 본 개시의 실시예에서, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정한 후, 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여, 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 정보를 생성할 수 있다. 이하, 도 5를 결합하여, 본 개시의 실시예에서 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여, 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 정보를 생성하는 과정에 대해 상세히 설명할 것이다.
도 5는 본 개시의 제3 실시예에 따른 개략도이다. 도 5에 도시된 바와 같이, 본 개시에서 제공되는 안면 키포인트 검출 방법은 하기의 단계를 포함할 수 있다.
단계 301, 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출한다.
단계 302, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한다.
단계 303, 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정한다.
상기 단계 301-303의 구체적인 구현 과정 및 원리는 상기 실시예의 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 304, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트 매핑 관계, 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보, 및 검출 키포인트 정보 중의 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정한다.
구체적으로, 안면 키포인트 매핑 관계가 동일한 부위의 안면 키포인트의 템플릿 위치 정보와 기본적으로 정확한 검출 위치 정보 사이의 매핑 관계이기 때문에, 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보에 따라, 검출할 안면 이미지에서 템플릿 안면 이미지와 같은 부위의 안면 키포인트의 실제 위치를 예측할 수 있다.
구체적으로, 안면 키포인트 매핑 관계, 및 템플릿 안면 이미지의 템플릿 키포인트 정보 중의 각 안면 키포인트의 템플릿 위치 정보에 따라, 검출할 안면 이미지에서 템플릿 안면 이미지와 같은 부위의 안면 키포인트의 실제 위치를 예측하여, 검출할 안면 이미지에서 템플릿 안면 이미지 중의 안면 부위와 같은 안면 키포인트의 평가 위치 정보를 결정할 수 있다. 또한, 템플릿 안면 이미지의 템플릿 키포인트 정보와 검출할 안면 이미지의 검출 키포인트 정보가 일대일로 대응되므로, 검출 키포인트 정보 중의 각 안면 키포인트의 검출 위치 정보와 각 안면 키포인트의 평가 위치 정보는 각각 같은 안면 부위의 안면 키포인트에 대응되며, 나아가 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 평가 위치 정보 및 검출 위치 정보에 따라 당해 안면 키포인트가 타겟 키포인트인지 여부를 결정할 수 있다.
즉, 단계 304는,
검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 템플릿 위치 정보, 및 안면 키포인트 매핑 관계에 따라, 안면 키포인트의 평가 위치 정보를 결정하는 단계; 및 평가 위치 정보 및 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계를 포함할 수 있다.
이해 가능한 바로는, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 모두 안면 키포인트의 템플릿 위치 정보, 및 안면 키포인트 매핑 관계에 따라, 안면 키포인트의 평가 위치 정보를 결정할 수 있기 때문에, 본 개시의 실시예에서, 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트의 평가 위치 정보를 결정할 수도 있고, 검출할 안면 영역에서 가려진 영역의 안면 키포인트의 평가 위치 정보를 결정할 수도 있다.
구체적으로 구현할 때, 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이고, 검출 키포인트 정보 중의 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보는 기본적으로 정확하기 때문에, 가려지지 않은 영역의 안면 키포인트의 검출 위치 정보는 같은 부위의 안면 키포인트의 평가 위치 정보와 일치하다. 따라서, 본 개시의 실시예에서, 검출할 안면 이미지의 검출 키포인트 정보에서 타겟 키포인트 정보를 선별하여 생성하기 위해, 각 안면 키포인트의 평가 위치 정보를 결정한 후, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 당해 안면 키포인트의 평가 위치 정보가 당해 안면 키포인트의 검출 위치 정보와 일치하는지 여부를 결정할 수 있고, 당해 안면 키포인트의 검출 위치 정보가 평가 위치 정보와 일치하는 경우, 당해 안면 키포인트는 타겟 안면 키포인트인 것을 인정하고, 일치하지 않은 경우, 당해 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 인정한다.
이에 따라, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 템플릿 위치 정보 및 안면 키포인트 매핑 관계에 따라, 안면 키포인트의 평가 위치 정보를 결정함으로써, 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트의 평가 위치 정보를 결정할 뿐만 아니라, 가려진 영역의 안면 키포인트의 평가 위치 정보도 결정할 수 있다. 검출할 안면 이미지 중의 각 안면 키포인트에 대해, 안면 키포인트의 평가 위치 정보 및 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정함으로써, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 안면 키포인트를 정확하게 선별할 수 있다.
구체적으로 구현할 때, 거리 임계값을 사전 설정할 수 있으며, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 검출 위치 정보와 평가 위치 정보 사이의 거리가 사전 설정된 거리 임계값보다 작거나 같은지 여부에 따라, 당해 안면 키포인트의 검출 위치 정보와 평가 위치 정보가 일치하는지 여부를 판정하며, 특정 안면 키포인트의 검출 위치 정보와 평가 위치 정보 사이의 거리가 사전 설정된 거리 임계값보다 작거나 같은 경우, 당해 안면 키포인트의 검출 위치 정보가 평가 위치 정보와 일치하는 것으로 인정하여, 나아가 당해 안면 키포인트가 타겟 안면 키포인트인 것을 결정한다. 특정 안면 키포인트의 검출 위치 정보와 평가 위치 정보 사이의 거리가 사전 설정된 거리 임계값보다 큰 경우, 당해 안면 키포인트의 검출 위치 정보가 평가 위치 정보와 일치하지 않은 것으로 인정하여, 나아가 당해 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 결정한다.
즉, 평가 위치 정보 및 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계는,
평가 위치 정보 및 안면 키포인트의 검출 위치 정보 사이의 거리를 결정하는 단계; 거리가 사전 설정된 거리 임계값보다 작거나 같은 경우, 안면 키포인트가 타겟 안면 키포인트인 것을 결정하는 단계; 및 거리가 사전 설정된 거리 임계값보다 큰 경우, 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 결정하는 단계를 포함할 수 있다.
평가 위치 정보와 검출 위치 정보 사이의 거리는 두 점 사이의 거리를 나타낼 수 있는 유크리드 거리, 코사인 거리와 같은 임의의 거리 유형을 사용할 수 있다.
사전 설정된 거리 임계값은 필요에 따라 설정될 수 있으며, 사전 설정된 거리 임계값이 작을 수록 검출 키포인트 정보에서 선별하여 생성된 검출할 안면 이미지의 타겟 키포인트 정보가 더 정확하므로, 실제 적용에서, 생성된 타겟 키포인트 정보의 정확성에 대한 요구에 따라 사전 설정된 거리 임계값을 융통성있게 설정할 수 있다.
예를 들어 설명하면, 도 2 및 도 3을 계속 참조하여, 도 2는 검출할 안면 이미지의 검출 키포인트 정보의 개략도이고, 도 3은 템플릿 안면 이미지의 템플릿 키포인트 정보의 개략도이다. 본 개시의 실시예에서, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 템플릿 위치 정보, 및 안면 키포인트 매핑 관계에 따라, 안면 키포인트의 평가 위치 정보를 결정할 수 있다. 도 6가 검출할 안면 이미지 중의 각 안면 키포인트의 평가 위치 정보의 개략도일 경우, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 평가 위치 정보와 검출 위치 정보 사이의 거리를 결정하여, 거리를 사전 설정된 거리 임계값과 비교할 수 있다. 사람의 왼쪽 눈의 왼쪽 안각의 안면 키포인트 1을 예로 들어, 도 6에 도시된 안면 키포인트 1의 평가 위치 정보와 도 2에 도시된 안면 키포인트 1의 검출 위치 정보 사이의 거리를 사전 설정된 거리 임계값과 비교하여, 안면 키포인트 1의 평가 위치 정보와 검출 위치 정보 사이의 거리가 사전 설정된 거리 임계값보다 작은 결과를 획득할 수 있으며, 따라서, 검출할 안면 이미지 중의 검출 키포인트 정보 중의 안면 키포인트 1은 타겟 키포인트인 것을 결정할 수 있다. 사람의 오른쪽 눈의 왼쪽 안각의 안면 키포인트 3을 예로 들어, 도 6에 도시된 안면 키포인트 3의 평가 위치 정보와 도 2에 도시된 안면 키포인트 3의 검출 위치 정보 사이의 거리를 사전 설정된 거리 임계값과 비교하여, 안면 키포인트 3의 평가 위치 정보와 검출 위치 정보 사이의 거리가 사전 설정된 거리 임계값보다 큰 결과를 획득할 수 있으며, 따라서, 검출할 안면 이미지 중의 검출 키포인트 정보 중의 안면 키포인트 3은 타겟 키포인트가 아닌 것을 결정할 수 있다. 이에 따라, 검출 키포인트 정보 중의 각 안면 키포인트가 타겟 키포인트인지 여부를 결정할 수 있다.
사전 설정된 거리 임계값을 설정하여, 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 평가 위치 정보와 검출 위치 정보 사이의 거리와 사전 설정된 거리 임계값 사이의 관계에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 판정하여, 검출할 안면 이미지의 검출 키포인트 정보 중의 안면 키포인트가 타겟 안면 키포인트인지 여부를 정확하게 판정하는 것을 구현할 수 있다.
단계 305, 검출 키포인트 정보 중의 타겟 안면 키포인트의 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성한다.
구체적으로, 검출 키포인트 정보 중의 각 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정한 후, 검출 키포인트 정보에서 타겟 안면 키포인트의 검출 위치 정보를 선별하여, 타겟 안면 키포인트의 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성할 수 있다.
검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트 매핑 관계, 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보, 및 검출 키포인트 정보 중의 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하고, 나아가 검출 키포인트 정보 중의 타겟 안면 키포인트의 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성하여, 검출할 안면 이미지 중의 가려지지 않은 영역의 안면 키포인트 및 해당 위치 및 개수 등의 정보를 정확하게 결정하는 것을 구현하고, 전체의 과정에 추가 수동 주석을 수행할 필요가 없으며, 비용이 절감되고, 소요 시간이 짧다.
이해 가능한 바로는, 검출할 안면 이미지의 타겟 키포인트 정보를 생성한 후, 타겟 키포인트 정보를 사용하여, 검출할 안면 이미지에 대한 안면 인식 등 기능을 구현할 수 있다. 즉, 단계 305 이후, 하기의 단계를 더 포함할 수 있다.
단계 306, 검출할 안면 이미지의 타겟 키포인트 정보에 따라 검출할 안면 이미지에 대해 안면 인식을 수행하여, 인식 결과를 획득한다.
설명해야 하는 바로는, 본 개시의 실시예에서 결정된 검출할 안면 이미지의 타겟 키포인트 정보는 안면 인식에 적용될 뿐만 아니라, 다양한 장면에 적용될 수 있다.
예를 들어, 본 개시의 실시예에서 생성된 검출할 안면 이미지의 타겟 키포인트 정보에 따라, 검출할 안면 이미지 중의 특정 타겟 키포인트에 대해 특수 효과 또는 편집 처리를 구현할 수 있다. 예를 들어, 검출할 안면 이미지의 타겟 키포인트 정보에 따라, 눈에 대응되는 각 타겟 키포인트의 위치를 결정하여, 눈 부위에 안경 특수 효과를 가하거나, 눈을 크게 처리할 수 있고, 또는, 검출할 안면 이미지의 타겟 키포인트 정보에 따라, 눈썹에 대응되는 각 타겟 키포인트의 위치를 결정하여, 눈썹을 굵게 처리할 수 있는, 등등이다.
이해 가능한 바로는, 검출할 안면 이미지의 타겟 키포인트 정보에 따라 검출할 안면 이미지에 대해 안면 인식을 수행하여 인식 결과를 획득함으로써, 결정된 검출할 안면 이미지의 타겟 키포인트 정보를 사용하여 안면 인식 기능을 구현할 수 있고, 본 개시의 안면 키포인트 검출 방법을 통해 생성된 타겟 키포인트 정보가 정확하고 신뢰성이 있기 때문에, 당해 방법을 사용하여 생성된 타겟 키포인트 정보를 사용하여 안면 인식을 수행하는 경우, 인식 결과도 더 정확하고 신뢰성이 있다.
본 개시에서 제공되는 안면 키포인트 검출 방법은, 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 다음 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트 매핑 관계, 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보, 및 검출 키포인트 정보 중의 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정한 후, 검출 키포인트 정보 중의 타겟 안면 키포인트의 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성하고, 나아가 검출할 안면 이미지의 타겟 키포인트 정보에 따라 검출할 안면 이미지에 대해 안면 인식을 수행하여, 인식 결과를 획득한다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 가려지지 않은 영역의 안면 키포인트 정보에 따라 검출할 안면 이미지의 안면 인식을 구현하여, 비용이 절감되고, 소요 시간이 짧다.
도 1 내지 도 6에 나타낸 실시예를 구현하기 위해, 본 개시의 실시예는 안면 키포인트 검출 장치를 더 제공한다.
도 7은 본 개시의 제4 실시예에 따른 개략도이다. 도 7에 도시된 바와 같이, 당해 안면 키포인트 검출 장치(10)는 제1 획득 모듈(11), 추출 모듈(12), 제2 획득 모듈(13), 결정 모듈(14), 처리 모듈(15)을 포함한다.
구체적으로, 본 개시에서 제공되는 안면 키포인트 검출 장치는 본 개시의 전술한 실시예에서 제공되는 안면 키포인트 검출 방법을 수행할 수 있으며, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보에 대한 검출을 구현하기 위해, 당해 안면 키포인트 검출 장치는 전자 기기에 구성될 수 있다. 전자 기기는 데이터 처리를 수행할 수 있는 임의의 단말 기기 또는 서버 등일 수 있으나, 본 개시에서 이에 대해 한정하지 않는다.
제1 획득 모듈(11)은 검출할 안면 이미지를 획득하는데 사용된다.
추출 모듈(12)은 검출할 안면 이미지의 검출 키포인트 정보를 추출하는데 사용된다.
제2 획득 모듈(13)은 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는데 사용된다.
결정 모듈(14)은 검출 키포인트 정보 및 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는데 사용된다.
처리 모듈(15)은 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는데 사용되며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다.
설명해야 하는 바로는, 상기 실시예에서 안면 키포인트 검출 방법에 대한 설명은 본 개시의 실시예의 안면 키포인트 검출 장치(10)에도 적용되어, 여기서 반복하지 않는다.
본 개시의 실시예의 안면 키포인트 검출 장치는, 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
도 8은 본 개시의 제5 실시예에 따른 개략도이다.
도 8에 도시된 바와 같이, 도 7을 기반으로, 본 개시에서 제공되는 안면 키포인트 검출 장치(10)의 결정 모듈(14)은 구체적으로,
템플릿 키포인트 정보 및 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축하는 제1 구축 유닛(141) - 확률 밀도 함수는 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 의해 결정됨 -;
확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축하는 제2 구축 유닛(142);
기대 함수에 대해 최대 우도 추정을 수행하여, 추정 결과에 따라 확률 밀도 함수 및 타겟 함수를 다시 결정하고, 기대 함수를 다시 결정하여 최대 우도 추정을 수행하는 것을 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 수행하는 처리 유닛(143); 및
사전 설정된 수렴 조건을 만족할 때의 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계를 결정하는 제1 결정 유닛(144)을 포함할 수 있다.
예시적인 실시예에서, 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보는 균일 분포 정보이고; 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보는 혼합 가우스 분포 정보이다.
예시적인 실시예에서, 확률 밀도 함수의 계산 공식은 하기와 같다.
여기서, x는 검출할 안면 이미지의 검출 키포인트 정보를 나타내고, 
는 검출할 안면 이미지에서의 가려진 영역의 비중을 나타내고, 
는 균일 분포 정보를 나타내고, 
는 가우스 분포 정보를 나타낸다.
예시적인 실시예에서, 도 8에 도시된 바와 같이, 처리 모듈(15)은 구체적으로,
검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트 매핑 관계, 템플릿 키포인트 정보 중의 안면 키포인트의 템플릿 위치 정보, 및 검출 키포인트 정보 중의 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 제2 결정 유닛(151); 및
검출 키포인트 정보 중의 타겟 안면 키포인트의 검출 위치 정보에 따라, 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 생성 유닛(152)을 포함할 수 있다.
예시적인 실시예에서, 상기 제2 결정 유닛(151)은,
검출 키포인트 정보 중의 각 안면 키포인트에 대해, 안면 키포인트의 템플릿 위치 정보, 및 안면 키포인트 매핑 관계에 따라, 안면 키포인트의 평가 위치 정보를 결정하는 제1 결정 서브유닛; 및
평가 위치 정보 및 안면 키포인트의 검출 위치 정보에 따라, 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 제2 결정 서브유닛을 포함할 수 있다.
예시적인 실시예에서, 상기 제2 결정 서브유닛은 구체적으로,
평가 위치 정보 및 안면 키포인트의 검출 위치 정보 사이의 거리를 결정하고;
거리가 사전 설정된 거리 임계값보다 작거나 같은 경우, 안면 키포인트는 타겟 안면 키포인트인 것을 결정하고; 및
거리가 사전 설정된 거리 임계값보다 큰 경우, 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 결정하는데 사용된다.
예시적인 실시예에서, 도 8에 도시된 바와 같이, 도 7을 기반으로, 본 개시에서 제공되는 안면 키포인트 검출 장치(10)는 검출할 안면 이미지의 타겟 키포인트 정보에 따라 검출할 안면 이미지에 대해 안면 인식을 수행하여, 인식 결과를 획득하는 인식 모듈(16)을 더 포함할 수 있다.
설명해야 하는 바로는, 상기 실시예에서 안면 키포인트 검출 방법에 대한 설명은, 본 개시의 실시예의 안면 키포인트 검출 장치(10)에도 적용되어, 여기서 반복하지 않는다.
본 개시의 실시예의 안면 키포인트 검출 장치는 먼저 검출할 안면 이미지를 획득하여, 검출할 안면 이미지의 검출 키포인트 정보를 추출하고, 템플릿 안면 이미지의 템플릿 키포인트 정보를 획득한 후, 검출할 안면 이미지의 검출 키포인트 정보 및 템플릿 안면 이미지의 템플릿 키포인트 정보를 결합하여, 검출할 안면 이미지와 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하고, 나아가 안면 키포인트 매핑 관계 및 템플릿 키포인트 정보에 따라 검출 키포인트 정보를 선별하여 검출할 안면 이미지의 타겟 키포인트 정보를 생성하며, 타겟 키포인트 정보 중의 타겟 안면 키포인트는 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트이다. 이에 따라, 추가 수동 주석을 수행할 필요가 없고, 검출할 안면 이미지에서 가려지지 않은 영역의 타겟 키포인트 정보를 정확하게 인식할 수 있으므로, 비용이 절감되고, 소요 시간이 짧다.
본 개시의 실시예에 따르면, 본 개시는 또한 전자 기기 및 판독 가능 저장 매체를 제공한다.
도 9에 도시된 바와 같이, 도 9는 본 개시의 실시예의 안면 키포인트 검출 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 또한 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 관련된 구성 요소, 이들의 연결 및 관계, 또한 이들의 기능은 단지 예일 뿐이며 본문에서 설명되거나 및/또는 요구되는 본 개시의 구현을 한정하려는 의도가 아니다.
도 9에 도시된 바와 같이, 당해 전자 기기는 하나 또는 하나 이상의 프로세서(901), 메모리(902) 및 고속 인터페이스와 저속 인터페이스를 포함하는 각 구성 요소를 연결하기 위한 인터페이스를 포함한다. 각 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 공통 메인보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수도 있다. 프로세서는 전자 기기 내부에서 수행되는 명령을 처리할 수 있고, 메모리 내에 혹은 메모리 위에 저장된 외부 입력 장치 또는 출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 기기) 중의 적어도 하나에 GUI의 그래픽 정보를 디스플레이하기 위한 명령을 포함한다. 다른 실시 방식에서, 필요한 경우, 다수의 프로세서 및/또는 다수의 버스와 다수의 메모리를 다수의 메모리와 함께 사용될 수 있다. 마찬가지로 다수의 전자 기기를 연결할 수 있으며 각 기기는 필요한 작업의 일부를 제공한다(예를 들어, 서버 어레이, 블레이드 서버 세트 또는 다중 프로세서 시스템). 도 9에서는 하나의 프로세서(901)가 예시로 도시되었다.
메모리(902)는 본 개시에 의해 제공되는 비일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리는 적어도 하나의 프로세서에 의해 수행 가능한 명령을 저장하므로, 상기 적어도 하나의 프로세서에 의해 본 개시에서 제공되는 안면 키포인트 검출 방법을 수행하도록 한다. 본 개시의 비일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령이 저장되어 있고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 개시에서 제공되는 안면 키포인트 검출 방법을 수행하도록 사용된다.
메모리(902)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 수행 가능 프로그램 및 본 개시의 실시예의 안면 키포인트 검출 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 7에 도시된 제1 획득 모듈(11), 추출 모듈(12), 제2 획득 모듈(13), 결정 모듈(14) 및 처리 모듈(15), 도 8에 도시된 인식 모듈(16))과 같은 모듈을 저장하는데 사용될 수 있다. 프로세서(901)는 메모리(902)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 수행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 전술한 방법 실시예에 따른 안면 키포인트 검출 방법을 구현한다.
메모리(902)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 시스템, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 안면 키포인트 검출에 따른 전자 기기의 사용시 구축된 데이터 등을 저장할 수 있다. 그 외에, 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리 소자, 플래시 메모리 소자 또는 기타 비일시적 솔리드 스테이트 메모리 소자와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(902)는 프로세서(901)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 안면 키포인트 검출의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 모바일 통신망 및 이들의 조합을 포함하지만 이에 제한되지 않는다.
안면 키포인트 검출 방법의 전자 기기는 입력 장치(903) 및 출력 장치(904)를 더 포함할 수 있다. 프로세서(901), 메모리(902), 입력 장치(903) 및 출력 장치(904)는 버스 또는 다른 방식으로 연결될 수 있고, 도 9에서는 버스를 통한 연결을 예시로 도시되었다.
입력 장치(903)는 입력된 디지털 또는 캐릭터 정보를 수신하고, 안면 키포인트 검출의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 작은 키보드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 하나 이상의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력 장치일 수 있다. 출력 장치(904)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 제한되지 않는다. 일부 실시 방식에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및 이들의 조합 중의 적어도 하나로 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있으며, 당해 하나 또는 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 수행 및/또는 해석될 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 일반용일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 또한 데이터 및 명령을 당해 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위해 여기에 설명된 시스템 및 기술은 컴퓨터에서 실시될 수 있다. 당해 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 당해 키보드 및 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치를 사용하여 사용자와의 인터랙션을 제공할 수도 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트 엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 당해 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소 또는 프런트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 인터랙션한다. 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 대응되는 컴퓨터에서 수행하여 클라이언트와 서버 간의 관계를 생성한다.
이해 가능한 바로는 전술한 다양한 형태의 프로세스에 있어서 단계 재정렬, 추가 또는 삭제를 할 수 있다. 예를 들어, 본 개시에 개시된 기술적 수단이 이루고자 하는 결과를 구현할 수 있는 한, 본 개시에 기재된 각 단계는 병렬로, 순차적으로 또는 다른 순서로 수행될 수 있으나, 본 명세서에서 이에 대해 한정하지 않는다.
전술한 구체적인 실시 방식들은 본 개시의 보호 범위에 대한 한정을 구성하지 않는다. 당업자라면 본 개시의 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 개시의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 본 개시의 보호 범위에 포함된다.
Claims (18)
- 안면 키포인트 검출 방법에 있어서,
검출할 안면 이미지를 획득하고, 상기 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 단계;
템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 단계;
상기 검출 키포인트 정보 및 상기 템플릿 키포인트 정보를 결합하여, 상기 검출할 안면 이미지와 상기 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 단계; 및
상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계 - 상기 타겟 키포인트 정보 중의 타겟 안면 키포인트는 상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트임 -;를 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제1항에 있어서,
상기 검출 키포인트 정보 및 상기 템플릿 키포인트 정보를 결합하여, 상기 검출할 안면 이미지와 상기 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 단계는,
상기 템플릿 키포인트 정보 및 상기 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축하는 단계 - 상기 확률 밀도 함수는 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 의해 결정됨 -;
상기 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축하는 단계;
기대 함수에 대해 최대 우도 추정을 수행하여, 추정 결과에 따라 상기 확률 밀도 함수 및 상기 타겟 함수를 다시 결정하고, 상기 기대 함수를 다시 결정하여 최대 우도 추정을 수행하는 것을 상기 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 수행하는 단계; 및
사전 설정된 수렴 조건을 만족할 때의 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계를 결정하는 단계;를 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제1항 또는 제2항에 있어서,
상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계는,
상기 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 상기 안면 키포인트 매핑 관계, 상기 템플릿 키포인트 정보 중의 상기 안면 키포인트의 템플릿 위치 정보, 및 상기 검출 키포인트 정보 중의 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계; 및
상기 검출 키포인트 정보 중의 상기 타겟 안면 키포인트의 검출 위치 정보에 따라, 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계;를 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제3항에 있어서,
상기 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 상기 안면 키포인트 매핑 관계, 상기 템플릿 키포인트 정보 중의 상기 안면 키포인트의 템플릿 위치 정보, 및 상기 검출 키포인트 정보 중의 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계는,
상기 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 상기 안면 키포인트의 템플릿 위치 정보, 및 상기 안면 키포인트 매핑 관계에 따라, 상기 안면 키포인트의 평가 위치 정보를 결정하는 단계; 및
상기 평가 위치 정보 및 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계;를 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제4항에 있어서,
상기 평가 위치 정보 및 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 단계는,
상기 평가 위치 정보 및 상기 안면 키포인트의 검출 위치 정보 사이의 거리를 결정하는 단계;
상기 거리가 사전 설정된 거리 임계값보다 작거나 같은 경우, 상기 안면 키포인트는 타겟 안면 키포인트인 것을 결정하는 단계; 및
상기 거리가 사전 설정된 거리 임계값보다 큰 경우, 상기 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 결정하는 단계;를 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 단계 이후,
상기 검출할 안면 이미지의 타겟 키포인트 정보에 따라 상기 검출할 안면 이미지에 대해 안면 인식을 수행하여, 인식 결과를 획득하는 단계를 더 포함하는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제2항에 있어서,
상기 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보는 균일 분포 정보이고;
상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보는 혼합 가우스 분포 정보인,
것을 특징으로 하는 안면 키포인트 검출 방법. - 제7항에 있어서,
상기 확률 밀도 함수의 계산 공식은,
이고,
x는 검출할 안면 이미지의 검출 키포인트 정보를 나타내고,는 검출할 안면 이미지에서의 가려진 영역의 비중을 나타내고,
는 균일 분포 정보를 나타내고,
는 가우스 분포 정보를 나타내는,
것을 특징으로 하는 안면 키포인트 검출 방법. - 안면 키포인트 검출 장치에 있어서,
검출할 안면 이미지를 획득하는 제1 획득 모듈;
상기 검출할 안면 이미지의 검출 키포인트 정보를 추출하는 추출 모듈;
템플릿 안면 이미지의 템플릿 키포인트 정보를 획득하는 제2 획득 모듈;
상기 검출 키포인트 정보 및 상기 템플릿 키포인트 정보를 결합하여, 상기 검출할 안면 이미지와 상기 템플릿 안면 이미지 사이의 안면 키포인트 매핑 관계를 결정하는 결정 모듈; 및
상기 안면 키포인트 매핑 관계 및 상기 템플릿 키포인트 정보에 따라 상기 검출 키포인트 정보를 선별하여 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 처리 모듈 - 상기 타겟 키포인트 정보 중의 타겟 안면 키포인트는 상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트임 -;을 포함하는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제9항에 있어서,
상기 결정 모듈은,
상기 템플릿 키포인트 정보 및 상기 검출 키포인트 정보에 따라, 안면 키포인트 매핑 관계의 확률 밀도 함수를 구축하는 제1 구축 유닛 - 상기 확률 밀도 함수는 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보 및 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보에 의해 결정됨 -;
상기 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계의 타겟 함수 및 기대 함수를 구축하는 제2 구축 유닛;
기대 함수에 대해 최대 우도 추정을 수행하여, 추정 결과에 따라 상기 확률 밀도 함수 및 상기 타겟 함수를 다시 결정하고, 상기 기대 함수를 다시 결정하여 최대 우도 추정을 수행하는 것을 상기 타겟 함수가 사전 설정된 수렴 조건을 만족할 때까지 수행하는 처리 유닛; 및
사전 설정된 수렴 조건을 만족할 때의 확률 밀도 함수에 따라, 안면 키포인트 매핑 관계를 결정하는 제1 결정 유닛;을 포함하는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제9항 또는 제10항에 있어서,
상기 처리 모듈은,
상기 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 상기 안면 키포인트 매핑 관계, 상기 템플릿 키포인트 정보 중의 상기 안면 키포인트의 템플릿 위치 정보, 및 상기 검출 키포인트 정보 중의 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 제2 결정 유닛; 및
상기 검출 키포인트 정보 중의 상기 타겟 안면 키포인트의 검출 위치 정보에 따라, 상기 검출할 안면 이미지의 타겟 키포인트 정보를 생성하는 생성 유닛;을 포함하는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제11항에 있어서,
상기 제2 결정 유닛은,
상기 검출 키포인트 정보 중의 각 안면 키포인트에 대해, 상기 안면 키포인트의 템플릿 위치 정보, 및 상기 안면 키포인트 매핑 관계에 따라, 상기 안면 키포인트의 평가 위치 정보를 결정하는 제1 결정 서브유닛; 및
상기 평가 위치 정보 및 상기 안면 키포인트의 검출 위치 정보에 따라, 상기 안면 키포인트가 타겟 안면 키포인트인지 여부를 결정하는 제2 결정 서브유닛;을 포함하는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제12항에 있어서,
상기 제2 결정 서브유닛은,
상기 평가 위치 정보 및 상기 안면 키포인트의 검출 위치 정보 사이의 거리를 결정하고;
상기 거리가 사전 설정된 거리 임계값보다 작거나 같은 경우, 상기 안면 키포인트는 타겟 안면 키포인트인 것을 결정하고;
상기 거리가 사전 설정된 거리 임계값보다 큰 경우, 상기 안면 키포인트는 타겟 안면 키포인트가 아닌 것을 결정하는데 사용되는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제9항 내지 제13항 중 어느 한 항에 있어서,
상기 검출할 안면 이미지의 타겟 키포인트 정보에 따라 상기 검출할 안면 이미지에 대해 안면 인식을 수행하여, 인식 결과를 획득하는 인식 모듈을 더 포함하는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제10항에 있어서,
상기 검출할 안면 이미지에서 가려진 영역의 안면 키포인트 매핑 관계 분포 정보는 균일 분포 정보이고;
상기 검출할 안면 이미지에서 가려지지 않은 영역의 안면 키포인트 매핑 관계 분포 정보는 혼합 가우스 분포 정보인,
것을 특징으로 하는 안면 키포인트 검출 장치. - 제15항에 있어서,
상기 확률 밀도 함수의 계산 공식은,
이고,
x는 검출할 안면 이미지의 검출 키포인트 정보를 나타내고,는 검출할 안면 이미지에서의 가려진 영역의 비중을 나타내고,
는 균일 분포 정보를 나타내고,
는 가우스 분포 정보를 나타내는,
것을 특징으로 하는 안면 키포인트 검출 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항에 따른 안면 키포인트 검출 방법을 수행하도록 하는,
것을 특징으로 하는 전자 기기. - 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제8항 중 어느 한 항에 따른 안면 키포인트 검출 방법을 수행하는데 사용되는,
것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010415188.1 | 2020-05-15 | ||
| CN202010415188.1A CN111709288B (zh) | 2020-05-15 | 2020-05-15 | 人脸关键点检测方法、装置以及电子设备 |
| PCT/CN2020/116994 WO2021227333A1 (zh) | 2020-05-15 | 2020-09-23 | 人脸关键点检测方法、装置以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220113830A true KR20220113830A (ko) | 2022-08-16 |
Family
ID=72537161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026080A KR20220113830A (ko) | 2020-05-15 | 2020-09-23 | 안면 키포인트 검출 방법, 장치 및 전자 기기 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230196825A1 (ko) |
| JP (1) | JP7270114B2 (ko) |
| KR (1) | KR20220113830A (ko) |
| CN (1) | CN111709288B (ko) |
| WO (1) | WO2021227333A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883777B (zh) * | 2021-01-04 | 2024-03-29 | 北京地平线信息技术有限公司 | 人脸关键点模板的生成及人脸矫正方法、装置、设备、介质 |
| CN114743296B (zh) * | 2022-04-20 | 2024-06-25 | 曾科岩 | 智能门锁的控制方法及控制*** |
| CN117237547B (zh) * | 2023-11-15 | 2024-03-01 | 腾讯科技（深圳）有限公司 | 图像重建方法、重建模型的处理方法和装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5594015B2 (ja) | 2010-09-21 | 2014-09-24 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
| JP5648452B2 (ja) | 2010-12-03 | 2015-01-07 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
| US20120321134A1 (en) * | 2011-06-15 | 2012-12-20 | Samsung Electornics Co., Ltd | Face tracking method and device |
| WO2015146101A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 顔照合装置、方法、及び、記録媒体 |
| CN104992148A (zh) * | 2015-06-18 | 2015-10-21 | 江南大学 | 基于随机森林的atm终端部分遮挡人脸关键点检测方法 |
| CN106778574A (zh) * | 2016-12-06 | 2017-05-31 | 广州视源电子科技股份有限公司 | 用于人脸图像的检测方法和装置 |
| US10565433B2 (en) * | 2017-03-30 | 2020-02-18 | George Mason University | Age invariant face recognition using convolutional neural networks and set distances |
| CN107016370B (zh) * | 2017-04-10 | 2019-10-11 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
| JP6835223B2 (ja) | 2017-06-26 | 2021-02-24 | 日本電気株式会社 | 顔認証装置、顔認証方法およびプログラム |
| CN107622240B (zh) * | 2017-09-21 | 2023-10-13 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
| CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN108121972A (zh) * | 2017-12-25 | 2018-06-05 | 北京航空航天大学 | 一种局部遮挡条件下的目标识别方法 |
| CN107909065B (zh) * | 2017-12-29 | 2020-06-16 | 百度在线网络技术（北京）有限公司 | 用于检测人脸遮挡的方法及装置 |
| CN109359575B (zh) * | 2018-09-30 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 人脸检测方法、业务处理方法、装置、终端及介质 |
| CN109584276B (zh) | 2018-12-04 | 2020-09-25 | 北京字节跳动网络技术有限公司 | 关键点检测方法、装置、设备及可读介质 |
| CN110163080A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法及装置、存储介质和电子设备 |
| CN110147744B (zh) * | 2019-05-09 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 一种人脸图像质量评估方法、装置及终端 |
| CN110175558B (zh) * | 2019-05-24 | 2021-02-05 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
-
2020
- 2020-05-15 CN CN202010415188.1A patent/CN111709288B/zh active Active
- 2020-09-23 WO PCT/CN2020/116994 patent/WO2021227333A1/zh active Application Filing
- 2020-09-23 US US17/925,380 patent/US20230196825A1/en active Pending
- 2020-09-23 JP JP2022539761A patent/JP7270114B2/ja active Active
- 2020-09-23 KR KR1020227026080A patent/KR20220113830A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709288B (zh) | 2022-03-01 |
| CN111709288A (zh) | 2020-09-25 |
| JP7270114B2 (ja) | 2023-05-09 |
| JP2023508704A (ja) | 2023-03-03 |
| US20230196825A1 (en) | 2023-06-22 |
| WO2021227333A1 (zh) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598818B (zh) | 人脸融合模型训练方法、装置及电子设备 | |
| US11587300B2 (en) | Method and apparatus for generating three-dimensional virtual image, and storage medium | |
| KR102597377B1 (ko) | 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 | |
| CN111931591B (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
| US11756332B2 (en) | Image recognition method, apparatus, device, and computer storage medium | |
| KR20220113830A (ko) | 안면 키포인트 검출 방법, 장치 및 전자 기기 | |
| CN111783605B (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| US20230103430A1 (en) | Method and apparatus for generating vector representation of knowledge graph | |
| CN111968203B (zh) | 动画驱动方法、装置、电子设备及存储介质 | |
| US11568590B2 (en) | Cartoonlization processing method for image, electronic device, and storage medium | |
| CN113792850B (zh) | 字体生成模型训练方法、字库建立方法、装置及设备 | |
| CN111832396B (zh) | 文档布局的解析方法、装置、电子设备和存储介质 | |
| US11403799B2 (en) | Method and apparatus for recognizing face-swap, device and computer readable storage medium | |
| JP2021119535A (ja) | 画像処理方法、装置、電子機器及び記憶媒体 | |
| CN111695519B (zh) | 关键点定位方法、装置、设备以及存储介质 | |
| KR102508860B1 (ko) | 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체 | |
| CN111899159B (zh) | 用于变换发型的方法、装置、设备以及存储介质 | |
| KR20210040883A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN111523467B (zh) | 人脸跟踪方法和装置 | |
| CN114782722B (zh) | 图文相似度的确定方法、装置及电子设备 | |
| CN111275110B (zh) | 图像描述的方法、装置、电子设备及存储介质 | |
| CN116167426A (zh) | 人脸关键点定位模型的训练方法及人脸关键点定位方法 | |
| US20230071291A1 (en) | System and method for a precise semantic segmentation | |
| CN112183484A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
| CN112270316B (zh) | 文字识别、文字识别模型的训练方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| WITB | Written withdrawal of application |