KR20210047283A - 가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents
가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20210047283A KR20210047283A KR1020210037332A KR20210037332A KR20210047283A KR 20210047283 A KR20210047283 A KR 20210047283A KR 1020210037332 A KR1020210037332 A KR 1020210037332A KR 20210037332 A KR20210037332 A KR 20210037332A KR 20210047283 A KR20210047283 A KR 20210047283A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- virtual
- image
- feature templates
- shape
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004590 computer program Methods 0.000 title claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims abstract description 68
- 238000009877 rendering Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008921 facial expression Effects 0.000 description 12
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06K9/00268—
-
- G06K9/00302—
-
- G06K9/6211—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 출원의 실시예는 딥 러닝 및 이미지 기술 분야에 관한 것이며, 특히는 인터넷 소프트웨어 기술 분야에 관한 것으로, 가상 형상 생성 방법, 장치, 기기 및 저장 매체를 개시한다. 구체적인 구현 방안은, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하고, 상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정한다. 본 출원의 실시예의 기술적 방안은, 대상 얼굴에 대해 가상화를 진행함과 동시에 가상 형상의 유사성(biofidelity)을 향상시킬 수 있다.
Description
본 출원의 실시예는 딥 러닝 및 이미지 기술 분야에 관한 것으로, 특히는 인터넷 소프트웨어 기술 분야에 관한 것이다. 구체적으로, 본 출원의 실시예는 가상 형상 생성 방법, 장치, 기기 및 저장 매체를 제공한다.
한장의 얼굴 사진을 기반으로 그의 안면 특징과 유사한 가상 형상을 생성하는 기술은 현재 3차원 얼굴 분야의 기술 연구와 제품 응용의 주요 관심사이다.
현재에 사진 중의 얼굴 특징과 기정의 가상 형상을 매칭시킴으로써, 기정의 가상 형상으로부터 사진 중의 얼굴과 유사한 가상 형상을 결정하게 된다.
그러나, 상술한 방법을 통해 획득한 가상 형상의 실감은 높지 못하다.
본 출원의 실시예는 가상 형상 생성 방법, 장치, 기기 및 저장 매체를 제공한다.
제1 양태에 있어서, 본 출원의 실시예는 가상 형상 생성 방법을 제공하며, 해당 가상 형상 생성 방법은,
적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하는 단계와,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하는 단계를 포함한다.
제2 양태에 있어서, 본 출원의 실시예는 가상 형상 생성 장치를 더 제공하며, 해당 가상 형상 생성 장치는,
적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하도록 구성되는 계수 결정 모듈과,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하도록 구성되는 형상 결정 모듈을 포함한다.
제3 양태에 있어서, 본 출원의 실시예는 전자 기기를 더 제공하며, 해당 전자 기기는,
적어도 하나의 프로세서와,
상기 적어도 하나의 프로세서에 통신 연결되는 메모리 장치를 포함하되,
상기 메모리 장치에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령어가 저장되고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서로 본 출원의 실시예 중 어느 한 항에 따른 방법을 수행하도록 한다.
제4 양태에 있어서, 본 출원의 실시예는 컴퓨터 명령어가 저장되는 비 일시적 컴퓨터 판독 가능한 저장 매체를 더 제공하며, 상기 컴퓨터 명령어는 상기 컴퓨터로 본 출원의 실시예 중 어느 한 항에 따른 방법을 수행하도록 한다.
제5 양태에 있어서, 본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 출원의 실시예 중 어느 한 항에 따른 방법을 수행하도록 한다.
본 출원의 실시예의 기술적 방안은, 대상 얼굴에 대해 가상화를 진행함과 동시에 가상 형상의 유사성을 향상시킬 수 있다.
당해 부분에 설명되는 내용은 본 개시의 실시예의 관건적인 또는 중요한 특징만 나타내기 위한 것이 아니며, 본 개시의 범위를 한정하기 위한 것도 아님을 이해하여야 한다. 본 개시의 기타의 특징은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.
첨부된 도면은 본 방안을 더욱 잘 이해시키기 위한 것이며, 본 출원에 대한 한정을 구성하지 않는다.
도 1은 본 출원의 제1 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 2는 본 출원의 제2 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 3은 본 출원의 제3 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 4는 본 출원의 제4 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 5는 본 출원의 제5 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 6은 본 출원의 제6 실시예에서 제공하는 일 가상 형상 생성 장치의 구조 개략도이다.
도 7은 본 출원의 실시예에 따른 가상 형상 생성 방법의 전자 기기의 블록도이다.
도 1은 본 출원의 제1 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 2는 본 출원의 제2 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 3은 본 출원의 제3 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 4는 본 출원의 제4 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 5는 본 출원의 제5 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다.
도 6은 본 출원의 제6 실시예에서 제공하는 일 가상 형상 생성 장치의 구조 개략도이다.
도 7은 본 출원의 실시예에 따른 가상 형상 생성 방법의 전자 기기의 블록도이다.
아래에 첨부된 도면을 결부하여 본 출원의 시범적인 실시예에 대해 설명을 진행하되, 이해를 돕기 위해 본 출원의 실시예의 각종의 세부 사항을 포함하며, 이는 단지 시범적인 것으로 시인되어야 한다. 따라서, 본 출원의 범위 및 사상을 위배하지 않고서, 여기서 설명되는 실시예에 대해 각종의 변화 및 수정을 진행할 수 있음은 당해 기술분야에서 통상의 지식을 가진자에게 자명할 것이다. 마찬가지로, 명확하고 간결한 설명을 위하여, 주지 기능 및 구조에 대한 설명은 이하에서 생략된다.
제1 실시예
도 1은 본 출원의 제1 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다. 본 실시예는 얼굴 이미지에 따라 이미지 중의 얼굴 특징과 유사한 가상 형상을 생성하는 경우에 적용될 수 있다. 해당 방법은, 일 가상 형상 생성 장치에 의해 수행될 수 있다. 해당 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있다. 도 1을 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 방법은 아래와 같은 단계들을 포함한다.
단계(S110)에서, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정한다.
여기서, 실제 얼굴 특징 템플릿은 실제 얼굴 표현 특징의 템플릿을 가리킨다. 해당 템플릿은 3차원일 수 있으며, 2차원일 수도 있다.
구체적으로, 실제 얼굴 특징 템플릿은 전반적인 얼굴의 특징 템플릿일 수 있으며, 국부적인 얼굴의 특징 템플릿일 수도 있다.
상기 적어도 두개의 실제 얼굴 특징 템플릿은 적어도 하나의 얼굴 특징을 설명하도록 이용될 수 있다.
상기 얼굴 특징은 얼굴 표정, 얼굴 모양 및 오관 중의 적어도 하나를 포함한다.
선택적으로, 상기 얼굴 특징은 얼굴 표정, 얼굴 모양 또는 오관일 수 있다.
상기 얼굴 특징은 얼굴 표정과 얼굴 모양, 얼굴 표정과 오관, 또는 얼굴 모양와 오관일 수 있다.
상기 얼굴 특징은 얼굴 표정, 얼굴 모양 및 오관일 수도 있다.
예시적으로, 얼굴 표정은 흥분, 기쁨, 경악, 상심, 두려움, 수줍음, 혐오 및 분노 등 중의 적어도 하나를 포함할 수 있다.
얼굴 모양는 둥근 얼굴, 사각 얼굴, 계란형 얼굴, 타원형 얼굴 및 마름모형 얼굴 등 줄의 적어도 하나를 포함할 수 있다.
코는 표준 코, 휜 코 및 곧은 코 등 중의 적어도 하나를 포함할 수 있다.
눈은 표준 눈, 처진 눈, 봉안 눈, 세모꼴 눈, 상사시 눈, 세장 눈 및 둥근 눈 등 중의 적어도 하나를 포함할 수 있다.
눈썹은 자연스러운 눈썹, 일자 눈썹, 유미형 눈썹, 아치형 눈썹 및 각진 눈썹 등 중의 적어도 하나를 포함할 수 있다.
입은 표준 입, 앵두 입, 큰 입 및 비뚤어진 입 등 중의 적어도 하나를 포함할 수 있다.
처리할 이미지는 이미지 중의 대상 얼굴에 따라 가상 형상을 생성하고자는 이미지이다.
템플릿 계수는 적어도 두개의 실제 얼굴 특징 템플릿을 융합시켜, 대상 얼굴 유사도가 기설정 유사도 임계값보다 큰 융합 얼굴과의 융합 가중치를 획득한다.
구체적으로, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하는 단계는,
처리할 이미지를 사전에 트레이닝된 템플릿 계수 인식 모델에 입력하여, 대상 얼굴의 템플릿 계수를 출력하는 단계를 포함할 수 있다.
선택적으로, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하는 단계는,
처리할 이미지 중 대상 얼굴의 특징 포인트를 추출하는 단계와,
추출된 특징 포인트에 따라, 데이터로부터 대상 얼굴의 템플릿 계수를 인덱싱하는 단계를 더 포함할 수 있다.
단계(S120)에서, 상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정한다.
여기서, 가상 얼굴 특징 템플릿은 특정 스타일의 얼굴 표현 특징의 템플릿을 가리킨다. 해당 스타일은 구체적으로, 달콤하고 귀여운 스타일, 자연스럽고 우아한 스타일, 로맨틱하고 매력적인 스타일, 매력 있고 트랜디한 스타일, 우아하고 여성스러운 스타일, 화려하고 우아한 스타일, 순수하고 간결한 스타일, 지적이고 평정한 스타일, 및 현대적인 모던 스타일 중의 적어도 하나일 수 있다.
가상 얼굴 특징 템플릿은 만화가가 실제 얼굴 특징 템플릿에 따라 그려서 획득한 것이다.
각 실제 얼굴 특징 템플릿에는 모두 가상 얼굴 특징 템플릿이 관련된다.
가상 형상은 실제가 아닌 모양을 가리킨다.
선택적으로, 가상 형상은 3차원 모델의 형식일 수 있으며, 2차원 이미지의 형식일 수도 있다.
구체적으로, 상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하는 단계는,
상기 템플릿 계수에 따라, 상기 적어도 두개의 실제 얼굴 특징 템플릿 중의 각 특징 포인트의 위치에 대해 가중 합계를 진행하는 단계와,
가중 합계 결과를 가상 형상 중의 상응한 특징 포인트의 위치로 이용하여, 대상 얼굴의 가상 형상을 획득하는 단계를 포함한다.
본 출원의 실시예의 기술적 방안은, 템플릿 계수 및 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정한다. 적어도 두개의 실제 얼굴 특징 템플릿의 피팅은 대상 얼굴을 보다 현실적으로 반영할 수 있으므로, 본 출원의 실시예는 대상 얼굴에 대해 가상화를 진행함과 동시에 가상 형상의 유사성을 향상시킬 수 있다.
제2 실시예
도 2는 본 출원의 제2 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다. 본 실시예는 상술한 실시예를 기초로 상술한 단계(S120)에 대한 구체적인 최적화이다. 도 2를 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 방법은 아래와 같은 단계들을 포함한다.
단계(S210)에서, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정한다.
단계(S220)에서, 상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정한다.
여기서, 가상 얼굴 이미지는 가상 형상의 얼굴 이미지를 가리킨다.
구체적으로, 상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정하는 단계는,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 가상 얼굴의 3차원 모델을 결정하는 단계와,
상기 처리할 이미지로부터 상기 대상 얼굴의 텍스처 정보를 추출하는 단계와,
상기 대상 얼굴의 텍스처 정보에 따라, 상기 가상 얼굴의 3차원 모델에 대해 랜더링을 진행하여, 상기 가상 얼굴 이미지를 획득하는 단계를 포함할 수 있다.
여기서, 텍스처 정보는 색상 정보 및 광조도 정보 중의 적어도 하나를 포함한다.
가상 얼굴은 가상 형상의 얼굴을 가리킨다.
단계(S230)에서, 상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 상기 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시켜, 상기 가상 형상의 이미지를 획득한다.
본 출원의 실시예의 기술적 방안은, 상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시켜, 가상 형상에 대상 얼굴 이외의 기타의 사용자 특징(예를 들어, 머리 스타일, 복장 등)을 추가함으로써, 가상 형상과 대상 얼굴에 해당되는 사용자의 유사도를 더 향상시킨다.
가상 얼굴과 대상 얼굴의 유사도를 더 향상시키기 위하여, 상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 상기 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시켜, 상기 가상 형상의 이미지를 획득하는 상기 단계 이전에, 상기 방법은,
상기 대상 얼굴의 얼굴 키 포인트에 따라, 상기 가상 얼굴 이미지에 대해 변형을 진행하여, 상기 가상 얼굴 이미지 중의 가상 얼굴과 상기 대상 얼굴을 정렬시키는 단계를 더 포함한다.
제3 실시예
도 3은 본 출원의 제3 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다. 본 실시예는 상술한 실시예를 기초로 상술한 단계(S120)에 대한 구체적인 최적화이다. 도 3을 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 방법은 아래와 같은 단계들을 포함한다.
단계(S310)에서, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정한다.
단계(S320)에서, 상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하여, 상기 대상 얼굴의 가상 형상을 획득한다.
여기서, 기준 얼굴 모델은 기준선인 얼굴 모델을 가리킨다.
기준선은 사람들이 상이한 표정을 나타내기 전에 나타내는 일 평정한 상태를 가리킨다.
구체적으로, 상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하여, 상기 대상 얼굴의 가상 형상을 획득하는 상기 단계는,
상기 가상 얼굴 특징 템플릿 중의 얼굴 키 포인트와 기준 얼굴 모델 중의 얼굴 키 포인트를 매칭시켜, 매칭 포인트 쌍을 획득하는 단계와,
상기 템플릿 계수에 따라 기준 얼굴 모델 중의 얼굴 키 포인트에 관련된 적어도 두개의 매칭 포인트 쌍의 거리에 대해 가중 합계를 진행하는 단계와,
가중 합계 결과에 따라, 기준 얼굴 모델 중의 얼굴 키 포인트에 대해 수평 이동을 진행하여, 상기 대상 얼굴의 가상 형상을 획득하는 단계를 포함할 수 있다.
예시적으로, 아래의 공식에 따라 상기 대상 얼굴의 가상 형상을 결정하되,
여기서, 
는 가상 형상 중의 일 특징 포인트의 1차원 좌표이고, 
는 기준 얼굴 모델 중의 상응한 특징 포인트의 상응한 차원 좌표이고, 
는 일 가상 얼굴 특징 템플릿 중의 상응한 특징 포인트의 상응한 차원 좌표이고, 
는 다른 일 가상 얼굴 특징 템플릿 중의 상응한 특징 포인트의 상응한 차원 좌표이고, a와 b는 템플릿 계수이다.
본 출원의 실시예의 기술적 방안은, 기준 얼굴 모델을 통해 상기 대상 얼굴의 가상 형상을 획득하는 것을 제약함으로써, 가상 형상의 왜곡을 방지하고, 가상 형상의 정확률을 향상시킨다.
제4 실시예
도 4는 본 출원의 제4 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다. 본 실시예는 상술한 실시예를 기초로 상술한 단계(S110)의 구체화이다. 도 4를 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 방법은 아래와 같은 단계들을 포함한다.
단계(S410)에서, 상기 처리할 이미지에 대해 얼굴 검출을 진행하여, 상기 대상 얼굴의 제1 얼굴 키 포인트를 획득한다.
여기서, 제1 키 포인트는 처리할 이미지 중 대상 얼굴의 키 포인트이다.
단계(S420)에서, 상기 적어도 두개의 실제 얼굴 특징 템플릿에서 제2 얼굴 키 포인트를 획득한다.
여기서, 제2 키 포인트는 실제 얼굴 특징 템플릿 중의 얼굴의 키 포인트를 가리킨다.
단계(S430)에서, 상기 제1 얼굴 키 포인트와 상기 제2 얼굴 키 포인트 사이의 연관 관계를 결정한다.
여기서, 얼굴 키 포인트는 얼굴의 관건 위치의 특징 포인트를 표시한다.
전형적으로, 얼굴 키 포인트는 설정된 얼굴 위치에서의 키 포인트이다. 해당 설정된 얼굴 위치는 눈의 중심점 위치, 코끝 위치 및 입가 위치 중의 적어도 하나일 수 있다.
구체적으로, 얼굴을 설명하는 특징 정보에 따라, 상기 제1 얼굴 키 포인트와 상기 제2 얼굴 키 포인트 사이의 연관 관계를 구축할 수 있다.
예를 들어, 얼굴 중의 왼눈 안각 위치를 설명하는 제1 얼굴 키 포인트 및 제2 얼굴 키 포인트 사이에 관한 연관 관계를 구축한다.
단계(S440)에서, 상기 연관 관계를 기반으로, 상기 제1 얼굴 키 포인트 및 상기 제2 얼굴 키 포인트에 따라, 상기 템플릿 계수를 결정한다.
구체적으로, 상기 연관 관계를 기반으로, 상기 제1 얼굴 키 포인트 및 상기 제2 얼굴 키 포인트에 따라, 상기 템플릿 계수를 결정하는 단계는,
상기 연관 관계를 기반으로 방정식 집합을 구축하는 단계와,
상기 제1 얼굴 키 포인트 및 상기 제2 얼굴 키 포인트를 방정식 집합에 도입시켜, 상기 템플릿 계수의 해를 구하는 단계를 포함한다.
본 출원의 실시예의 기술적 방안은, 상기 제1 얼굴 키 포인트와 상기 제2 얼굴 키 포인트 사이의 연관 관계를 결정하고, 상기 연관 관계를 기반으로, 상기 제1 얼굴 키 포인트 및 상기 제2 얼굴 키 포인트에 따라, 상기 템플릿 계수를 결정함으로써, 템플릿 계수의 결정을 실현한다.
제5 실시예
도 5는 본 출원의 제6 실시예에서 제공하는 일 가상 형상 생성 방법의 흐름도이다. 본 실시예는 상술한 실시예를 기초로 제출하는 일 선택 가능한 방안이다. 도 5를 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 방법은,
처리할 이미지를 얼굴 모양 표정 계수 해법 장치에 입력하여, 대상 얼굴의 템플릿 계수 및 대상 얼굴의 포즈 정보를 출력하는 단계와,
대상 얼굴의 포즈 정보 및 처리할 이미지를 텍스처 광조도 추정 장치에 입력하여, 대상 얼굴의 평균 색상, 대상 얼굴 중의 입술의 평균 색상 및 광조도 정보를 출력하는 단계와,
대상 얼굴의 평균 색상, 대상 얼굴 중의 입술의 평균 색상 및 광조도 정보를 텍스처 합성 장치에 입력하여, 대상 텍스처 매핑을 출력하는 단계와,
템플릿 계수를 기반으로, 기준 얼굴 모델을 조정하여, 가상 얼굴의 3차원 모델을 획득하는 단계와,
대상 텍스처 매핑을 이용하여 가상 얼굴의 3차원 모델에 대해 랜더링을 진행하여, 가상 얼굴 이미지를 획득하는 단계와,
처리할 이미지 중 대상 얼굴의 얼굴 키 포인트에 따라, 가상 얼굴 이미지에 대해 변형을 진행하는 단계와,
처리할 이미지에 따라 대상 얼굴의 얼굴 마스크를 결정하는 단계와,
얼굴 마스크를 기반으로, 변형된 가상 얼굴 이미지를 처리할 이미지 중 대상 얼굴 영역에 충진시키는 단계와,
충진하여 획득한 이미지를 대상 얼굴의 가상 형상으로 이용하는 단계를 포함한다.
여기서, 얼굴 모양 표정 계수 해법 장치는 얼굴 특징 포인트의 관점 변환(Perspective-n-Point, PNP) 방법을 기반으로 구현될 수 있으며, 딥 러닝 방식을 통해 구현될 수도 있다.
템플릿 계수는 표정 템플릿 계수, 얼굴 모양 템플릿 계수 및 오관 템플릿 계수 중의 적어도 하나를 포함할 수 있다.
구체적으로, 상술한 텍스처 광조도 추정 장치 및 문제 내의 합성 장치는 모두 딥 러닝 방식을 따라 구현될 수 있다.
본 출원의 실시예의 기술적 방안은, 템플릿 계수를 기반으로 가상 얼굴의 표정 템플릿, 얼굴 모양 템플릿 및 오관 템플릿에 대해 조합을 진행하여, 이미지 중의 얼굴에 매칭되는 가상 형상을 획득함으로써, 가상화를 진행함과 동시에 가상 형상의 유사성을 향상시킬 수 있다.
제6 실시예
도 6은 본 출원의 제6 실시예에서 제공하는 일 가상 형상 생성 장치의 구조 개략도이다. 도 6을 참조하면, 본 출원의 실시예에서 제공하는 가상 형상 생성 장치(600)는 계수 결정 모듈(601) 및 형상 결정 모듈(602)을 포함한다.
여기서, 계수 결정 모듈(601)은, 적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하도록 구성되고,
형상 결정 모듈(602)은, 상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하도록 구성된다.
본 출원의 실시예의 기술적 방안은, 템플릿 계수 및 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정한다. 적어도 두개의 실제 얼굴 특징 템플릿의 피팅은 대상 얼굴을 보다 현실적으로 반영할 수 있으므로, 본 출원의 실시예는 대상 얼굴에 대해 가상화를 진행함과 동시에 가상 형상의 유사성을 향상시킬 수 있다.
나아가, 상기 형상 결정 모듈은,
상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정하도록 구성되는 이미지 결정 유닛과,
상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 상기 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시키도록 구성되는 영역 충진 유닛과,
충진하여 획득한 이미지를 상기 가상 형상으로 이용하도록 구성되는 이미지 획득 유닛을 포함한다.
나아가, 상기 이미지 결정 유닛은,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 가상 얼굴의 3차원 모델을 결정하도록 구성되는 모델 결정 서브 유닛과,
상기 처리할 이미지로부터 상기 대상 얼굴의 텍스처 정보를 추출하도록 구성되는 정보 추출 서브 유닛과,
상기 대상 얼굴의 텍스처 정보에 따라, 상기 가상 얼굴의 3차원 모델에 대해 랜더링을 진행하여, 상기 가상 얼굴 이미지를 획득하도록 구성되는 랜더링 서브 유닛을 포함한다.
나아가, 상기 형상 결정 모듈은,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하도록 구성되는 모델 조정 유닛과,
조정하여 획득한 새로운 얼굴 모델을 상기 대상 얼굴의 가상 형상으로 이용하도록 구성되는 형상 결정 유닛을 포함한다.
나아가, 상기 모델 조정 유닛은,
상기 가상 얼굴 특징 템플릿 중의 얼굴 키 포인트와 상기 기준 얼굴 모델 중의 얼굴 키 포인트를 매칭시켜, 매칭 포인트 쌍을 획득하도록 구성되는 매칭 서브 유닛과,
상기 템플릿 계수에 따라 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 관련된 적어도 두개의 매칭 포인트 쌍의 거리에 대해 가중 합계를 진행하도록 구성되는 가중 서브 유닛과,
가중 합계 결과에 따라, 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 대해 수평 이동을 진행하도록 구성되는 수평 이동 서브 유닛을 포함한다.
제7 실시예
본 출원의 실시예에 의하면, 본 출원은 전자 기기 및 판독 가능한 저장 매체를 더 제공한다.
도 7에 도시된 바와 같이, 이는 본 출원의 실시예에 따른 가상 형상 생성 방법의 전자 기기의 블록도이다. 전자 기기는 각종 형식의 디지털 컴퓨터, 예컨대 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 어시스턴트, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터를 가리키고자 한다. 전자 기기는 각종 형식의 이동 장치, 예컨대, 개인 디지털 처리 장치, 휴대폰, 스마트 폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치를 가리킬 수도 있다. 본원에 도시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본 원에 설명된 및/또는 요구되는 본 출원의 구현을 한정하고자 하지 않는다.
도 7에 도시된 바와 같이, 해당 전자 기기는, 하나 또는 다수의 프로세서(701), 메모리 장치(702), 및 고속 인터페이스와 저속 인터페이스를 포함하여 각 부재를 연결하기 위한 인터페이스를 포함한다. 각 부재는 상이한 버스라인을 이용하여 서로 연결되며, 공동 메인 보드에 장착되거나 수요에 따라 기타의 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령어에 대해 처리를 진행할 수 있으며, 메모리 장치에 또는 메모리 장치 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 연결된 표지 장치) 상에서 GUI를 나타내는 도형 정보의 명령어를 포함한다. 기타의 실시예에 있어서, 필요할 경우, 다수의 프로세서 및/또는 다수의 버스라인과 다수의 메모리 장치를 다수의 메모리 장치와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각 전자 기기는 일부의 필요한 조작(예컨대, 서버 어레이, 일 그룹의 블레이드 서버, 또는 다중 프로세서 시스템)을 제공한다. 도 7에서는 하나의 프로세서(701)를 예로 든다.
메모리 장치(702)는 본 출원에서 제공하는 비 일시적 컴퓨터 판독 가능한 저장 매체이다. 여기서, 상기 메모리 장치에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어, 상기 적어도 하나의 프로세서로 본 출원에서 제공하는 가상 형상 생성 방법을 실행한다. 본 출원의 비 일시적 컴퓨터 판독 가능한 저장 매체는 컴퓨터 명령어를 저장하고, 해당 컴퓨터 명령어는 컴퓨터로 본 출원에서 제공하는 가상 형상 생성 방법을 실행시키도록 구성된다.
메모리 장치(702)는 비 일시적 컴퓨터 판독 가능한 저장 매체로서, 본 출원의 실시예 중의 가상 형상 생성 방법에 대응되는 프로그램 명령어/모듈(예컨대, 도 6에 도시된 계수 결정 모듈(601) 및 형상 결정 모듈(602))과 같은 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터로 실행 가능한 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(701)는 메모리 장치(702)에 저장된 비 일시적 소프트웨어 프로그램, 명령어 및 모듈을 운행시킴으로써, 서버의 각종의 기능 응용 및 데이터 처리를 실행하며, 즉, 상술한 방법 실시예 중의 가상 형상 생성 방법을 구현한다.
메모리 장치(702)는 프로그램 저장 구간 및 데이터 저장 구간을 포함할 수 있으며, 여기서, 프로그램 저장 구간은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며, 데이터 저장 구간은 가상 형상 생성 방법의 전자 기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 또한, 메모리 장치(702)는 고속 랜덤 액세스 메모리 장치를 포함할 수 있으며, 비 일시적 메모리 장치, 예컨대, 적어도 하나의 자기 디스크 메모리 소자, 플래시 소자 또는 기타 비 일시적 솔리드 스테이트 메모리 소자를 더 포함할 수 있다. 일부의 실시예에 있어서, 메모리 장치(702)는 선택적으로 프로세서(701)에 대해 원격으로 설치된 메모리 장치를 포함하며, 이러한 원격 메모리 장치는 네트워크를 통해 가상 형상 생성 방법의 전자 기기에 연결될 수 있다. 상술한 네트워크의 예시는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나, 이에 한정되지 않는다.
가상 형상 생성 방법의 전자 기기는 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리 장치(702), 입력 장치(703) 및 출력 장치(704)는 버스라인 또는 기타의 방식으로 연결될 수 있으며, 도 7에서는 버스라인을 통해 연결되는 것을 예로 든다.
입력 장치(703)는 입력되는 디지털 또는 문자 정보를 수신하고, 가상 형상 생성 방법의 전자 기기의 사용자 설정 및 기능 제어에 관련된 키 신호 입력를 발생할 수 있으며, 예컨대, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 지시 레버, 하나 또는 다수의 마우스 버튼, 트랙 볼, 조작 레버 등의 입력 장치이다. 출력 장치(704)는 표시 장치, 보조 조명 장치(예컨대, LED) 및 터치 피드백 장치(예컨대, 진동 모터) 등을 포함할 수 있다. 해당 표시 장치는 액정 표시 장치(LCD), 발광 다이오드(LED) 표시 장치 및 플라즈마 표시 장치를 포함할 수 있으나, 이에 한정되지 않는다. 일부의 실시예에 있어서, 표시 장치는 터치 스크린일 수 있다.
본 원에 설명된 시스템 및 기술의 각종의 실시예는 디지털 전자 회로 시스템, 집적 회로 시스템, 특정 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 각종의 실시예는, 하나 또는 다수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래밍 가능한 프로세서는 특정 또는 범용 프로그래밍 가능한 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신할 수 있으며, 데이터 및 명령어는 해당 저장 시스템, 해당 적어도 하나의 입력 장치 및 해당 적어도 하나의 출력 장치에 전송된다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로도 지칭됨)은 프로그래밍 가능한 프로세서의 기계 명령어를 포함하고, 고급 공정 및/또는 객체 지향의 프로그래밍 언어 및/또는 편집/기계 언어를 이용하여 컴퓨팅 프로그램을 실시할 수 있다. 본 원에 사용되는 바와 같이, 용어 "기계 판독 가능한 매체" 및 "컴퓨터 판독 가능한 매체"는 기계 명령어 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하기 위한 임의의 검퓨터 프로그램 제품, 기기 및/또는 장치(예컨대, 자기 디스크, 광학 디스크, 메모리 장치, 프로그래밍 가능한 논리 장치(PLD))를 가리키며, 기계 판독 가능한 신호인 기계 명령어를 수신하는 기계 판독 가능한 매체를 포함한다. 용어 "기계 판독 가능한 신호"는 기계 명령어 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 상호 작용을 제공하기 위하여, 컴퓨터 상에서 본 원에 설명된 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 나타내기 위한 표시 장치(예컨대, CRT(음극관) 또는 LCD(액정 표시 장치) 모니터), 및 키보드 및 지향 장치(예컨대, 마우스 또는 트랙볼)를 구비하며, 사용자는 해당 키보드 및 해당 지향 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 유형의 장치는 사용자와의 상호 작용을 제공하도록 더 구성될 수 있으며, 예를 들어, 사용자에게 제공하는 피드백은 임의의 형식의 감지 피드백(예컨대, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 임의의 형식(음향 입력, 음성 입력 또는 터치 입력)으로 사용자의 입력을 수신할 수 있다.
본 원에 설명된 시스템 및 기술은 백 엔드 부재를 포함하는 컴퓨팅 시스템(예컨대, 데이터 서버로서) 또는 중간 부재를 포함하는 컴퓨팅 시스템(예컨대, 응용 서버) 또는 프런트 엔드 부재를 포함하는 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹 브라우저를 통해 본 원에 설명된 시스템 및 기술의 실시예를 통해 상호 작용을 진행할 수 있음) 또는 이러한 백 엔드 부재, 중간 부재 또는 프런트 엔드 부재를 포함하는 임의의 조공감 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 부재는 임의의 형식 또는 매체의 디지털 데이터 통신(통신망)를 통해 서로 연결될 수 있다. 통신망의 예시는 근거리 통신망(LAN), 광역 통신망(WAN), 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 측 및 서버를 포함할 수 있다. 클라이언트 측과 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신망를 통해 상호 작용을 진행한다. 클라이언트 측과 서버의 관계는 상응한 컴퓨터 상에서 운행되고 서로 클라이언트 측-서버 관계를 구비하는 컴퓨터 프로그램을 통해 발생한다. 서버는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서버 또는 클라우드 호스트로 지칭되기도 하며, 이는 전통적인 물리적 호스트와 VPS 서버에 존재하는 관리의 어려움 및 업무 확장성이 약한 결함을 해결하기 위한 클라우드 서비스 체계 중의 일 호스트 제품이다.
본 출원의 실시예의 기술적 방안은, 대상 얼굴에 대해 가상화를 진행함과 동시에 가상 형상의 유사성을 향상시킬 수 있다.
앞서 도시된 각종 형식의 흐름을 사용하거나, 단계에 대한 재 배열, 추가 또는 삭제를 진행할 수 있음을 이해하여야 한다. 예를 들어, 본 출원에 개시된 기술적 방안의 원하는 결과를 실현할 수만 있다면, 본 출원에 기재된 각 단계는 병렬로 실행될 수 있으며, 순차적으로 실행될 수도 있으며, 상이한 순서로 실행될 수도 있으며, 본 원에서 이에 대한 한정을 진행하지 않는다.
상술한 구체적인 실시예는 본 출원의 보호 범위에 대한 한정을 구성하지 않는다. 설계 요구 및 기타의 요소에 따라 각종의 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 당해 기술 분야의 당업자는 자명할 것이다. 본 출원의 사상 및 원칙 내에서 진행하는 임의의 수정, 균등한 대체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.
Claims (13)
- 가상 형상 생성 방법에 있어서,
적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하는 단계와,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하는 단계를 포함하는 가상 형상 생성 방법. - 제1항에 있어서,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하는 단계는,
상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정하는 단계와,
상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 상기 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시키는 단계와,
충진하여 획득한 이미지를 상기 가상 형상으로 이용하는 단계를 포함하는 것을 특징으로 하는 가상 형상 생성 방법. - 제2항에 있어서,
상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정하는 단계는,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 가상 얼굴의 3차원 모델을 결정하는 단계와,
상기 처리할 이미지로부터 상기 대상 얼굴의 텍스처 정보를 추출하는 단계와,
상기 대상 얼굴의 텍스처 정보에 따라, 상기 가상 얼굴의 3차원 모델에 대해 랜더링을 진행하여, 상기 가상 얼굴 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 가상 형상 생성 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하는 단계는,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하는 단계와,
조정하여 획득한 새로운 얼굴 모델을 상기 대상 얼굴의 가상 형상으로 이용하는 단계를 포함하는 것을 특징으로 하는 가상 형상 생성 방법. - 제4항에 있어서,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하는 단계는,
상기 가상 얼굴 특징 템플릿 중의 얼굴 키 포인트와 상기 기준 얼굴 모델 중의 얼굴 키 포인트를 매칭시켜, 매칭 포인트 쌍을 획득하는 단계와,
상기 템플릿 계수에 따라 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 관련된 적어도 두개의 매칭 포인트 쌍의 거리에 대해 가중 합계를 진행하는 단계와,
가중 합계 결과에 따라, 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 대해 수평 이동을 진행하는 단계를 포함하는 가상 형상 생성 방법. - 가상 형상 생성 장치에 있어서,
적어도 두개의 실제 얼굴 특징 템플릿을 기반으로, 처리할 이미지 중 대상 얼굴의 템플릿 계수를 결정하도록 구성되는 계수 결정 모듈과,
상기 템플릿 계수 및 상기 적어도 두개의 실제 얼굴 특징 템플릿에 관련된 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 상기 대상 얼굴의 가상 형상을 결정하도록 구성되는 형상 결정 모듈을 포함하는 가상 형상 생성 장치. - 제6항에 있어서,
상기 형상 결정 모듈은,
상기 템플릿 계수, 상기 적어도 두개의 가상 얼굴 특징 템플릿 및 상기 처리할 이미지에 따라, 상기 대상 얼굴의 가상 얼굴 이미지를 결정하도록 구성되는 이미지 결정 유닛과,
상기 처리할 이미지 중 대상 얼굴의 얼굴 마스크를 이용하여, 상기 가상 얼굴 이미지를 상기 처리할 이미지 중 대상 얼굴 영역에 충진시키도록 구성되는 영역 충진 유닛과,
충진하여 획득한 이미지를 상기 가상 형상으로 이용하도록 구성되는 이미지 획득 유닛을 포함하는 것을 특징으로 하는 가상 형상 생성 장치. - 제7항에 있어서,
상기 이미지 결정 유닛은,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 가상 얼굴의 3차원 모델을 결정하도록 구성되는 모델 결정 서브 유닛과,
상기 처리할 이미지로부터 상기 대상 얼굴의 텍스처 정보를 추출하도록 구성되는 정보 추출 서브 유닛과,
상기 대상 얼굴의 텍스처 정보에 따라, 상기 가상 얼굴의 3차원 모델에 대해 랜더링을 진행하여, 상기 가상 얼굴 이미지를 획득하도록 구성되는 랜더링 서브 유닛을 포함하는 것을 특징으로 하는 가상 형상 생성 장치. - 제6항 내지 제8항 중 어느 한 항에 있어서,
상기 형상 결정 모듈은,
상기 템플릿 계수 및 상기 적어도 두개의 가상 얼굴 특징 템플릿에 따라, 기준 얼굴 모델을 조정하도록 구성되는 모델 조정 유닛과,
조정하여 획득한 새로운 얼굴 모델을 상기 대상 얼굴의 가상 형상으로 이용하도록 구성되는 형상 결정 유닛을 포함하는 것을 특징으로 하는 가상 형상 생성 장치. - 제9항에 있어서,
상기 모델 조정 유닛은,
상기 가상 얼굴 특징 템플릿 중의 얼굴 키 포인트와 상기 기준 얼굴 모델 중의 얼굴 키 포인트를 매칭시켜, 매칭 포인트 쌍을 획득하도록 구성되는 매칭 서브 유닛과,
상기 템플릿 계수에 따라 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 관련된 적어도 두개의 매칭 포인트 쌍의 거리에 대해 가중 합계를 진행하도록 구성되는 가중 서브 유닛과,
가중 합계 결과에 따라, 상기 기준 얼굴 모델 중의 얼굴 키 포인트에 대해 수평 이동을 진행하도록 구성되는 수평 이동 서브 유닛을 포함하는 것을 특징으로 하는 가상 형상 생성 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서와,
상기 적어도 하나의 프로세서에 통신 연결되는 메모리 장치를 포함하되,
상기 메모리 장치에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령어가 저장되고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서가 제1항에 따른 가상 형상 생성 방법을 수행시킬 수 있는 전자 기기. - 컴퓨터 명령어가 저장되는 비 일시적 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 컴퓨터 명령어는 상기 컴퓨터가 제1항에 따른 가상 형상 생성 방법을 수행하도록 하는 비 일시적 컴퓨터 판독 가능한 저장 매체. - 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 제1항에 따른 가상 형상 생성 방법을 수행하도록 하는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010490847.8A CN111695471B (zh) | 2020-06-02 | 2020-06-02 | 虚拟形象生成方法、装置、设备以及存储介质 |
| CN202010490847.8 | 2020-06-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210047283A true KR20210047283A (ko) | 2021-04-29 |
| KR102612524B1 KR102612524B1 (ko) | 2023-12-11 |
Family
ID=72479236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210037332A KR102612524B1 (ko) | 2020-06-02 | 2021-03-23 | 가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11715259B2 (ko) |
| EP (1) | EP3920147A1 (ko) |
| JP (1) | JP7227292B2 (ko) |
| KR (1) | KR102612524B1 (ko) |
| CN (1) | CN111695471B (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022108943A1 (de) | 2021-04-12 | 2022-10-27 | Hyundai Kefico Corporation | Verfahren und System zur Steuerung eines Gangwechsels als Reaktion auf eine Änderung des Fahrmodus |
| CN115953813A (zh) * | 2022-12-19 | 2023-04-11 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
| KR20230076004A (ko) | 2021-11-23 | 2023-05-31 | 주식회사 엘지유플러스 | 메타버스 제공 방법 및 장치 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| DK201870374A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | AVATAR CREATION USER INTERFACE |
| US11722764B2 (en) * | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
| DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| CN112102462B (zh) * | 2020-09-27 | 2023-07-21 | 北京百度网讯科技有限公司 | 图像的渲染方法、装置 |
| CN112396691B (zh) * | 2020-11-23 | 2023-10-17 | 北京百度网讯科技有限公司 | 三维模型处理方法、装置、电子设备及存储介质 |
| CN112396693A (zh) * | 2020-11-25 | 2021-02-23 | 上海商汤智能科技有限公司 | 一种面部信息的处理方法、装置、电子设备及存储介质 |
| CN112419485B (zh) * | 2020-11-25 | 2023-11-24 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112419454B (zh) * | 2020-11-25 | 2023-11-28 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112396692B (zh) * | 2020-11-25 | 2023-11-28 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112668408A (zh) * | 2020-12-11 | 2021-04-16 | 北京大米科技有限公司 | 人脸关键点生成方法、装置、存储介质及电子设备 |
| CN112668407A (zh) * | 2020-12-11 | 2021-04-16 | 北京大米科技有限公司 | 人脸关键点生成方法、装置、存储介质及电子设备 |
| CN112581573B (zh) * | 2020-12-15 | 2023-08-04 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备、介质和程序产品 |
| CN112714337A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN112669422B (zh) * | 2021-01-07 | 2024-06-14 | 深圳追一科技有限公司 | 仿真3d数字人生成方法、装置、电子设备及存储介质 |
| CN113129450B (zh) * | 2021-04-21 | 2024-04-05 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| CN113643412B (zh) | 2021-07-14 | 2022-07-22 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
| CN113409454B (zh) * | 2021-07-14 | 2022-05-13 | 北京百度网讯科技有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN113642481A (zh) * | 2021-08-17 | 2021-11-12 | 百度在线网络技术（北京）有限公司 | 识别方法、训练方法、装置、电子设备以及存储介质 |
| CN113808007B (zh) * | 2021-09-16 | 2022-07-19 | 北京百度网讯科技有限公司 | 调整虚拟脸部模型的方法、装置、电子设备及存储介质 |
| CN114049472A (zh) * | 2021-11-15 | 2022-02-15 | 北京百度网讯科技有限公司 | 三维模型调整方法、装置、电子设备、介质 |
| CN114119935B (zh) * | 2021-11-29 | 2023-10-03 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
| CN114187405B (zh) * | 2021-12-07 | 2023-05-05 | 北京百度网讯科技有限公司 | 确定虚拟形象的方法及装置、设备、介质和产品 |
| CN114202597B (zh) * | 2021-12-07 | 2023-02-03 | 北京百度网讯科技有限公司 | 图像处理方法及装置、设备、介质和产品 |
| CN114758042B (zh) * | 2022-06-14 | 2022-09-02 | 深圳智华科技发展有限公司 | 新的虚拟仿真引擎、虚拟仿真方法以及装置 |
| CN115393486B (zh) * | 2022-10-27 | 2023-03-24 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012139276A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Avatar facial expression techniques |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100745981B1 (ko) * | 2006-01-13 | 2007-08-06 | 삼성전자주식회사 | 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치 |
| US9959453B2 (en) * | 2010-03-28 | 2018-05-01 | AR (ES) Technologies Ltd. | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature |
| US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
| JP5795979B2 (ja) * | 2012-03-15 | 2015-10-14 | 株式会社東芝 | 人物画像処理装置、及び人物画像処理方法 |
| CN104794733B (zh) * | 2014-01-20 | 2018-05-08 | 株式会社理光 | 对象跟踪方法和装置 |
| US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
| WO2017015949A1 (en) * | 2015-07-30 | 2017-02-02 | Intel Corporation | Emotion augmented avatar animation |
| US10733780B2 (en) * | 2016-10-31 | 2020-08-04 | Dg Holdings, Inc. | Portable and persistent virtual identity systems and methods |
| US10535163B2 (en) * | 2016-12-01 | 2020-01-14 | Pinscreen, Inc. | Avatar digitization from a single image for real-time rendering |
| CN109308727B (zh) * | 2018-09-07 | 2020-11-10 | 腾讯科技（深圳）有限公司 | 虚拟形象模型生成方法、装置及存储介质 |
| CN109377544B (zh) * | 2018-11-30 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN110688948B (zh) * | 2019-09-26 | 2022-11-15 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
| CN110766777B (zh) * | 2019-10-31 | 2023-09-29 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-02 CN CN202010490847.8A patent/CN111695471B/zh active Active
-
2021
- 2021-03-10 EP EP21161680.0A patent/EP3920147A1/en not_active Withdrawn
- 2021-03-10 US US17/249,714 patent/US11715259B2/en active Active
- 2021-03-11 JP JP2021039147A patent/JP7227292B2/ja active Active
- 2021-03-23 KR KR1020210037332A patent/KR102612524B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012139276A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Avatar facial expression techniques |
Non-Patent Citations (1)
| Title |
|---|
| DIEGO THOMAS, "Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera", cornel university library, 2020.04.22.* * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022108943A1 (de) | 2021-04-12 | 2022-10-27 | Hyundai Kefico Corporation | Verfahren und System zur Steuerung eines Gangwechsels als Reaktion auf eine Änderung des Fahrmodus |
| KR20230076004A (ko) | 2021-11-23 | 2023-05-31 | 주식회사 엘지유플러스 | 메타버스 제공 방법 및 장치 |
| CN115953813A (zh) * | 2022-12-19 | 2023-04-11 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
| CN115953813B (zh) * | 2022-12-19 | 2024-01-30 | 北京字跳网络技术有限公司 | 一种表情驱动方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111695471B (zh) | 2023-06-27 |
| EP3920147A1 (en) | 2021-12-08 |
| US20210375042A1 (en) | 2021-12-02 |
| JP7227292B2 (ja) | 2023-02-21 |
| JP2021192220A (ja) | 2021-12-16 |
| KR102612524B1 (ko) | 2023-12-11 |
| US11715259B2 (en) | 2023-08-01 |
| CN111695471A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102612524B1 (ko) | 가상 형상 생성 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN111783647B (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
| JP6934887B2 (ja) | 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム | |
| CN111294665B (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| KR20210103435A (ko) | 가상 객체 이미지 합성 방법, 장치, 전자 기기 및 저장 매체 | |
| US20210241498A1 (en) | Method and device for processing image, related electronic device and storage medium | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN113643412A (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| WO2021218040A1 (zh) | 图像处理的方法及装置 | |
| US11568590B2 (en) | Cartoonlization processing method for image, electronic device, and storage medium | |
| CN112330805B (zh) | 人脸3d模型生成方法、装置、设备及可读存储介质 | |
| JP2023029984A (ja) | 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体 | |
| KR101743764B1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| US11721037B2 (en) | Indoor positioning method and apparatus, electronic device and storage medium | |
| KR102488517B1 (ko) | 헤어스타일 변환 방법, 장치, 기기 및 저장 매체 | |
| CN115049799A (zh) | 3d模型和虚拟形象的生成方法和装置 | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN114549710A (zh) | 一种虚拟形象的生成方法、装置、电子设备及存储介质 | |
| KR20210106914A (ko) | 이미지 인식 방법, 장치, 전자 기기 및 매체 | |
| CN116611496A (zh) | 文本到图像的生成模型优化方法、装置、设备及存储介质 | |
| KR20210108897A (ko) | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 | |
| CN103632391A (zh) | 挤压模型穿过二维场景的***、方法和计算机程序产品 | |
| CN115965735B (zh) | 纹理贴图的生成方法和装置 | |
| CN115082298A (zh) | 图像生成方法、装置、电子设备以及存储介质 | |
| CN113327311B (zh) | 基于虚拟角色的显示方法、装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |