KR102400609B1 - 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 - Google Patents

딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 Download PDF

Info

Publication number
KR102400609B1
KR102400609B1 KR1020210073779A KR20210073779A KR102400609B1 KR 102400609 B1 KR102400609 B1 KR 102400609B1 KR 1020210073779 A KR1020210073779 A KR 1020210073779A KR 20210073779 A KR20210073779 A KR 20210073779A KR 102400609 B1 KR102400609 B1 KR 102400609B1
Authority
KR
South Korea
Prior art keywords
feature vector
facial feature
face
mask
original
Prior art date
Application number
KR1020210073779A
Other languages
English (en)
Inventor
강지수
최태민
Original Assignee
주식회사 클레온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 클레온 filed Critical 주식회사 클레온
Priority to KR1020210073779A priority Critical patent/KR102400609B1/ko
Application granted granted Critical
Publication of KR102400609B1 publication Critical patent/KR102400609B1/ko
Priority to PCT/KR2022/007982 priority patent/WO2022260386A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치에 관한 것으로서, 변환된 얼굴 이미지 및 원본 얼굴 이미지를 입력받아 각각에 대한 데이터 전처리 및 특징 벡터를 추출하고, 추출된 특징 벡터로부터 얼굴 특징 벡터 마스크를 생성하고, 생성된 얼굴 특징 벡터 마스크 기반 적응형 객체 정규화를 수행하여 합성 이미지를 생성하는 것을 특징으로 한다.

Description

딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치{A method and apparatus for synthesizing a background and a face by using deep learning network}
본 발명은 딥러닝 모델 경량화 기술에 관한 것이다. 보다 구체적으로, 본 발명은 얼굴 변환 기술을 사용하여 변환된 얼굴을 다른 이미지의 배경과 자연스럽게 합성하기 위해 필요한 복수의 네트워크를 하나의 네트워크로 통합한 배경 및 얼굴 합성 방법 및 장치에 관한 것이다.
인공지능의 한 분야인 딥러닝(deep learning)을 이용한 배경 및 얼굴의 합성 기술은 고해상도의 이미지를 생성해 낼 수 있을 정도로 높은 수준의 발전을 보여왔다. 종래에는 사용자가 직접 이미지 보정 소프트웨어로 배경과 얼굴 이미지에 대한 보정을 수행하였으므로 사용자에 따라 보정 이미지의 퀄리티가 다른 것이 일반적이었다. 이후, 수많은 데이터 학습을 통해 모델링된 딥러닝 네트워크를 이용하게 됨으로써 보편적으로 보다 자연스러운 배경과 얼굴의 합성이 가능하게 되었다. 얼굴 변환 기술을 통해 변환된 얼굴과 원본 이미지의 배경을 합성하기 위해서는 딥러닝 네트워크 중 얼굴 추출 네트워크, 색상 보정 네트워크 및 배경 합성 네트워크를 필요로 한다.
도 1은 종래 기술에 따른 배경 및 얼굴 합성 방법을 도시한 순서도이다. 도 1을 참조하면, 종래의 배경 및 얼굴 합성 장치는 105단계에서 원본 이미지 및 변환된 얼굴 이미지를 입력받아 110단계에서 원본 이미지를 제1 얼굴 추출 네트워크에 입력하고, 120단계에서 변환된 얼굴 이미지를 제2 얼굴 추출 네트워크에 각각 입력한다. 제1 얼굴 추출 네트워크에서는 115단계에서 입력된 원본 이미지에서 얼굴을 제외한 배경을 추출하게 된다. 그리고 제2 얼굴 추출 네트워크에서는 125단계에서 변환된 얼굴 이미지에서 배경을 제외한 얼굴을 추출하게 된다.
130단계에서는 추출된 배경과 추출된 얼굴을 합성하여 합성된 이미지를 135단계에서 색상 보정 네트워크로 입력하게 된다. 140단계에서 색상 보정 네트워크는 색상 보정을 통해 얼굴색이 자연스럽게 보정된 이미지를 생성하게 된다. 생성된 이미지는 145단계에서 배경 합성 네트워크로 입력되어 150단계에서 배경과 얼굴 경계를 자연스럽게 생성하여 배경과 얼굴이 합성된 최종 결과 이미지를 출력하게 된다.
이와 같이, 얼굴 추출 네트워크는 변환된 얼굴 이미지에서 배경을 제외한 얼굴만 추출하고, 원본 얼굴 이미지에서 얼굴을 제외한 배경만을 추출하기 위해 사용된다. 색상 보정 네트워크는 변환된 얼굴의 색상과 원본 이미지 속 얼굴의 색상이 다르기 때문에 이를 자연스럽게 보정하기 위해 사용된다. 그리고 배경 합성 네트워크는 변환된 얼굴의 얼굴형과 원본 이미지 속 얼굴의 얼굴형이 다르기 때문에 생기는 공백을 자연스럽게 연결하기 위해 사용된다.
도 1의 종래 배경 및 얼굴 합성 장치의 경우, 복수의 딥러닝 네트워크(얼굴 추출, 색상 보정, 배경 합성)를 통하여 배경과 얼굴을 합성하므로 복수의 딥러닝 모델을 사용할 경우 컴퓨팅 연산이 너무 많아지게 된다. 또한, 이로 인해 배경 및 얼굴의 합성에 서버 비용이 많이 지출되며, 많은 시간이 소요된다는 문제점이 있었다.
본 발명은, 배경 및 얼굴을 합성하는 종단간(end-to-end) 딥러닝 네트워크의 딥러닝 모델 경량화를 위한 배경 및 얼굴 합성 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은, 딥러닝 모델 경량화 기술로서, 얼굴 변환 기술을 이용하여 변환된 얼굴을 원본 이미지의 배경과 자연스럽게 합성하기 위해 필요한 복수의 네트워크를 통합하는 것을 목적으로 한다.
본 발명은 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법으로서 원본 얼굴 이미지 및 변환된 얼굴 이미지를 입력받아 각각에 대한 데이터 전처리를 수행하고 특징 벡터를 추출하는 단계, 특징 벡터로부터 얼굴 특징 벡터 마스크를 생성하는 단계 및 얼굴 특징 벡터 마스크에 기반하여 적응형 객체 정규화를 수행하고 합성 이미지를 생성하는 단계를 포함한다.
바람직하게, 데이터 전처리를 수행하고 특징 벡터를 추출하는 단계는, 원본 얼굴 이미지 및 변환된 얼굴 이미지에서 데이터 전처리를 수행하여 각각의 얼굴을 추출하는 단계 및 각각의 얼굴에서 특징 객체를 추출하여 특징 객체 기반의 특징 벡터를 추출하는 단계를 더 포함할 수 있다.
바람직하게, 얼굴 특징 벡터 마스크를 생성하는 단계는 추출된 특징 벡터를 토대로 얼굴 영역에 대한 마스크를 생성하는 단계일 수 있다.
바람직하게, 합성 이미지를 생성하는 단계는 원본 얼굴 이미지 및 변환된 얼굴 이미지의 특징 벡터 추출 정보 및 얼굴 특징 벡터 마스크 정보를 이용하여 얼굴 특징 벡터 마스크 기반의 적응형 객체 정규화를 수행하는 단계일 수 있다.
바람직하게, 원본 얼굴 이미지의 특징 벡터와 얼굴 특징 벡터 마스크 및 변환된 얼굴 이미지의 특징 벡터와 얼굴 특징 벡터 마스크에 대한 적응형 객체 정규화를 수행한 후 합성 이미지를 생성할 수 있다.
본 발명은 딥러닝 네트워크를 이용한 배경과 얼굴 합성 장치로서 원본 얼굴 이미지 및 변환된 얼굴 이미지를 입력받는 이미지 입력부, 이미지 입력부로부터 전달된 이미지 각각에 대한 데이터 전처리 및 특징 벡터를 추출하고, 추출된 특징 벡터로부터 얼굴 특징 벡터 마스크를 생성하고, 생성된 얼굴 특징 벡터 마스크 기반 적응형 객체 정규화를 수행하는 얼굴·배경 합성부 및 정규화가 수행된 데이터를 합성 이미지로 생성하여 출력하는 합성 이미지 출력부를 포함한다.
바람직하게, 얼굴·배경 합성부는 원본 얼굴 이미지 및 변환된 얼굴 이미지에서 데이터 전처리를 수행하여 각각의 얼굴을 추출하고, 추출된 각각의 얼굴에서 특징 객체를 추출하여 특징 객체 기반의 특징 벡터를 추출할 수 있다.
바람직하게, 얼굴·배경 합성부는 추출된 특징 벡터를 토대로 얼굴 영역에 대한 마스크를 생성할 수 있다.
바람직하게, 얼굴·배경 합성부는 원본 얼굴 이미지 및 변환된 얼굴 이미지의 특징 벡터 추출 정보 및 얼굴 특징 벡터 마스크 정보를 이용하여 얼굴 특징 벡터 마스크 기반의 적응형 객체 정규화를 수행하는 단계일 수 있다.
바람직하게, 원본 얼굴 이미지의 특징 벡터와 얼굴 특징 벡터 마스크 및 변환된 얼굴 이미지의 특징 벡터와 얼굴 특징 벡터 마스크에 대한 적응형 객체 정규화를 수행한 후 합성 이미지를 생성할 수 있다.
본 발명에 따르면, 얼굴 추출, 색상 보정 및 배경 생성 딥러닝 네트워크를 하나의 딥러닝 네트워크로 통합함으로써 그래픽 처리 장치(GPU: Graphics Processing Unit)의 연산 양을 약 1/3로 줄일 수 있으므로 배경 및 얼굴의 합성을 위한 서버 구축 비용을 감축할 수 있으며 종래보다 3배 이상의 빠른 합성 속도를 기대할 수 있다.
도 1은 종래 기술에 따른 배경 및 얼굴 합성 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 배경 및 얼굴 합성 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 배경 및 얼굴 합성 장치의 구성요소들을 구체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다.
이하, 본 발명에 대하여 상세히 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명은 배경 및 얼굴을 합성하는 종단 간 딥러닝 네트워크에서 딥러닝 모델의 경량화를 수행하는 기술이다. 이하, 도면을 참조하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 배경 및 얼굴 합성 장치를 도시한 도면이다. 도 2를 참조하면, 배경 및 얼굴 합성 장치(200)는 이미지 입력부(210), 얼굴·배경 합성부(220) 및 합성 이미지 출력부(230)를 포함할 수 있다.
이미지 입력부(210)는 원본 얼굴 이미지 및 변환된 얼굴 이미지를 사용자 단말기로부터 입력받을 수 있다. 원본 얼굴 이미지는 이미지 합성 시 배경을 제공하는 이미지, 레이어 또는 영상 데이터로 정의될 수 있고(이하, ‘원본 이미지’라 할 수 있다), 이에 따라 원본 얼굴 이미지는 원본 얼굴 및 배경으로 구성된 이미지로 정의될 수 있다. 변환된 얼굴 이미지는 이미지 합성 시 얼굴 즉, 변환된 얼굴을 제공하는 이미지로 정의될 수 있고, 이에 따라 변환된 얼굴 이미지는 변환된 얼굴 및 배경으로 구성된 이미지로 정의될 수 있다. 합성 이미지는 원본 이미지의 배경과 변환된 얼굴 이미지의 변환된 얼굴이 합성된 이미지로 정의될 수 있다. 한편, 변환된 얼굴 이미지는 변환된 얼굴 이미지에 포함된 사용자 자신 또는 타인의 얼굴이 다른 이미지에 포함된 얼굴의 표정 및 각도를 따라하도록 변환된 이미지를 말한다.
얼굴·배경 합성부(220)는 얼굴·배경 합성 네트워크를 포함하며, 이미지 입력부(210)로부터 원본 이미지 및 변환된 얼굴 이미지를 전달받아 배경 및 얼굴을 합성할 수 있다. 이후, 합성 이미지는 이미지 출력부(230)로 전달될 수 있고 이미지 출력부(230)는 합성 이미지를 출력할 수 있다.
구체적으로 얼굴·배경 합성부(220)는 얼굴 추출, 색상 보정 및 배경 합성 딥러닝 네트워크를 통합하기 위해 배경 생성 딥러닝 네트워크에 얼굴 추출 및 색상 보정 기능을 포함하여 구현한 것일 수 있다. 본 발명에 따른 배경 생성 딥러닝 네트워크에서 자연스러운 배경 생성을 위해서는 얼굴의 위치를 정확하게 추출하고 얼굴 색상을 고려하여 얼굴 주변부의 배경을 생성할 수 있어야 한다. 본 발명에 따른 배경 생성 딥러닝 네트워크는 배경 생성을 학습하는 과정에서 얼굴 위치 정보 및 얼굴 색상 정보를 동시에 학습할 수 있으며, 배경 생성 기반의 학습을 통해 얼굴 추출 및 얼굴 색상 보정을 학습하여 얼굴 및 배경 합성을 수행할 수 있다.
구체적으로 배경 생성은 변환된 얼굴의 얼굴형과 원본 이미지 속 얼굴의 얼굴형이 다르기 때문에 생기는 공백을 자연스럽게 연결하기 위해 사용되는 것으로 복수의 얼굴형 이미지에 대해 레이블링된 데이터를 토대로 훈련될 수 있다. 이때, 얼굴 위치에 대한 정보 및 얼굴 색상에 대한 정보도 레이블링되어 동시에 훈련될 수 있다. 이에 얼굴 추출은 복수의 얼굴 이미지에 대한 학습을 통하여 해당 이미지에서 배경을 제외한 얼굴 영역만 추출하게 되며, 얼굴 경계선에 해당하는 픽셀을 구하는 엣지 추출 방식으로 수행될 수 있다. 그리고 색상 보정은 변환된 얼굴의 색상과 원본 이미지의 얼굴 색상을 서로 조화롭게 보정시킬 수 있다.
이러한 이미지 데이터 학습 방식은 기본적으로 지도학습(Supervised learning) 기반의 배경, 얼굴, 색상을 구분하는 분류(classification) 및 벡터를 예측하는 회귀생성(regression) 방식으로 수행될 수 있으나, 비지도학습(Unsupervised learning) 기반의 군집화(clustering)를 통해서도 학습을 수행할 수도 있다.
이러한 얼굴 합성 딥러닝 모델로 사용될 수 있는 알고리즘은 합성곱 신경망(CNN: Convolution Neural Network), 적대적 생성 신경망(GAN: Generative Adversarial Networks), 서포트 벡터 머신(SVM: Support Vector Machine) 등을 적용할 수 있으며, 개시한 알고리즘에 한정되지 않고, 그 외 다양한 딥러닝 알고리즘의 적용이 가능함은 물론이다.
도 3은 본 발명의 일 실시예에 따른 배경 및 얼굴 합성 장치의 구성요소들을 구체적으로 도시한 도면이다. 도 3을 참조하면, 배경 및 얼굴 합성 장치(200)의 이미지 입력부(210)는 변환된 얼굴 이미지를 수신하는 변환된 얼굴 이미지 수신부(305) 및 원본 얼굴 이미지를 수신하는 원본 얼굴 이미지 수신부(325)를 포함할 수 있다. 각각의 수신부를 통해 수신된 이미지는 얼굴·배경 합성부(220)의 데이터 전처리부(310, 330)로 전달될 수 있다.
데이터 전처리부(310)는 변환된 얼굴 이미지 수신부(305)로부터 수신한 변환된 얼굴 이미지에 대한 데이터 전처리를 수행할 수 있으며 얼굴을 추출하여 얼굴 영역, 위치, 색상, 밝기 중 적어도 하나를 전처리하여 특징점 검출을 용이하도록 조정할 수 있으며, 합성을 위해 데이터 증폭 및 이미지 크기 정렬을 수행할 수 있다. 그리고 이미지 크기를 기 설정된 크기로 정렬할 수 있다. 이후 특징 벡터 추출부(315)에서는 전처리된 데이터에서 특징 벡터를 추출할 수 있으며, 전처리된 이미지에서 눈, 코, 입, 귀 중 적어도 하나의 위치를 검출하고 이를 특징점으로 설정한 후 특징점들의 좌표값들을 연결하여 특징 벡터를 추출할 수 있다.
본 발명의 일 실시예에 따르면, 눈의 양쪽 끝 지점이나, 눈동자의 가운데 지점, 눈썹의 양쪽 끝 지점, 코의 가운데 지점, 입의 양쪽 끝 지점, 귀의 위아래 끝 지점 등과 같이 기 설정된 지점을 특징점으로 설정할 수 있으며, 이는 특징점들에 대해 미리 학습된 딥러닝 네트워크를 통해 설정될 수 있다.
추출된 특징 벡터 데이터들은 얼굴 특징 벡터 마스크 생성부(320)로 전달될 수 있고, 얼굴 특징 벡터 마스크 생성부(320)는 전달받은 특징 벡터를 토대로 변환된 얼굴 영역을 검출하여 특징 벡터 마스크를 생성할 수 있다.
데이터 전처리부(330)는 원본 얼굴 이미지 수신부(325)로부터 수신한 원본 얼굴 이미지에 대한 데이터 전처리를 수행할 수 있으며, 특징 벡터 추출부(335)는 전처리된 데이터에서 특징 벡터를 추출할 수 있고 추출된 특징 벡터를 얼굴 특징 벡터 마스크 생성부(340)로 전달할 수 있다. 얼굴 특징 벡터 마스크 생성부(340)는 전달받은 특징 벡터를 토대로 원본 얼굴 영역을 검출하여 특징 벡터 마스크를 생성할 수 있다.
마스크 기반 적응형 객체 정규화부(345)(AdaIN: adaptive instance normalization)는 얼굴 특징 벡터 및 얼굴 특징 마스크 정보를 토대로 정규 분포를 조정할 수 있고, 특징 객체의 위치를 파악하고 서로 비교함으로써 적응형 객체 정규화를 수행할 수 있다. 이미지 생성부(350)는 후술하는 복합 마스크의 데이터의 범위를 최소값은 0, 최대값은 1로 변화하는 최소·최대 정규화를 수행하여 원본의 배경에 변환된 얼굴을 합성할 수 있다. 이를 통해 객체들의 스케일 차이를 줄임으로써, 모델에 따른 성능 차이를 줄이고, 이미지 간 얼굴 영역을 동일한 형태와 크기로 변경할 수 있다.
합성 이미지 출력부(203)는 이미지 생성부(350)를 통해 합성된 이미지를 토대로 최종 합성 이미지를 사용자 단말기에 출력할 수 있다.
도 4는 본 발명의 일 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다. 도 4를 참조하면, 배경 및 얼굴 합성 장치(200)의 얼굴·배경 합성부(220)는 변환된 얼굴 특징 벡터(405), 변환된 얼굴 특징 마스크(410), 원본 얼굴 특징 마스크(415) 및 원본 얼굴 특징 벡터(420)를 각각 입력받을 수 있다. 변환된 얼굴 특징 마스크(410) 및 원본 얼굴 특징 마스크(415) 정보를 토대로 복합 마스크(425)를 생성할 수 있다. 변환된 얼굴 특징 벡터(405) 및 생성된 복합 마스크(425)를 이용하여 변환된 얼굴 부분 특징 벡터(430)를 추출하고, 원본 얼굴 특징 벡터(420) 및 생성된 복합 마스크(425)를 이용하여 원본 얼굴 부분 특징 벡터(435)를 추출할 수 있다. 변환된 얼굴 부분 특징 벡터(430) 및 원본 얼굴 부분 특징 벡터(435)를 토대로 적응형 객체 정규화(440)를 수행할 수 있다. 얼굴·배경 합성부(220)는 마스크 기반 적응형 객체 정규화를 통해 변환된 얼굴 이미지를 원본 이미지의 배경에 합성할 수 있고, 색상 보정 및 배경을 생성하여 자연스럽게 합성 이미지를 출력할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다. 도 5를 참조하면, 배경 및 얼굴 합성 장치(200)의 얼굴·배경 합성부(220)에서 복합 마스크 생성을 통하여 마스크 기반 적응형 객체 정규화를 수행할 수 있다. 구체적으로 원본 얼굴 이미지(505)는 인코더1(515)로 입력하고, 변환된 얼굴 이미지(510)는 인코더2(520)로 입력할 수 있다. 인코더1(515) 및 인코더2(520)에서는 딥러닝 네트워크의 컨볼루션 레이어로 구성되어 있으며, 입력된 이미지에 대한 얼굴, 색상, 배경을 분리하고, 이를 토대로 얼굴에 대한 특징 벡터 및 특징 마스크를 추출할 수 있다.
인코더1(515)에서 출력된 원본 얼굴 특징 마스크는 픽셀선택부1(525)로 전달되어 픽셀선택부1(525)에서 픽셀 분류 레이어를 통하여 소프트맥스 산출부(535)로 전달되고, 인코더2(520)에서 출력된 변환된 얼굴 특징 마스크는 픽셀선택부2(530)로 전달되어 픽셀선택부2(530)에서 픽셀 분류 레이어를 통하여 소프트맥스 산출부(535)로 전달될 수 있다.
소프트맥스 산출부(535)에서는 원본 얼굴 특징 마스크 정보 및 변환된 얼굴 특징 마스크 정보를 토대로 소프트맥스 함수를 통하여 복합 마스크를 생성할 수 있다. 이후, 생성된 복합 마스크와 인코더1(515)에서 출력된 원본 얼굴 특징 벡터에 대한 합성곱(540)을 통하여 원본 얼굴 부분 특징 벡터를 추출하고, 생성된 복합 마스크와 인코더2(520)에서 출력된 변환된 얼굴 특징 벡터에 대한 합성곱(545)을 통하여 변환된 얼굴 부분 특징 벡터를 추출할 수 있다. 그리고 추출된 원본 얼굴 부분 특징 벡터 및 변환된 얼굴 부분 특징 벡터를 토대로 적응형 객체 정규화(Masked AdaIN)(550)를 수행할 수 있다. 적응형 객체 정규화는 스타일 트랜스퍼에서 배치(batch) 단위로 정규화하던 것을 한 개당 정규화함으로써, 고유의 평균(mean) 및 분산(variance)을 살려 포함된 이미지 혹은 영상의 고유 특성을 유지하도록 해줄 수 있다. 적응형 객체 정규화된 이미지는 디코더(555)에서 인코더에 역 프로세스를 위한 컨벌루션 필터들을 통과하고, 합성된 이미지에 대한 색상 보정 및 배경을 생성하여 최종적으로 합성된 이미지(560)를 출력할 수 있다.
도 6은 본 발명의 또다른 실시예에 따른 마스크 기반 적응형 객체 정규화부를 이용한 배경 및 얼굴의 합성 과정을 도시한 도면이다. 도 6을 참조하면, 배경 및 얼굴 합성 장치(200)의 얼굴·배경 합성부(220)에서 복합 마스크 생성 후 마스크 기반 적응형 객체 정규화를 위해 인코더를 통해 추출된 원본 얼굴 특징 벡터에 대한 특징점1(605)과 원본 얼굴 특징 마스크에 대한 마스크1(615)을 합성곱(620)하여 원본 얼굴 부분 특징 벡터를 추출하고, 평균 및 분산(635) 계산을 수행하여 적응형 객체 정규화(645)를 수행할 수 있다.
인코더를 통해 변환된 얼굴 특징 벡터에 대한 특징점2(610) 변환된 얼굴 특징 마스크에 대한 마스크2(625)를 합성곱(630)하여 변환된 얼굴 부분 특징 벡터를 추출하고, 평균 및 분산(640) 계산을 수행하여 적응형 객체 정규화된 이미지와 디코더를 통해 반정규화(650)를 수행하여 인코더에 역 프로세스를 위한 컨벌루션 필터들을 통과하고, 합성된 이미지에 대한 색상 보정 및 배경을 생성하여 최종적으로 합성된 이미지를 출력(655)할 수 있다.
본 발명에 따르면, 얼굴 추출, 색상 보정 및 배경 생성 딥러닝 네트워크를 하나의 딥러닝 네트워크로 통합함으로써 그래픽 처리 장치(GPU: Graphics Processing Unit)의 연산 양을 약 1/3로 줄일 수 있으므로 배경 및 얼굴의 합성을 위한 서버 구축 비용을 감축할 수 있으며 종래보다 3배 이상의 빠른 합성 속도를 기대할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다.
본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
이와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
200: 배경 및 얼굴 합성 장치
210: 이미지 입력부
220: 얼굴·배경 합성부
230: 합성 이미지 출력부

Claims (10)

  1. (a) 이미지 입력부를 통해, 원본 얼굴 이미지 및 변환된 얼굴 이미지를 입력 받는 단계;
    (b) 데이터 전처리부를 통해, 상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지에 대하여 데이터 전처리를 수행하는 단계;
    (c) 특징 벡터 추출부를 통해, 상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지로부터 제1 원본 얼굴 특징 벡터 및 제1 변환된 얼굴 특징 벡터를 각각 추출하는 단계;
    (d) 특징 벡터 마스크 생성부를 통해, 상기 제1 원본 얼굴 특징 벡터 및 상기 제1 변환된 얼굴 특징 벡터로부터 원본 얼굴 특징 벡터 마스크 및 변환된 얼굴 특징 벡터 마스크를 각각 생성하는 단계;
    (e) 마스크 기반 적응형 객체 정규화부를 통해, 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크로부터 복합 마스크를 생성하고, 상기 복합 마스크를 이용하여 제2 원본 얼굴 특징 벡터 및 제2 변환된 얼굴 특징 벡터를 각각 추출한 후 적응형 객체 정규화를 수행하는 단계; 및
    (f) 이미지 생성부를 통해, 상기 복합 마스크의 데이터 범위를 최소값은 0, 최대값은 1로 변화하는 최소·최대 정규화를 수행하여 상기 원본 얼굴 이미지의 배경-상기 원본 얼굴 이미지에서 원본 얼굴을 제외한 나머지 부분-에 상기 변환된 얼굴 이미지의 변환된 얼굴을 합성하는 단계를 포함하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법.
  2. 제1항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지에서 원본 얼굴 및 변환된 얼굴을 각각 추출하는 단계; 및
    (c2) 상기 원본 얼굴 및 상기 변환된 얼굴에서 특징 객체를 추출하여 상기 특징 객체 기반의 특징 벡터를 각각 추출하는 단계를 포함하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법.
  3. 제1항에 있어서,
    제1인코더를 통해, 상기 제1 원본 얼굴 특징 벡터를 추출하고 상기 원본 얼굴 특징 벡터 마스크를 생성하며,
    제2인코더를 통해, 상기 제1 변환된 얼굴 특징 벡터를 추출하고 상기 변환된 얼굴 특징 벡터 마스크를 생성하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법.
  4. 제1항에 있어서,
    상기 (e) 단계는,
    (e1) 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크로부터 복합 마스크를 생성하는 단계;
    (e2) 상기 제1 원본 얼굴 특징 벡터 및 상기 복합 마스크를 합성곱하여 상기 제2 원본 얼굴 특징 벡터를 추출하고, 상기 제1 변환된 얼굴 특징 벡터 및 상기 복합 마스크를 합성곱하여 상기 제2 변환된 얼굴 특징 벡터를 추출하는 단계; 및
    (e3) 상기 제2 원본 얼굴 특징 벡터 및 상기 제2 변환된 얼굴 특징 벡터에 기반하여 적응형 객체 정규화를 수행하는 단계를 포함하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법.
  5. 제4항에 있어서,
    상기 (e1) 단계는,
    (e1-1) 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크를 픽셀선택부의 픽셀 분류 레이어를 통하여 소프트맥스 산출부로 전달하는 단계; 및
    (e1-2) 상기 소프트맥스 산출부를 통해, 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크를 소프트맥스 함수를 통하여 복합 마스크로 생성하는 단계를 포함하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법.
  6. 원본 얼굴 이미지 및 변환된 얼굴 이미지를 입력 받는 이미지 입력부;
    상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지에 대하여 데이터 전처리를 수행하는 데이터 전처리부;
    상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지로부터 제1 원본 얼굴 특징 벡터 및 제1 변환된 얼굴 특징 벡터를 각각 추출하는 특징 벡터 추출부;
    상기 제1 원본 얼굴 특징 벡터 및 상기 제1 변환된 얼굴 특징 벡터로부터 원본 얼굴 특징 벡터 마스크 및 변환된 얼굴 특징 벡터 마스크를 각각 생성하는 특징 벡터 마스크 생성부;
    상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크로부터 복합 마스크를 생성하고, 상기 복합 마스크를 이용하여 제2 원본 얼굴 특징 벡터 및 제2 변환된 얼굴 특징 벡터를 각각 추출한 후 적응형 객체 정규화를 수행하는 마스크 기반 적응형 객체 정규화부; 및
    상기 복합 마스크의 데이터 범위를 최소값은 0, 최대값은 1로 변화하는 최소·최대 정규화를 수행하여 상기 원본 얼굴 이미지의 배경-상기 원본 얼굴 이미지에서 원본 얼굴을 제외한 나머지 부분-에 상기 변환된 얼굴 이미지의 변환된 얼굴을 합성하는 이미지 생성부를 포함하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 장치.
  7. 제6항에 있어서,
    상기 특징 벡터 추출부는,
    상기 원본 얼굴 이미지 및 상기 변환된 얼굴 이미지에서 원본 얼굴 및 변환된 얼굴을 각각 추출하고,
    상기 원본 얼굴 및 상기 변환된 얼굴에서 특징 객체를 추출하여 상기 특징 객체 기반의 특징 벡터를 각각 추출하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 장치.
  8. 제6항에 있어서,
    상기 특징 벡터 추출부 및 상기 얼굴 특징 벡터 마스크 생성부는,
    제1인코더를 통해, 상기 제1 원본 얼굴 특징 벡터를 추출하고 상기 원본 얼굴 특징 벡터 마스크를 생성하며,
    제2인코더를 통해, 상기 제1 변환된 얼굴 특징 벡터를 추출하고 상기 변환된 얼굴 특징 벡터 마스크를 생성하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 장치.
  9. 제6항에 있어서,
    상기 마스크 기반 적응형 객체 정규화부는,
    상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크로부터 복합 마스크를 생성하고,
    상기 제1 원본 얼굴 특징 벡터 및 상기 복합 마스크를 합성곱하여 상기 제2 원본 얼굴 특징 벡터를 추출하고, 상기 제1 변환된 얼굴 특징 벡터 및 상기 복합 마스크를 합성곱하여 상기 제2 변환된 얼굴 특징 벡터를 추출하며,
    상기 제2 원본 얼굴 특징 벡터 및 상기 제2 변환된 얼굴 특징 벡터에 기반하여 적응형 객체 정규화를 수행하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 장치.
  10. 제9항에 있어서,
    상기 마스크 기반 적응형 객체 정규화부는 픽셀선택부 및 소프트맥스 산출부를 포함하며,
    상기 픽셀선택부는 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크를 픽셀 분류 레이어를 통하여 상기 소프트맥스 산출부로 전달하고,
    상기 소프트맥스 산출부는 상기 원본 얼굴 특징 벡터 마스크 및 상기 변환된 얼굴 특징 벡터 마스크를 소프트맥스 함수를 통하여 복합 마스크를 생성하는, 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 장치.
KR1020210073779A 2021-06-07 2021-06-07 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 KR102400609B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210073779A KR102400609B1 (ko) 2021-06-07 2021-06-07 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
PCT/KR2022/007982 WO2022260386A1 (ko) 2021-06-07 2022-06-07 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210073779A KR102400609B1 (ko) 2021-06-07 2021-06-07 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102400609B1 true KR102400609B1 (ko) 2022-05-20

Family

ID=81799199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210073779A KR102400609B1 (ko) 2021-06-07 2021-06-07 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102400609B1 (ko)
WO (1) WO2022260386A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022260386A1 (ko) * 2021-06-07 2022-12-15 주식회사 클레온 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
KR102490060B1 (ko) * 2022-09-08 2023-01-18 주식회사 비브스튜디오스 신경망 모델을 활용한 부분적인 이미지 변환 방법
KR102579686B1 (ko) * 2022-12-29 2023-09-18 주식회사 비브스튜디오스 각도 변화를 고려하여 이미지를 단계적으로 변환하는 방법
KR102589253B1 (ko) * 2022-06-22 2023-10-13 주식회사 드랩 인공지능 기반 컨텐츠 가공 서비스 제공 방법, 서버 및 컴퓨터 프로그램
KR102627764B1 (ko) * 2022-12-29 2024-01-23 주식회사 비브스튜디오스 부분 이미지를 이용하여 이미지를 변환하는 신경망 모델을 학습시키는 방법
WO2024111814A1 (ko) * 2022-11-25 2024-05-30 숭실대학교 산학협력단 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
KR20090088675A (ko) * 2008-02-15 2009-08-20 한양대학교 산학협력단 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법
KR101827168B1 (ko) * 2016-11-04 2018-02-08 재단법인대구경북과학기술원 얼굴 합성 콘텐츠를 출력하는 장치 및 얼굴 합성 콘텐츠를 출력하는 방법
KR20200107742A (ko) * 2019-03-06 2020-09-16 한국전자통신연구원 이미지 수정 시스템 및 이의 이미지 수정 방법
KR20210019182A (ko) * 2019-08-12 2021-02-22 한국과학기술연구원 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
KR102236904B1 (ko) * 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400609B1 (ko) * 2021-06-07 2022-05-20 주식회사 클레온 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
KR20090088675A (ko) * 2008-02-15 2009-08-20 한양대학교 산학협력단 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법
KR101827168B1 (ko) * 2016-11-04 2018-02-08 재단법인대구경북과학기술원 얼굴 합성 콘텐츠를 출력하는 장치 및 얼굴 합성 콘텐츠를 출력하는 방법
KR20200107742A (ko) * 2019-03-06 2020-09-16 한국전자통신연구원 이미지 수정 시스템 및 이의 이미지 수정 방법
KR20210019182A (ko) * 2019-08-12 2021-02-22 한국과학기술연구원 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
KR102236904B1 (ko) * 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022260386A1 (ko) * 2021-06-07 2022-12-15 주식회사 클레온 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
KR102589253B1 (ko) * 2022-06-22 2023-10-13 주식회사 드랩 인공지능 기반 컨텐츠 가공 서비스 제공 방법, 서버 및 컴퓨터 프로그램
KR102490060B1 (ko) * 2022-09-08 2023-01-18 주식회사 비브스튜디오스 신경망 모델을 활용한 부분적인 이미지 변환 방법
WO2024111814A1 (ko) * 2022-11-25 2024-05-30 숭실대학교 산학협력단 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법
KR102579686B1 (ko) * 2022-12-29 2023-09-18 주식회사 비브스튜디오스 각도 변화를 고려하여 이미지를 단계적으로 변환하는 방법
KR102627764B1 (ko) * 2022-12-29 2024-01-23 주식회사 비브스튜디오스 부분 이미지를 이용하여 이미지를 변환하는 신경망 모델을 학습시키는 방법

Also Published As

Publication number Publication date
WO2022260386A1 (ko) 2022-12-15

Similar Documents

Publication Publication Date Title
KR102400609B1 (ko) 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
US11487995B2 (en) Method and apparatus for determining image quality
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
US11501563B2 (en) Image processing method and system
US11783486B2 (en) Depicting humans in text-defined outfits
US20220261968A1 (en) Image optimization method and apparatus, computer storage medium, and electronic device
US11163978B2 (en) Method and device for face image processing, storage medium, and electronic device
WO2017193906A1 (zh) 一种图像处理方法及处理***
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110930297B (zh) 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN106682632B (zh) 用于处理人脸图像的方法和装置
JP2020119543A (ja) 分類モデルを訓練する装置及び方法
CN113420731B (zh) 模型训练方法、电子设备及计算机可读存储介质
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
WO2022184133A1 (zh) 一种基于视觉的人脸表情识别方法
US20230036338A1 (en) Method and apparatus for generating image restoration model, medium and program product
CN111898571A (zh) 动作识别***及方法
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
KR100839536B1 (ko) 얼굴 특징점 추출 장치 및 그 방법, 머리카락 추출 장치 및 그 방법, 실사 캐릭터 생성 시스템 및 그 방법
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN113327191A (zh) 人脸图像合成方法及装置
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
US20220139113A1 (en) Method and device for detecting object in image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant