KR102410328B1

KR102410328B1 - 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기

Info

Publication number: KR102410328B1
Application number: KR1020210035881A
Authority: KR
Inventors: 쿤 야오; 지빈 홍; 지에팅 쑤에
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-04-17
Filing date: 2021-03-19
Publication date: 2022-06-22
Also published as: JP2021103574A; JP7114774B2; EP3822849A2; US11830288B2; US20210209423A1; CN111598818B; CN111598818A; EP3822849A3; KR20210038482A

Abstract

본 출원은 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기를 제공하고 이미지 처리 기술 분야에 속한다. 여기서 상기 방법은, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계; 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 단계; 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 단계; 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합 이미지를 생성하는 단계; 및, 융합 이미지 및 템플릿 이미지에 대한 초기 얼굴 융합 모델의 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 단계;를 포함한다. 이로써 이러한 얼굴 융합 모델 트레이닝 방법을 통해 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 하여 융합 이미지의 피부색 일치성을 향상시킨다.

Description

얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기{ METHOD AND APPARATUS FOR TRAINING FACE FUSION MODEL AND ELECTRONIC DEVICE}

본 출원은 이미지 처리 기술 분야에 관한 것으로, 특히 인공지능 기술 분야에 관한 것이며, 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기를 제공한다.

얼굴 융합은 타겟 얼굴을 사용자 이미지로부터 완벽하고 빈틈없이 템플릿 이미지에 융합하고자 하며, 융합된 이미지는 얼굴 영역의 어의 합리성 및 가장자리 일치성을 유지해야 한다.

관련 기술에서, 얼굴 융합 시 템플릿 이미지의 얼굴 영역과 사용자 이미지의 얼굴 영역에는 조명 조건 또는 개체 간의 피부색 차이가 큰 등 경우가 존재할 수 있므로, 융합된 이미지의 피부색에 큰 차이가 존재하는 문제가 쉽게 발생할 수 있다.

얼굴 융합 모델 트레이닝 방법, 장치, 전자 기기 및 저장 매체가 제공된다.

제1 측면에 따르면, 얼굴 융합 모델 트레이닝 방법이 제공되는 바, 상기 방법은, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계; 상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 단계; 상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 단계; 상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 단계; 상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 단계; 및, 상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 단계;를 포함한다.

제2 측면에 따르면, 전술한 얼굴 융합 모델을 적용하는 얼굴 융합 방법이 제공되는 바, 상기 방법은, 얼굴 융합 요청을 획득하는 단계 - 상기 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지가 포함됨 - ; 상기 타겟 사용자 이미지 및 상기 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계; 상기 참조 템플릿 이미지에 따라 상기 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성하는 단계; 상기 얼굴 융합 모델의 생성기를 이용하여 상기 입력 이미지 및 상기 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성하는 단계; 및, 상기 융합된 얼굴 영역 이미지와 상기 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성하는 단계;를 포함한다.

제3 측면에 따르면, 얼굴 융합 모델 트레이닝 장치가 제공되는 바, 상기 장치는, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈; 상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 제2 생성 모듈; 상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 제3 생성 모듈; 상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 제4 생성 모듈; 상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 제5 생성 모듈; 및, 상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 보정 모듈;을 포함한다.

제4 측면에 따르면, 전술한 얼굴 융합 모델을 적용하는 얼굴 융합 장치는, 얼굴 융합 요청을 획득하는 획득 모듈 - 상기 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지가 포함됨 - ; 상기 타겟 사용자 이미지 및 상기 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈; 상기 참조 템플릿 이미지에 따라 상기 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성하는 제2 생성 모듈; 상기 얼굴 융합 모델의 생성기를 이용하여 상기 입력 이미지 및 상기 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성하는 제3 생성 모듈; 및, 상기 융합된 얼굴 영역 이미지와 상기 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성하는 제4 생성 모듈;을 포함한다.

제5 측면에 따르면, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하는 전자 기기가 제공되는 바, 여기서 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 전술한 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법이 수행될 수 있도록 한다.

제6 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체가 제공되는 바, 상기 컴퓨터 명령은 상기 컴퓨터가 전술한 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법을 수행하도록 하는 것을 특징으로 한다.

제7 측면에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 전술한 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법이 실행된다.

본 출원의 기술적 해결수단에 따라, 관련 기술에서 템플릿 이미지의 얼굴 영역과 사용자 이미지의 얼굴 영역에 조명 조건 또는 개체 간의 피부색 차이가 크게 존재하는 등 경우 융합된 이미지의 피부색에 큰 차이가 쉽게 발생하는 문제점을 해결한다.

첨부 도면은 본 해결수단을 더 잘 이해하기 위한 것으로, 본 출원에 대해 한정하는 것으로 구성되지 않는다. 여기서,
도 1은 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 방법의 흐름도이다.
도 2는 본 출원의 실시예에서 제공된 다른 얼굴 융합 모델 트레이닝 방법의 흐름도이다.
도 3은 본 출원의 실시예에서 제공된 얼굴 융합 방법의 흐름도이다.
도 4는 본 출원의 실시예에서 제공된 다른 얼굴 융합 방법의 흐름도이다.
도 5는 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 장치의 구조 개략도이다.
도 6은 본 출원의 실시예에서 제공된 얼굴 융합 장치의 구조 개략도이다.
도 7은 본 출원의 실시예에서 제공된 전자 기기의 구조 개략도이다.

본 부분에서 설명된 내용은 본 출원의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 출원의 범위를 한정하려는 의도도 아님을 이해해야 할 것이다. 본 출원의 다른 특징은 아래 명세서에 의해 쉽게 이해될 것이다.

이하, 첨부된 도면을 결부하여 본 출원의 예시적 실시예를 설명하되, 여기에는 이해를 돕기 위한 본 출원의 실시예의 다양한 세부 사항이 포함되며, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술 분야의 통상의 기술자는 본 출원의 범위와 사상을 벗어나지 않으면서, 여기서 설명되는 실시예에 대한 다양한 변경과 수정이 이루어질 수 있음을 이해해야 한다. 마찬가지로, 명확성 및 간결성을 위해, 아래의 설명에서 공지된 기능과 구조에 대한 설명을 생략한다.

본 출원의 실시예는, 관련 기술에서 템플릿 이미지의 얼굴 영역과 사용자 이미지의 얼굴 영역에 조명 조건 또는 개체 간의 피부색 차이가 크게 존재하는 등 경우, 융합된 이미지의 피부색에 큰 차이가 쉽게 발생하는 문제점에 대해 얼굴 융합 모델 트레이닝 방법을 제공한다.

이하 첨부된 도면을 참조하여 본 출원에서 제공된 얼굴 융합 모델 트레이닝 방법, 장치, 전자 기기 및 저장 매체를 상세하게 설명한다.

도 1은 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 방법의 흐름도이다.

도 1에 도시된 바와 같이, 상기 얼굴 융합 모델 트레이닝 방법은 하기와 같은 단계를 포함한다.

단계 101에서, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

설명해야 할 것은, 본 출원의 실시예에 따른 얼굴 융합 모델은 GAN(Generative Adversarial Networks, 생성적 적대 네트워크)을 기반으로 구현될 수 있다.

여기서, 사용자 이미지는 타겟 얼굴이 포함된 소스 이미지를 의미한다. 템플릿 이미지는 사용자 이미지의 타겟 얼굴과 융합하는 밑판 이미지를 의미한다.

본 출원의 실시예에서, 임의의 얼굴 변환 알고리즘을 사용하여 사용자 이미지와 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 사용자 이미지의 얼굴 영역을 템플릿 이미지의 얼굴 영역에 융합시킬 수 있으며, 즉 사용자 이미지와 템플릿 이미지에 대해 초보적으로 얼굴 변환 융합을 수행하여, 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

단계 102에서, 얼굴 변환 후의 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성한다.

본 출원의 실시예에서, 사용자 이미지 및 템플릿 이미지에 대한 얼굴 변환 처리는, 사용자 이미지 중 얼굴 영역의 오관 정보를 사용하여 템플릿 이미지 중 얼굴 영역의 오관 정보를 대체하는 것이고, 즉 참조 템플릿 이미지 중 얼굴 영역의 오관 정보는 사용자 이미지 중 얼굴 영역의 오관 정보이며, 따라서 참조 템플릿 이미지 중 얼굴 영역의 오관 정보를 사용하여 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성할 수 있다. 다시 말하면, 제1 입력 이미지에는 템플릿 이미지 중 배경 영역과 얼굴 영역의 피부색 정보 등이 포함되고, 사용자 이미지 중 얼굴 영역의 오관 정보가 포함된다.

단계 103에서, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성한다.

여기서 자기 얼굴 변환 처리는 템플릿 이미지를 각각 밑판 이미지와 타겟 얼굴이 포함된 소스 이미지로 하고, 템플릿 이미지에 대해 얼굴 변환 처리를 수행하는 것을 의미한다.

설명해야 할 것은, 얼굴 변환 알고리즘을 통해 얼굴 변환 처리를 수행하는 경우, 일반적으로 밑판 이미지 및 타겟 얼굴이 포함된 소스 이미지를 얼굴 변환 알고리즘의 2개의 입력 데이터로 하여, 얼굴 변환 알고리즘이 밑판 이미지와 소스 이미지에 따라 얼굴 변환 후의 이미지를 생성하도록 한다.

본 출원의 실시예에서, 템플릿 이미지를 각각 얼굴 변환 알고리즘의 2개의 입력 데이터로 하여,, 얼굴 변환 알고리즘이 템플릿 이미지 중 얼굴 영역의 오관 정보에 따라 템플릿 이미지 중 얼굴 영역의 오관 정보를 대체하도록 할 수 있으며, 즉 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하고, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행한 결과를 제2 입력 이미지로 한다.

설명해야 할 것은, 템플릿 이미지에 대한 자기 얼굴 변환 처리는 타겟 이미지 자체의 오관 정보를 사용하여 템플릿 이미지에 대해 얼굴 변환 처리를 수행함으로써, 생성된 제2 입력 이미지의 피부색 정보가 템플릿 이미지의 피부색 정보와 일치할 수 있고, 얼굴 영역의 피부색에 큰 차이가 나타나지 않는다.

단계 104에서, 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성한다.

여기서 초기 얼굴 융합 모델은 GAN 모델일 수 있다. 초기 얼굴 융합 모델이 GAN 모델일 경우, 초기 얼굴 융합 모델은 생성기와 판별기 이 두 부분을 포함할 수 있다.

본 출원의 실시예에서, 생성된 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력할 수 있으므로 생성기가 제1 입력 이미지의 얼굴 영역과 제2 입력 이미지의 얼굴 영역을 융합시키도록 하여 융합된 얼굴 영역 이미지를 생성한다. 제1 입력 이미지에는 사용자 이미지 중 얼굴 영역의 오관 정보와 템플릿 이미지 중 얼굴 영역의 피부색 정보가 포함되고, 제2 입력 이미지에는 템플릿 이미지 중 얼굴 영역의 오관 정보와 피부색 정보가 포함되므로, 생서된 융합된 얼굴 영역 이미지에서는 사용자 이미지 중 얼굴 영역의 오관 정보를 융합할 수 있을 뿐만 아니라 제2 입력 이미지를 감독 데이터로 하여, 융합된 얼굴 영역 이미지의 피부색 정보가 템플릿 이미지의 피부색 정보와 일치하도록 하며, 즉 융합된 얼굴 영역 이미지의 피부색 일치성을 향상시킨다.

가능한 구현 방식으로서, 생성기는 제1 입력 이미지와 제2 입력 이미지를 융합한 후의 전체 이미지 및 얼굴 영역 마스크를 출력할 수도 있음으로써, 융합된 전체 이미지 및 얼굴 영역 마스크의 곱을 융합된 얼굴 영역 이미지로 한다. 구체적으로 융합된 얼굴 영역 이미지는 공식(1)에 의해 결정될 수 있다.

(1)

여기서, I'는 융합된 얼굴 영역 이미지이고,

는 융합된 전체 이미지이며, mask는 얼굴 영역 마스크이다.

단계 105에서, 융합된 얼굴 영역 이미지와 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성한다.

여기서, 템플릿 이미지의 배경 영역 이미지는 얼굴 영역을 제외한 템플릿 이미지의 다른 영역 이미지를 의미하는 바, 이는 머리카락, 목 등과 같은 얼굴을 제외한 인체의 다른 부위 및 인체를 제외한 다른 배경 요소를 포함할 수 있다.

설명해야 할 것은, 제1 입력 이미지와 제2 입력 이미지를 직접적으로 융합하면 융합된 배경 영역 이미지에서 왜곡이 발생하거나 또는 합성 품질이 떨어지도록 하며, 얼굴 융합 시 배경 영역 이미지를 융합할 필요가 없다. 따라서 본 출원의 실시예에서, 템플릿 이미지의 배경 영역 이미지를 사용하여 융합 이미지의 배경 영역 이미지로 할 수 있다.

가능한 구현 방식으로서, 융합된 얼굴 영역 이미지, 얼굴 영역 마스크 및 템플릿 이미지에 따라 융합 이미지를 생성할 수 있다. 구체적으로 융합 이미지는 공식(2)에 의해 결정될 수 있다.

(2)

여기서,

는 융합 이미지이고, I'는 융합된 얼굴 영역 이미지이며,

는 템플릿 이미지이고, mask는 얼굴 영역 마스크이다.

단계 106에서, 융합 이미지 및 템플릿 이미지를 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행한다.

여기서 판별기는 이지분류 네트워크 모델일 수 있다. 판별기는 입력된 이미지를 판별하여 입력 이미지가 실제 이미지인지 합성된 위조 이미지인지 결정할 수 있다.

본 출원의 실시예에서, 많은 사용자 이미지와 템플릿 이미지를 이용하여 융합 이미지를 생성할 수 있으며, 각각의 템플릿 이미지 및 이에 대응되는 융합 이미지를 초기 얼굴 융합 모델의 판별기에 입력하여, 판별기가 템플릿 이미지와 융합 이미지를 판별하고 각각의 입력 이미지의 판별 결과를 출력하도록 한다.

가능한 구현 방식으로서, 판별기가 출력한 판별 결과는 [0, 1]의 값 범위 내에 있는 수치일 수 있는 바, 여기서 이미지에 대응되는 판별 결과의 값이 클수록, 판별기가 해당 이미지를 실제 이미지로 간주할 확률이 높아진 것으로 나타나며; 이미지에 대응되는 판별 결과의 값이 작을수록, 판별기가 해당 이미지를 실제 이미지로 간주할 확률이 낮아진 것으로 나타난다. 판별기가 각각의 템플릿 이미지 및 각각의 융합 이미지의 판별 결과를 생성한 후, 각각의 템플릿 이미지 및 각각의 융합 이미지의 판별 결과에 따라, 얼굴 융합 모델에 대응되는 타겟 함수의 값을 결정할 수 있으며, 타겟 함수의 값에 대해 역전파를 수해하여 타겟 함수의 값에 따라 생성기와 판별기의 파라미터를 최적화시켜 업데이트된 얼굴 융합 모델을 생성한다.

다음으로, 업데이트된 얼굴 융합 모델에 대해 다음 라운드의 트레이닝 과정을 수행하며, 즉 상술한 단계 101 내지 단계 106을 반복하여, 생성기가 생성한 융합 이미지가 더 진실하도록 하고, 위조 이미지를 식별하는 판별기의 능력이 지속적으로 향상하도록 하여, 양자의 대결 중, 생성기와 판별기의 성능을 업데이트된 얼굴 융합 모델에 대응되는 타겟 함수의 값이 미리 설정된 범위 내에 있을 때까지 지속직으로 최적화시키며, 이 경우에는 업데이트된 얼굴 융합 모델의 성능이 요구에 부합되는 것으로 나타날 수 있으므로 얼굴 융합 모델에 대한 트레이닝 과정을 종료할 수 있다.

가능한 구현 방식으로서, 얼굴 융합 모델에 대응되는 타겟 함수는 공식(3)으로 나타낼수 있다.

(3)

여기서,

는 얼굴 융합 모델에 대응되는 타겟 함수이고, G는 생성기에 대응되는 타겟 함수이며, D는 판별기에 대응되는 타겟 함수이고,

는 템플릿 이미지에 대응되는 판별 결과의 값이며,

는 융합 이미지에 대응되는 판별 결과의 값이다.

다른 가능한 구현 방식으로서, 상기 타겟 함수를 이용하여 생성기를 최적화하는 것 외에, 융합 이미지와 템플릿 이미지 간의 손실을 이용하여 생성기를 보조적으로 최적화한다. 다시 말하면, 상기 타겟 함수의 값이 미리 설정된 범위 내에 있고 융합 이미지와 템플릿 이미지 간의 손실도 미리 설정된 범위 내에 있을 때 얼굴 융합 모델에 대한 트레이닝 과정은 완성될 수 있다. 여기서, 융합 이미지와 템플릿 이미지 간의 손실은 공식(4)로 나타낼 수 있다.

(4)

여기서,

는 융합 이미지와 템플릿 이미지 간의 손실 함수이고,

는 융합 이미지이며,

는 템플릿 이미지이다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 참조 템플릿 이미지를 생성하고, 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성한 다음, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하며, 나아가 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합 이미지를 생성함으로써, 융합 이미지 및 템플릿 이미지에 대한 초기 얼굴 융합 모델의 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행한다. 이에 따라 GAN을 이용하여 얼굴 융합을 수행할 경우, 오관이 조정된 템플릿 이미지를 생성기에 입력하고 또한 얼굴이 자동으로 변환된 템플릿 이미지를 감독 데이터로 함으로써 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 하고 융합 이미지의 피부색 일치성을 향상시킨다.

본 출원의 가능한 구현 형식에서, 생성기가 융합 이미지를 생성하도록 하는 과정에서 피부색의 차이가 클 경우 피부색을 자동으로 조정할 수 있기 위해, 템플릿 이미지에 대해 자기 얼굴 변환을 수행한 후의 이미지에서 피부색 외란처리를 수행할 수도 있으므로, 모델 트레이닝 과정에서 생성기는 피부색의 차이가 큰 영역에 대해 피부색을 어떻게 조정하는지 학습할 수 있고, 융합 이미지의 피부색 일치성을 더 향상시킬 수 있다.

이하 도 2를 결부하여, 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 방법을 더 설명한다.

도 2는 본 출원의 실시예에서 제공된 다른 얼굴 융합 모델 트레이닝 방법의 흐름도이다.

도 2에 도시된 바와 같이, 상기 얼굴 융합 모델 트레이닝 방법은 하기와 같은 단계를 포함한다.

단계 201에서, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여, 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

단계 202에서, 얼굴 변환 후의 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성한다.

단계 203에서, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여, 제2 입력 이미지를 생성한다.

상기 실시예에 대한 상세한 설명을 참조하여, 상술한 단계 201 내지 단계 203의 구체적인 구현 과정 및 원리를 알아낼 수 있으므로 여기서 더이상 설명하지 않는다.

단계 204에서, 미리 설정된 규칙에 따라 제2 입력 이미지 중 얼굴의 피부색을 조성한다.

여기서, 미리 설정된 규칙은 제2 입력 이미지 중 얼굴 영역의 가장자리에서 피부색을 조정하여 얼굴 영역 가장자리의 피부색이 얼굴 영역의 피부색과 차이가 크게 발생하도록 하는 것일 수 있거나; 미리 설정된 규칙은 제2 입력 이미지 중 얼굴 영역의 오관 가장자리에 대해 피부색을 조정하여 오관 가장자리의 피부색이 다른 얼굴 영역의 피부색과 차이가 크게 발생하도록 하는 것일 수도 있다.

설명해야 할 것은, 미리 설정된 규칙에는 위에서 나열된 상황이 포함될 수 있지만 이에 한정되지 않는다. 실제 사용 시 미리 설정된 규칙은 실제 필요에 따라 결정될 수 있으며 본 출원의 실시예는 이에 대해 한정하지 않는다.

본 출원의 실시예에서, 제2 입력 이미지는 얼굴 융합 모델을 트레이닝하는 감독 데이터이기 때분에 융합 이미지를 통계적 분석하여 융합 이미지에서 피부색이 쉽게 고르지 않게 되는 부위를 결정할 수 있으며, 나아가 피부색이 쉽게 고르지 않게 되는 부위에서는 제2 입력 이미지 중 얼굴의 피부색을 조정하여, 제2 입력 이미지를 감독 데이터로 할 때 생성기가 피부색 차이가 큰 융합 이미지를 생성하도록 하며, 나아가 판별기는 융합 이미지가 위조 이미지인 것을 보다 용이하게 식별할 수 있고, 이로써 역전파 보정 과정에서, 생성기는 판별기의 판별 결과에 따라, 이미지 융합 과정에서 얼굴 영역 중 어느 영역의 피부색 정보에 대해 관심을 가져야 하는지, 및 얼굴 영역의 관심 영역에 대해 피부색을 어떻게 조정하는지 학습하여 피부색이 보다 일치한 융합 이미지를 생성할 수 있다.

가능한 구현 방식으로서, 제2 입력 이미지 중 얼굴 영역의 피부색에 따라 제2 입력 이미지에 대한 피부색 조정 범위를 결정하여, 조정된 제2 입력 이미지의 왜곡을 방지할 수 있다. 즉, 본 출원의 실시예의 일 가능한 구현 방식에서 상기 단계 204 이전에,

제2 입력 이미지 중 얼굴의 피부색에 따라 타겟 피부색의 조정 범위를 결정하는 단계;를 더 포함할 수 있으며;

상응하게 상기 단계 204는,

미리 설정된 규칙에 따라 타겟 피부색의 조정 범위 내에서 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계;를 포함할 수 있다.

본 출원의 실시예에서, 제2 입력 이미지 중 얼굴의 피부색에 따라 타겟 피부색의 조정 범위를 결정하여, 타겟 피부색의 조정 범위와 제2 입력 이미지 중 얼굴의 피부색을 달라지도록 할 수 있다. 예를 들어, 제2 입력 이미지 중 얼굴의 피부색이 보다 하야면(즉 얼굴 영역에 대응되는 픽셀값이 작음), 타겟 피부색의 조정 범위를 비교적 큰 값으로 조정할 수 있고, 즉 타겟 피부색의 조정 범위에 따라 제2 입력 이미지에 대해 피부색을 조정할 경우, 조정된 영역의 피부색이 비교적 어두워져, 조정된 제2 입력 이미지가 피부색 차이성을 갖도록 할 수 있을 뿐만 아니라 조정된 제2 입력 이미지의 왜곡을 방지할 수 있다.

타겟 피부색의 조정 범위를 결정한 후, 미리 설정된 규칙에 따라 타겟 피부색의 조정 범위 내에서 제2 입력 이미지에 대해 피부색을 조정할 수 있다.

다른 가능한 구현 방식으로서, 제2 입력 이미지에 대한 피부색 조정 영역을 미리 설정할 수 있다. 즉 본 출원의 실시예의 가능한 구현 형식에서 상기 단계 204는,

미리 설정된 규칙에 따라 제2 입력 이미지 중 얼굴의 미리 설정된 영역의 피부색을 조정하는 단계;를 포함할 수 있다.

여기서, 미리 설정된 조정값은 대량의 실험 데이터에 대한 통계적 분석을 통해 교정될 수 있고; 제2 입력 이미지 중 얼굴 영역의 피부색 정보에 따라 실시간으로 결정될 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

여기서, 얼굴의 미리 설정된 영역은 대량의 실험 데이터에 대한 통계적 분석을 통해 교정될 수 있다. 예를 들어 얼굴의 미리 설정된 영역은 얼굴 영역의 경계 영역, 얼굴 중 오관의 경계 영역이거나 또는 경계 영역에 인접한 일정 범위 내의 얼굴 내부 영역일 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

본 출원의 실시예에서, 미리 설정된 조정값 및 얼굴의 미리 설정된 영역을 미리 결정할 수 있음으로써, 미리 설정된 조정값에 따라 제2 입력 이미지 중 얼굴의 미리 설정된 영역의 피부색을 조정한다.

단계 205에서, 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성한다.

단계 206에서, 융합된 얼굴 영역 이미지와 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성한다.

단계 207에서, 융합 이미지 및 템플릿 이미지를 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행한다.

상기 실시예에 대한 상세한 설명을 참조하여, 상술한 단계 205 내지 단계 207의 구체적인 구현 과정 및 원리를 알아낼 수 있으므로 여기서 더이상 설명하지 않는다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 참조 템플릿 이미지를 생성하고, 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성한 다음, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하며, 미리 설정된 규칙에 따라 제2 입력 이미지 중 얼굴의 피부색을 조정하여, 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합 이미지를 생성함으로써, 융합 이미지 및 템플릿 이미지에 대한 초기 얼굴 융합 모델의 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행한다. 이에 따라, 템플릿 이미지에 대해 자기 얼굴 변환 및 피부색 조정 처리를 수행하고 또한 자기 얼굴 변환 및 피부색 조정 처리를 통한 타겟 이미지를 감독 데이터로서 생성기에 입력하며, 피부색 차이성을 보존하여 실제 테스트 장면을 시뮬레이션함으로써 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 할 뿐만 아니라 융합 이미지 중 피부색 정보의 자연스러운 전환을 확보하고, 융합 이미지의 피부색 일치성을 더욱 향상시킨다.

이하 도 3을 결부하여 본 출원의 실시예에서 제공된, 전술한 얼굴 융합 모델을 적용하는 얼굴 융합 방법을 더 설명한다.

도 3은 본 출원의 실시예에서 제공된 얼굴 융합 방법의 흐름도이다.

도 3에 도시된 바와 같이, 상기 얼굴 융합 방법은 하기와 같은 단계를 포함한다.

단계 301에서, 얼굴 융합 요청을 획득하되 융합 요청은 타겟 사용자 이미지 및 타겟 템플릿 이미지를 포함한다.

설명해야 할 것은, 본 출원의 실시예에 따른 얼굴 융합 모델은, 얼굴 특수 효과를 지원하는 다양한 엔터테인먼트 애플리케이션(예를 들어 게임 시나리오), 영화 특수 효과 제작 등 시나리오와 같은 얼굴 유합이 수행되는 임의의 시나리오에 적용될 수 있다. 트레이닝이 완료된 후, 본 출원의 실시예에 따른 얼굴 융합 모델은 임의의 전자 기기에 설치되어 본 출원의 실시예에 따른 얼굴 융합 방법을 수행할 수 있다.

여기서, 얼굴 융합 요청은 사용자 조작에 따라 생설될 수 있고 얼굴 융합 모델과 관련된 애플리케이션에 의한 명령에 따라 생성될 수 있다. 예를 들어, 본 출원의 실시예에 따른 얼굴 융합 모델은 특수 효과 기능을 갖는 카메라 애플리케이션에 적용될 경우, 카메라 애플리케이션의 “얼굴 융합” 컨트롤이 트리거된 것이 검출될 때 얼굴 융합 요청을 획득하는 것으로 결정할 수 있으며; 본 출원의 실시예에 따른 얼굴 융합 모델은 특정 게임 애플리케이션에 적용될 경우, 미리 설정된 게임 특수 효과가 트리거된 것에 따라 얼굴 융합 요청을 획득하는 것으로 결정할 수 있다.

여기서, 타겟 사용자 이미지는 타겟 얼굴이 포함된 소스 이미지를 의미한다. 타겟 템플릿 이미지는 타겟 사용자 이미지의 타겟 얼굴과 융합하는 밑판 이미지를 의미한다.

본 출원의 실시예에서, 얼굴 융합 요청이 획득되면 얼굴 융합 요청에 따라 타겟 사용자 이미지 및 타겟 템플릿 이미지를 획들할 수 있다.

단계 302에서, 타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

본 출원의 실시예에서, 얼굴 융합 모델 트레이닝 단계와 동일한 얼굴 변환 알고리즘을 사용하여 타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여, 타겟 사용자 이미지의 얼굴 영역을 타겟 템플릿 이미지의 얼굴 영역에 융합시키며, 즉 타겟 사용자 이미지와 타겟 템플릿 이미지를 초보적 얼굴 변환 융합을 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

단계 303에서, 참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성한다.

본 출원의 실시예에서, 타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하는 것은, 타겟 사용자 이미지 중 얼굴 영역의 오관 정보를 사용하여 타겟 템플릿 이미지 중 얼굴 영역의 오관 정보를 대체하는 것이고, 즉 참조 템플릿 이미지 중 얼굴 영역의 오관 정보는 타겟 사용자 이미지 중 얼굴 영역의 오관 정보이며, 따라서 조 템플릿 이미지 중 얼굴 영역의 오관 정보를 사용하여 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성할 수 있다. 다시 말하면, 입력 이미지에는 타겟 템플릿 이미지 중 배경 영역, 얼굴 영역의 피부색 정보 등이 포함되고 또한 타겟 사용자 이미지 중 얼굴 영역의 오관 정보가 포함된다.

단계 304에서, 얼굴 융합 모델의 생성기를 이용하여 입력 이미지 및 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성한다.

본 출원의 실시예에서, 입력 이미지 및 참조 템플릿 이미지를 생성한 후, 입력 이미지 및 참조 템플릿 이미지를 얼굴 융합 모델의 생성기에 입력하여, 생성기가 입력 이미지 및 참조 템플릿 이미지를 이용하여 융합된 얼굴 영역 이미지를 생성하도록 할 수 있다.

설명해야 할 것은, 참조 템플릿 이미지는 타겟 사용자 이미지 및 타겟 템플릿 이미지를 직접적으로 합성하여 생성된 것이므로 참조 템플릿 이미지에는 보다 많은 타겟 사용자 이미지 정보가 포함되며; 입력 이미지는 참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 조정을 수행하여 생성된 것이므로 입력 이미지에는 타겟 사용자 이미지의 오관 정보 뿐만 아니라 타겟 템플릿 이미지의 피부색 정보도 포함됨으로써, 융합된 얼굴 영역 이미지는 타겟 사용자 이미지의 오관 정보 및 타겟 템플릿 이미지의 피부색 정보를 더 잘 표현할 수 있고, 융합된 얼굴 영역 이미지의 피부색 일치성을 확보한다.

가능한 구현 방식으로서, 생성기는 입력 이미지와 참조 템플릿 이미지를 융합한 후의 전체 이미지 및 얼굴 영역 마스크를 출력할 수 있고, 나아가 융합된 전체 이미지와 얼굴 영역 마스크의 곱을 융합된 얼굴 영역 이미지로 한다. 구체적으로 융합된 얼굴 영역 이미지는 공식(5)에 의해 결정될 수 있다.

(5)

여기서,

는 융합된 얼굴 영역 이미지이고,

는 융합된 전체 이미지이며,

는 얼굴 영역 마스크이다.

단계 305에서, 융합된 얼굴 영역 이미지와 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성한다.

여기서, 타겟 템플릿 이미지의 배경 영역 이미지는 얼굴 영역을 제외한 타겟 템플릿 이미지의 다른 영역 이미지를 의미하는 바, 이는 머리카락, 목 등과 같은 얼굴을 제외한 인체의 다른 부위 및 인체를 제외한 다른 배경 요소를 포함할 수 있다.

설명해야 할 것은, 입력 이미지와 참조 템플릿 이미지를 직접적으로 융합하면 융합된 배경 영역 이미지에서 왜곡이 발생하거나 또는 합성 품질을 나쁘게 하며, 또한 얼굴 융합 시 배경 영역 이미지를 융합할 필요가 없다. 따라서 본 출원의 실시예에서, 타겟 템플릿 이미지의 배경 영역 이미지를 타겟 융합 이미지의 배경 영역 이미지로 사용할 수 있다

가능한 구현 방식으로서, 융합된 얼굴 영역 이미지, 얼굴 영역 마스크 및 타겟 템플릿 이미지에 따라 융합 이미지를 생성한다. 구체적으로 타겟 융합 이미지는 공식(6)에 의해 결정될 수 있다.

(6)

여기서,

는 타겟 융합 이미지이고,

는 융합된 얼굴 영역 이미지이며,

는 타겟 템플릿 이미지이고,

는 얼굴 영역 마스크이다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 얼굴 융합 요청 중타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여, 얼굴 변환 후의 참조 템플릿 이미지를 생성하고, 참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성한 다음, 얼굴 융합 모델의 생성기를 이용하여 입력 이미지 및 참조 템플릿 이미지를 처리하여 융합된 얼굴 영역 이미지를 생성하며, 융합된 얼굴 영역 이미지와 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성한다. 이에 따라, 이에 따라 GAN을 이용하여 얼굴 융합을 수행할 경우, 오관이 조정된 템플릿 이미지를 생성기에 입력하고 또한 얼굴이 자동으로 변환된 템플릿 이미지를 감독 데이터로 함으로써 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 하고 융합 이미지의 피부색 일치성을 향상시킨다.

본 출원의 가능한 구현 형식에서 타겟 템플릿 이미지의 얼굴 영역에는 머리카락, 안경 등 차폐물이 포함될 수 있기에 얼굴 영역에서 차폐되는 부분의 융합 효과가 낮게 하며, 따라서 타겟 융합 이미지의 융합 효과를 더욱 향상시키기 위해 타겟 템플릿 이미지를 통해 타겟 융합 이미지를 보정할 수 있다.

이하 도 4를 결부하여 본 출원의 실시예에서 제공된 얼굴 융합 방법을 더 설명한다.

도 4는 본 출원의 실시예에서 제공된 다른 얼굴 융합 방법의 흐름도이다.

도 4에 도시된 바와 같이, 상기 얼굴 융합 방법은 하기와 같은 단계를 포함한다.

단계 401에서, 얼굴 융합 요청을 획득하되 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지를 포함한다.

단계 402에서, 타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성한다.

단계 403에서, 참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성한다.

단계 404에서, 얼굴 융합 모델의 생성기를 이용하여 입력 이미지 및 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성한다.

단계 405에서, 융합된 얼굴 영역 이미지와 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성한다.

상기 실시예에 대한 상세한 설명을 참조하여, 상술한 단계 401 내지 단계405의 구체적인 구현 과정 및 원리를 알아낼 수 있으므로 여기서 더이상 설명하지 않는다.

단계 406에서, 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는지 여부를 검출한다.

여기서, 차폐물은 머리카락, 안경, 마스크, 모자 등을 포함할 수 있으며 본 출원의 실시예는 이에 대해 한정하지 않는다.

본 출원의 실시예에서, 일반적으로 차폐물의 색상은 얼굴 영역의 피부색과 상당히 다르므로 얼굴 영역의 각 부분 간 피섹값의 차이에 따라 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는지 여부 및 차폐물의 위치와 범위를 검출할 수 있다.

설명해야 할 것은, 실제 사용 시, 실제 필요에 따라 적합한 차폐물 검출 알고리즘을 선택할 수 있으며 본 출원의 실시예는 이에 대해 한정하지 않는다.

단계 407에서, 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함될 경우 타겟 템플릿 이미지로부터 차폐물을 분할한다.

본 출원의 실시예에서, 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는 것을 검출하였을 경우, 분할 네트워크 모델을 사용하여 타겟 템플릿 이미지로부터 차폐물을 분할할 수 있으며, 즉 타겟 템플릿 이미지에 대응되는 차폐물 마스크를 결정할 수 있다.

단계 408에서, 타겟 템플릿 이미지에서 차폐물의 위치에 따라 차폐물과 타겟 융합 이미지를 합성하여 타겟 이미지를 생성한다.

가능한 구현 방식으로서, 타겟 템플릿 이미지에서 차폐물의 위치는 타겟 템플릿 이미지에 대응되는 차폐물 마스크에 의해 나타낼 수 있다. 이로써 타겟 템플릿 이미지의 차폐물을 분할한 후 타겟 융합 이미지, 타겟 템플릿 이미지 및 타겟 템플릿 이미지에 대응되는 차폐물 마스크에 따라 차폐물과 타겟 융합 이미지를 합성하여 타겟 이미지를 생성할 수 있다. 구체적으로 타겟 이미지는 공식(7)에 의해 결정될 수 있다.

(7)

여기서, I는 타겟 이미지이고,

는 타겟 템플릿 이미지이며,

는 타겟 템플릿 이미지에 대응되는 차폐물 마스크이고,

는 타겟 융합 이미지이다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 타겟 융합 이미지를 생성한 후, 타겟 템플릿 이미지의 얼굴 영역에는 차폐물이 포함되는지 여부를 걸출하고, 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함될 경우, 타겟 템플릿 이미지로부터 차폐물을 분할하여 타겟 템플릿 이미지에서 차폐물의 위치에 따라 차폐물과 타겟 융합 이미지를 융합하여 타겟 이미지를 생성한다. 이에 따라, 타겟 융합 이미지를 통해 차폐 제거 후처리를 수행하며 타겟 템플릿 이미지의 차폐물 영역을 이용하여 타겟 융합 이미지를 보정함으로써 융합 이미지에 타겟 템플릿 이미지의 조면 및 피부색 정보가 포함되도록 하고 융합 이미지의 피부색 일치성을 향사시킬 뿐만 아니라 융합 이미지의 융합 효과를 더 향상시킨다.

상기 실시예를 구현하기 위해 본 출원은 얼굴 융합 모델 트레이닝 장치를 더 제공한다.

도 5는 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 장치의 구조 개략도이다.

도 5에 도시된 바와 같이, 상기 얼굴 융합 모델 트레이닝 장치(50)는,

사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈(51);

얼굴 변환 후의 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 제2 생성 모듈(52);

템플릿 이미지에 대해 얼굴 변환 처리를 자동으로 수행하여 제2 입력 이미지를 생성하는 제3 생성 모듈(53);

제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 제4 생성 모듈(54);

융합된 얼굴 영역 이미지와 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 제5 생성 모듈(55); 및,

융합 이미지 및 템플릿 이미지를 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 보정 모듈(56);을 포함한다.

실제 사용 시, 본 출원의 실시예에서 제공된 얼굴 융합 모델 트레이닝 장치는 임의의 전자 기기에 설치되어 전술한 얼굴 융합 모델 트레이닝 방법을 수행할 수 있다.

본 출원의 가능한 구현 형식에서, 상기 얼굴 융합 모델 트레이닝 장치(50)는,

미리 설정된 규칙에 따라 제2 입력 이미지 중 얼굴의 피부색을 조정하는 조정 모듈;을 더 포함한다.

나아가, 본 출원의 다른 가능한 구현 형식에서, 상기 얼굴 융합 모델 트레이닝 장치(50)는,

제2 입력 이미지 중 얼굴의 피부색에 따라 타겟 피부색의 조정 범위를 결정하는 결정 모듈;을 더 포함한다.

상응하게 상기 조정 모듈은,

미리 설정된 규칙에 따라 타겟 피부색의 조정 범위 내에서 제2 입력 이미지 중 얼굴의 피부색을 조정하는 제1 조정 유닛;을 포함한다.

나아가, 본 출원의 또 다른 가능한 구현 형식에서, 상기 조정 모듈은,

미리 설정된 조정값에 따라 제2 입력 이미지 중 얼굴의 미리 설정된 영역의 피부색을 조정하는 제2 조정 유닛;을 더 포함한다.

설명해야 할 것은, 전술한 도 1, 도 2에 도시된 얼굴 융합 모델 트레이닝 방법의 실시예에 대한 구체적인 설명은 상기 실시예의 얼굴 융합 모델 트레이닝 장치(50)에 적용되기에 여기서 더이상 설명하지 않는다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 참조 템플릿 이미지를 생성하고, 참조 템플릿 이미지에 따라 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성한 다음, 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하며, 미리 설정된 규칙에 따라 제2 입력 이미지 중 얼굴의 피부색을 조정하고, 나아가 제1 입력 이미지 및 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합 이미지를 생성함으로써, 융합 이미지 및 템플릿 이미지에 대한 초기 얼굴 융합 모델의 판별기의 판별 결과에 따라 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행한다. 이에 따라, 템플릿 이미지에 대해 자기 얼굴 변환 및 피부색 조정 처리를 수행하고 또한 자기 얼굴 변환 및 피부색 조정 처리를 통한 타겟 이미지를 감독 데이터로서 생성기에 입력하며, 피부색 차이성을 보존하여 실제 테스트 장면을 시뮬레이션함으로써 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 할 뿐만 아니라 융합 이미지 중 피부색 정보의 자연스러운 전환을 확보하고 융합 이미지의 피부색 일치성을 더욱 향상시킨다.

상기 실시예를 구현하기 위해 본 출원은 얼굴 융합 장치를 더 제공한다.

도 6은 본 출원의 실시예에서 제공된 얼굴 융합 장치의 구조 개략도이다

도 6에 도시된 바와 같이, 상기 얼굴 융합 장치(60)는,

얼굴 융합 요청을 획득하는 획득 모듈(61) - 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지가 포함됨 - ;

타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈(62);

참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성하는 제2 생성 모듈(63);

얼굴 융합 모델의 생성기를 이용하여 입력 이미지 및 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성하는 제3 생성 모듈(64); 및,

융합된 얼굴 영역 이미지와 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성하는 제4 생성 모듈(65);을 포함한다.

실제 사용 시, 본 출원의 실시예에서 제공된 얼굴 융합 장치는 임의의 전자 기기에 설치되어 전술한 얼굴 융합 방법을 수행할 수 있다.

본 출원의 실시예에 따른 기술적 해결수단에 따르면, 얼굴 융합 요청 중 타겟 사용자 이미지 및 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하고, 참조 템플릿 이미지에 따라 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성한 다음, 얼굴 융합 모델의 생성기를 이용하여 입력 이미지 및 참조 템플릿 이미지를 처리하여 융합된 얼굴 영역 이미지를 생성하며, 나아가 융합된 얼굴 영역 이미지와 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성한다. 이에 따라, 이에 따라 GAN을 이용하여 얼굴 융합을 수행할 경우, 오관이 조정된 템플릿 이미지를 생성기에 입력하고 또한 얼굴이 자동으로 변환된 템플릿 이미지를 감독 데이터로 함으로써 융합 이미지에 템플릿 이미지의 조명 및 피부색 정보가 포함되도록 하고 융합 이미지의 피부색 일치성을 향상시킨다.

본 출원의 가능한 구현 형식에서, 상기 얼굴 융합 장치(60)는,

타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는지 여부를 검출하는 검출 모듈;

타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함될 경우, 타겟 템플릿 이미지로부터 차폐물을 분할하는 분할 모듈; 및,

타겟 템플릿 이미지에서 차폐물의 위치에 따라 차폐물과 타겟 융합 이미지를 합성하여 타겟 이미지를 생성하는 제5 생성 모듈;을 더 포함한다.

설명해야 할 것은, 전술한 도 3, 도 4에 도시된 얼굴 융합 방법의 실시예에 대한 구체적인 설명은 상기 실시예의 얼굴 융합 장치(60)에 적용되기에 여기서 더이상 설명하지 않는다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 컴퓨터 판독 가능 저장 매체를 더 제공한다. 본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법이 실행된다.

도 7에 도시된 바와 같이, 본 출원의 실시예에 따른 얼굴 융합 모델 트레이닝 방법 및 얼굴 융합 방법을 위한 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본문에 표시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로서, 본문에서 설명되거나 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.

도 7에 도시된 바와 같이, 상기 전자 기기는, 하나 또는 다수의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 사용하여 상호 연결되고, 공통 마더보드에 설치되거나 수요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있고, 상기 명령은, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 내 또는 메모리에 저장되는 명령을 포함한다. 다른 실시형태에서, 수요되면, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각각의 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템으로 사용됨)을 제공한다. 도 7에서는 하나의 프로세서(701)를 예로 한다.

메모리(702)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에서 제공된 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 상기 컴퓨터 명령은 컴퓨터가 본 출원에서 제공된 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법을 수행하도록 한다.

메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에서의 얼굴 융합 모델 트레이닝 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 제1 생성 모듈(51), 제2 생성 모듈(52), 제3 생성 모듈(53), 제4 생성 모듈(54), 제5 생성 모듈(55) 및 보정 모듈(56)), 및 본 출원의 실시예에서의 얼굴 융합 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 6에 도시된 획득 모듈(61), 제1 생성 모듈(62), 제2 생성 모듈(63), 제3 생성 모듈(64) 및 제4 생성 모듈(65))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법의 실시예에서의 얼굴 융합 모델 트레이닝 방법 또는 얼굴 융합 방법을 구현한다.

메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 얼굴 융합 모델 트레이닝 방법 및 얼굴 융합 방법을 수행하는 전자 기기를 사용하여 구축된 데이터 등을 저장할 수 있다. 이밖에, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 소자, 플래시 소자, 또는 다른 비일시적 솔리드 스테이트 저장 소자와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 얼굴 융합 모델 트레이닝 방법 및 얼굴 융합 방법을 수행하는 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망, 및 이들의 조합을 포함하지만 이에 한정되지 않는다.

얼굴 융합 모델 트레이닝 방법 및 얼굴 융합 방법을 수행하는 전자 기기는, 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 7에서는 버스를 통한 연결을 예로 한다.

입력 장치(703)는 입력된 숫자 또는 캐릭터 정보를 수신할 수 있고, 얼굴 융합 모델 트레이닝 방법 및 얼굴 융합 방법을 수행하는 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치일 수 있다. 출력 장치(704)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 주문형 또는 일반 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에 사용된 바와 같이, 용어 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.

사용자와의 인터랙션을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 센서 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.

여기서 설명된 시스템 및 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예는, 근거리 통신망(LAN), 광역망(WAN), 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.

위에서 설명된 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 동시에, 순차적으로, 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 이루고자 하는 결과를 구현할 수 있는 한, 본문은 여기서 한정되지 않는다.

상기 구체적인 실시형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술 분야의 통상의 기술자는, 디자인 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.

Claims

얼굴 융합 모델 트레이닝 방법에 있어서,
사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계;
상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 단계;
상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 단계;
상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 단계;
상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 단계; 및,
상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 단계;를 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 방법.
제1항에 있어서,
초기 얼굴 융합 모델의 생성기를 사용하여 상기 제1 입력 이미지 및 상기 제2 입력 이미지를 처리하는 단계 이전에,
미리 설정된 규칙에 따라 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계;를 더 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 방법.
제2항에 있어서,
상기 미리 설정된 규칙에 따라 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계 이전에,
상기 제2 입력 이미지 중 얼굴의 피부색에 따라 타겟 피부색의 조정 범위를 결정하는 단계;를 더 포함하고;
상기 미리 설정된 규칙에 따라 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계는,
미리 설정된 규칙에 따라 상기 타겟 피부색의 조정 범위 내에서 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계;를 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 방법.
제2항에 있어서,
상기 미리 설정된 규칙에 따라 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 단계는,
미리 설정된 조정값에 따라 상기 제2 입력 이미지 중 얼굴의 미리 설정된 영역의 피부색을 조정하는 단계;를 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 방법.
얼굴 융합 모델을 적용하는 얼굴 융합 방법에 있어서,
상기 얼굴 융합 모델은 하기 방식을 사용하여 트레이닝하고, 상기 방식은,
사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계;
상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 단계;
상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 단계;
상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 단계;
상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 단계; 및,
상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 단계;를 포함하고,
상기 얼굴 융합 방법은,
얼굴 융합 요청을 획득하는 단계 - 상기 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지가 포함됨 - ;
상기 타겟 사용자 이미지 및 상기 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 단계;
상기 참조 템플릿 이미지에 따라 상기 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성하는 단계;
상기 얼굴 융합 모델의 생성기를 이용하여 상기 입력 이미지 및 상기 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성하는 단계; 및,
상기 융합된 얼굴 영역 이미지와 상기 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성하는 단계;를 포함하는,
것을 특징으로 하는 얼굴 융합 방법.
제5항에 있어서,
상기 타겟 융합 이미지를 생성하는 단계 이후,
상기 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는지 여부를 검출하는 단계;
상기 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함될 경우, 상기 타겟 템플릿 이미지로부터 상기 차폐물을 분할하는 단계; 및,
상기 타겟 템플릿 이미지에서 상기 차폐물의 위치에 따라 상기 차폐물과 상기 타겟 융합 이미지를 합성하여 타겟 이미지를 생성하는 단계;를 더 포함하는,
것을 특징으로 하는 얼굴 융합 방법.
얼굴 융합 모델 트레이닝 장치에 있어서,
사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈;
상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하는 제2 생성 모듈;
상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하는 제3 생성 모듈;
상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하는 제4 생성 모듈;
상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하는 제5 생성 모듈; 및,
상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하는 보정 모듈;을 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
제7항에 있어서,
미리 설정된 규칙에 따라 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 조정 모듈;을 더 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
제8항에 있어서,
상기 제2 입력 이미지 중 얼굴의 피부색에 따라 타겟 피부색의 조정 범위를 결정하는 결정 모듈;을 더 포함하고;
상기 조정 모듈은,
미리 설정된 규칙에 따라 상기 타겟 피부색의 조정 범위 내에서 상기 제2 입력 이미지 중 얼굴의 피부색을 조정하는 제1 조정 유닛;을 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
제8항에 있어서,
상기 조정 모듈은,
미리 설정된 조정값에 따라 상기 제2 입력 이미지 중 얼굴의 미리 설정된 영역의 피부색을 조정하는 제2 조정 유닛;을 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
얼굴 융합 모델을 적용하는 얼굴 융합 장치에 있어서,
상기 얼굴 융합 모델은 하기 방식을 사용하여 트레이닝하고, 상기 방식은,
사용자 이미지 및 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하고;
상기 얼굴 변환 후의 참조 템플릿 이미지에 따라 상기 템플릿 이미지에 대해 오관 자세를 조정하여 제1 입력 이미지를 생성하고;
상기 템플릿 이미지에 대해 자기 얼굴 변환 처리를 수행하여 제2 입력 이미지를 생성하고;
상기 제1 입력 이미지 및 상기 제2 입력 이미지를 초기 얼굴 융합 모델의 생성기에 입력하여 융합된 얼굴 영역 이미지를 생성하고;
상기 융합된 얼굴 영역 이미지와 상기 템플릿 이미지의 배경 영역 이미지를 융합하여 융합 이미지를 생성하고,
상기 융합 이미지 및 상기 템플릿 이미지를 상기 초기 얼굴 융합 모델의 판별기에 각각 입력하고, 상기 판별기의 판별 결과에 따라 상기 초기 얼굴 융합 모델에 대해 얼굴 융합 모델이 생성될 때까지 역전파 보정을 수행하고,
상기 얼굴 융합 장치는,
얼굴 융합 요청을 획득하는 획득 모듈 - 상기 융합 요청에는 타겟 사용자 이미지 및 타겟 템플릿 이미지가 포함됨 - ;
상기 타겟 사용자 이미지 및 상기 타겟 템플릿 이미지에 대해 얼굴 변환 처리를 수행하여 얼굴 변환 후의 참조 템플릿 이미지를 생성하는 제1 생성 모듈;
상기 참조 템플릿 이미지에 따라 상기 타겟 템플릿 이미지에 대해 오관 자세를 조정하여 입력 이미지를 생성하는 제2 생성 모듈;
상기 얼굴 융합 모델의 생성기를 이용하여 상기 입력 이미지 및 상기 참조 템플릿 이미지를 처리하여, 융합된 얼굴 영역 이미지를 생성하는 제3 생성 모듈; 및,
상기 융합된 얼굴 영역 이미지와 상기 타겟 템플릿 이미지의 배경 영역 이미지를 융합하여 타겟 융합 이미지를 생성하는 제4 생성 모듈;을 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
제11항에 있어서,
상기 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함되는지 여부를 검출하는 검출 모듈;
상기 타겟 템플릿 이미지의 얼굴 영역에 차폐물이 포함될 경우, 상기 타겟 템플릿 이미지로부터 상기 차폐물을 분할하는 분할 모듈; 및,
상기 타겟 템플릿 이미지에서 상기 차폐물의 위치에 따라 상기 차폐물과 상기 타겟 융합 이미지를 합성하여 타겟 이미지를 생성하는 제5 생성 모듈;을 더 포함하는,
것을 특징으로 하는 얼굴 융합 모델 트레이닝 장치.
전자 기기에 있어서,
적어도 하나의 프로세서; 및,
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하되,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 제1항 내지 제4항 또는 제5항 내지 제6항 중 어느 한 항에 따른 방법이 수행되도록 하는,
것을 특징으로 하는 전자 기기.
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제4항 또는 제5항 내지 제6항 중 어느 한 항에 따른 방법을 수행하도록 하는,
것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제4항 또는 제5항 내지 제6항 중 어느 한 항에 따른 방법이 실행되는,
것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.