KR102499996B1 - 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램 - Google Patents

얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102499996B1
KR102499996B1 KR1020210037799A KR20210037799A KR102499996B1 KR 102499996 B1 KR102499996 B1 KR 102499996B1 KR 1020210037799 A KR1020210037799 A KR 1020210037799A KR 20210037799 A KR20210037799 A KR 20210037799A KR 102499996 B1 KR102499996 B1 KR 102499996B1
Authority
KR
South Korea
Prior art keywords
image
face
resolution
obtaining
super
Prior art date
Application number
KR1020210037799A
Other languages
English (en)
Other versions
KR20210040302A (ko
Inventor
톈수 후
자밍 류
즈빈 훙
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210040302A publication Critical patent/KR20210040302A/ko
Application granted granted Critical
Publication of KR102499996B1 publication Critical patent/KR102499996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본원 발명의 실시예는 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램을 개시하는 바, 이는 얼굴 이미지 처리 및 딥러닝 분야에 관한 것이다. 구체적인 실현 방법은, 제1 이미지의 얼굴 부분을 추출하고, 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻으며, 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하고, 시맨틱 분할 맵을 이용하며 고화질 얼굴 이미지를 사용하여 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻는다. 본원 발명의 실시예는 얼굴 이미지의 해상도를 향상시킬 수 있다.

Description

얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램{FACE SUPER-RESOLUTION REALIZATION METHOD AND APPARATUS, ELECTRONIC DEVICE, STORAGE MEDIUM, AND COMPUTER PROGRAM}
본원 발명은 이미지 처리 및 딥러닝 분야에 관한 것으로, 특히 얼굴 이미지 처리 분야에 관한 것이다.
기존의 이미지 향상 애플리케이션에서, 일반적으로 이미지 향상 처리를 위한 두 가지 방법이 있다. 첫번째는 기존의 보간 방법을 통해 원본 이미지를 업 샘플링하여 크기가 확대된 이미지를 얻는 것이고, 이 방법으로 얻은 이미지의 크기는 확대되지만 선명도는 보장할 수 없다. 두번째는 기존의 방법 중 일부는 이미지의 선명도를 향상시킬 수 있지만 모두 일반 이미지용이며, 얼굴 범주에 대한 초해상도 실현 방법이 없다. 이러한 방법은 특정 범주의 이미지를 처리해야 할 경우 효과가 뛰어나지 않는 경우가 많다.
기존의 얼굴 초해상도 기술은 첫째, 이미지 처리 후 선명도가 충분하지 않고 둘째, 얼굴 이미지에 대한 특별한 초해상도 실현 방법이 없는 단점이 존재한다는 것을 알 수 있다.
본원 발명은 얼굴 초해상도 실현 방법, 장치, 전자기기 및 저장매체를 제공한다.
본원 발명의 일 측면에 따르면, 얼굴 초해상도 실현 방법을 제공하며, 얼굴 초해상도 실현 방법은,
제1 이미지의 얼굴 부분을 추출하는 단계;
상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻는 단계;
상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하는 단계;
상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻는 단계를 포함한다.
본원 발명의 다른 일 측면에 따르면, 얼굴 초해상도 실현 장치를 제공하며, 얼굴 초해상도 실현 장치는,
제1 이미지의 얼굴 부분을 추출하기 위한 추출 모듈;
상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻기 위한 고화질 처리 모듈;
상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하기 위한 시맨틱 분할 맵 획득 모듈;
상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻기 위한 융합 모듈을 포함한다.
본원 발명의 다른 일 측면에 따르면, 전자기기를 제공하며,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하는 전자기기에 있어서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서로 하여금 상기 방법을 실행할 수 있도록 한다.
본원 발명의 다른 일 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 상기 방법을 실행하도록 한다.
본원 발명의 실시예에 따르면, 얼굴 부분이 포함된 이미지에서 얼굴 부분을 추출하여 상기 얼굴 부분의 해상도를 향상시켜 고화질 얼굴 이미지를 얻고, 그 다음 고화질 얼굴 이미지를 상기 이미지의 얼굴 부분의 위치에 정렬하며 상기 고화질 얼굴 이미지를 이용하여 이미지의 얼굴 부분을 대체함으로써 얼굴 이미지의 해상도 향상을 실현할 수 있다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 다른 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
도면은 본 해결수단을 더 잘 이해하기 위한 것으로 본원 발명에 대해 한정하는 것이 아니다.
도 1은 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 방법의 흐름도1이다.
도 2는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 방법의 흐름도2이다.
도 3a는 본원 발명의 실시예에 따른 하나의 원본 이미지 모식도이다.
도 3b는 본원 발명의 실시예에 따른 하나의 제1 이미지 모식도이다.
도 3c는 본원 발명의 실시예에 따른 하나의 얼굴 부분의 이미지 모식도이다.
도 3d는 본원 발명의 실시예에 따른 하나의 고화질 얼굴 이미지 모식도이다.
도 3e는 본원 발명의 실시예에 따른 하나의 얼굴 분할 모델에 의해 출력된 분할된 이미지 모식도이다.
도 3f는 본원 발명의 실시예에 따른 하나의 시맨틱 분할 맵 모식도이다.
도 3g는 본원 발명의 실시예에 따른 하나의 고화질 얼굴 이미지가 원본 이미지 위치로 정렬된 모식도이다.
도 3h는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 결과 모식도이다.
도 4는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 장치의 구조 모식도1이다.
도 5는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 장치의 구조 모식도2이다.
도 6은 본원 발명의 실시예에 따른 얼굴 초해상도 실현 방법을 실현하는 전자기기의 블록도이다.
이하 도면과 결부하여 본원 발명의 예시적인 실시예를 설명하되, 여기서 본원 발명의 실시예를 포함하는 여러 가지 세부절차는 이해를 돕기 위한 것으로 이들은 응당 예시적인 것으로 간주해야 한다. 따라서 본 기술분야에서 통상의 지식을 가진 자들은 여기서 설명한 실시예에 대하여 여러 가지 변화와 수정을 진행할 수 있고 이는 본원 발명의 범위와 정신을 벗어나지 않는다는 것을 알 수 있다. 마찬가지로 뚜렷함과 간결함을 위하여 아래의 설명에서는 공지 기능과 구조에 대한 설명을 생략한다.
본원 발명의 실시예는 얼굴 초해상도 실현 방법을 제안하고, 도 1은 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 방법의 흐름도1이며,
제1 이미지의 얼굴 부분을 추출하는 단계(S101);
상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻는 단계(S102);
상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하는 단계(S103);
상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻는 단계(S104)를 포함한다.
얼굴 초해상도 모델은 얼굴 이미지의 해상도를 향상시킬 수 있다. 본원 발명의 실시예는 제1 이미지의 얼굴 부분을 추출하고 추출된 얼굴 부분의 해상도를 향상시켜 고화질 얼굴 이미지를 얻으며, 다시 고화질 얼굴 이미지를 제1 이미지의 얼굴 부분이 있는 위치에 배치하여 제1 이미지의 얼굴 부분을 대체함으로써 제1 이미지의 얼굴 부분의 해상도 향상을 실현한다.
도 2는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 방법의 흐름도2이고 도 2에 도시된 바와 같이, 상기 단계(S101) 이전에 본원 발명의 실시예는,
원본 이미지의 얼굴 키포인트 정보를 검출하는 단계(S201);
상기 원본 이미지를 확대하여 제1 이미지를 얻고 상기 제1 이미지의 얼굴 키포인트 정보를 얻는 단계(S202)를 더 포함할 수 있으며, 여기서, 제1 이미지의 얼굴 키포인트 정보는 상기 원본 이미지의 얼굴 키포인트 정보에 대해 이미지 확대를 진행하여 얻은 정보를 포함한다.
일부 실시형태에서, 상기 단계(S201)는,
원본 이미지를 미리 트레이닝된 얼굴 키포인트 검출 모델에 입력하여 얼굴 키포인트 검출 모델에 의해 출력된 얼굴 키포인트 위치를 얻는 단계를 포함한다.
얼굴 키포인트 검출 모델을 사용하여 원본 이미지의 얼굴 키포인트 위치를 정확하게 결정할 수 있다.
일부 실시형태에서, 상기 단계(S202)는,
사용자가 선택한 확대 배율(예를 들면, 선택 가능한 확대 배율은 1배, 2배, 4배 등)에 따라 원본 이미지를 보간 연산함으로써, 원본 이미지를 상응한 크기로 확대한다. 선택적으로, 본원 발명의 실시예는 이중 선형 보간 연산을 사용한다. 원본 이미지를 제1 이미지로 확대하는 동시에, 제1 이미지의 얼굴 키포인트 정보도 상응한 크기로 확대되어 제1 이미지의 얼굴 키포인트 정보를 획득한다.
도 3a는 본원 발명의 실시예에 따른 하나의 원본 이미지 모식도이고 상기 이미지는 합성된 얼굴 이미지이며 도 3a에서 얼굴의 포인트는 얼굴 키포인트이다. 도 3b는 본원 발명의 실시예에 따른 하나의 제1 이미지 모식도이다. 도 3b는 도 3a를 2배 확대한 후 얻은 이미지이다. 본원 발명의 실시예는 합성된 얼굴 이미지를 초해상도 처리할 수 있을 뿐만 아니라, 실제 인물의 얼굴 이미지를 초해상도 처리할 수 있다.
본원 발명의 실시예는 사용자가 선택한 배율에 따라 원본 이미지를 확대하여 상기 제1 이미지를 얻고 제1 이미지의 얼굴 부분의 해상도를 향상시켜 이미지의 확대 크기를 제어할 수 있으며 크기를 확대하는 동시에 충분한 선명도를 보장할 수 있다.
일부 실시형태에서, 상기 단계(S101)는,
상기 제1 이미지의 얼굴 키포인트 정보를 이용하여 얼굴 정렬을 실현하기 위한 변환 행렬을 계산하는 단계;
상기 변환 행렬을 이용하여 상기 제1 이미지의 얼굴 부분을 추출하는 단계를 포함한다.
구체적으로, 상기 제1 이미지의 얼굴 키포인트 정보를 포인트 클라우드로 사용하여 얼굴 정렬을 실현하기 위한 변환 행렬을 계산한 후, 상기 변환 행렬을 통해 얼굴 부분을 제1 이미지에서 차감하여 크기가 (N*N)인 하나의 이미지로 아핀 변환시키고 N은 양의 정수이다. 이 단계는 주로 제1 이미지에서 얼굴 부분을 추출하여 얼굴 초해상도 모델에서 처리하기 적합한 크기로 축소시키기 위한 것이다.
선택적으로, 상기 이미지의 크기 N은 얼굴 크기에 따라 계산될 수 있고 예를 들면, 얼굴이 클수록 대응되는 N이 크다. 일부 실시형태에서, 최종 처리 효과 및 모델 예측 속도를 고려하여 본원 발명의 실시예는 N의 값 범위를 128 ~256 사이로 설정한다.
도 3c는 본원 발명의 실시예에 따른 하나의 얼굴 부분의 이미지 모식도이다. 도 3c는 도 3b에 도시된 제1 이미지에서 추출한 얼굴 부분이고 도 3c의 예시에서, 상기 얼굴 부분의 이미지의 크기는 128*128이며 즉 N=128이다.
일부 실시형태에서, 상기 얼굴 초해상도 모델은 생성적 적대 신경망(GAN, Generative Adversarial Networks)을 사용한다. GAN 모델은 이미지의 해상도를 향상시킬 수 있고, 특히 얼굴 이미지의 해상도를 향상시키는 측면에서 우수한 효과를 갖는다. 본원 발명은 얼굴 초해상도 모델에서 사용하는 모델 유형을 제한하지 않는다.
일부 실시예에서, 상기 단계(S102)에서, N*N의 얼굴 부분의 이미지를 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 4N*4N의 고화질 얼굴 이미지를 얻는다. 도 3d는 본원 발명의 실시예에 따른 하나의 고화질 얼굴 이미지 모식도이고 도 3d에서, 고화질 얼굴 이미지의 크기는 입력된 얼굴 부분 이미지의 4배이다. 출력된 고화질 얼굴 이미지는 얼굴 부분 이미지 내용이 변화되지 않도록 보장할 수 있는 경우(예를 들면 조명, 질감, 자세, 표정 등이 변화되지 않음), 전체 이미지의 선명도를 증가하는 동시에 입력된 얼굴 부분 이미지의 일부 노이즈를 제거함으로써 얻은 고화질 얼굴 이미지가 더욱 선명하고 깨끗하도록 한다. 본원 발명의 실시예에서 사용하는 얼굴 초해상도 모델은 얼굴 이미지에 대하여 트레이닝되므로 얼굴 이미지에 대한 해상도를 향상시키는 우수한 처리 효과를 달성할 수 있다.
일부 실시형태에서, 상기 단계(S103)는,
고화질 얼굴 이미지를 미리 트레이닝된 얼굴 분할 모델에 입력하여 분할된 이미지를 얻는 단계;
상기 분할된 이미지를 이용하여 상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 결정하는 단계를 포함한다.
도 3e는 본원 발명의 실시예에 따른 하나의 얼굴 분할 모델에 의해 출력된 분할된 이미지 모식도이다. 도 3e에 도시된 바와 같이, 분할된 이미지는 얼굴의 오관 등 위치를 표시할 수 있다.
도 3f는 본원 발명의 실시예에 따른 하나의 시맨틱 분할 맵 모식도이다. 도 3f에 도시된 바와 같이, 시맨틱 분할 맵은 전체 이미지에서 얼굴 부분을 전경으로 정확하게 분리할 수 있다.
일부 실시형태에서, 상기 단계(S103)는,
상기 변환 행렬의 역행렬을 이용하여 상기 고화질 얼굴 이미지를 제1 위치에 배치하고 상기 제1 위치는 상기 제1 이미지의 얼굴 부분의 위치인 단계;
상기 시맨틱 분할 맵을 마스크(mask) 맵으로 사용하고 상기 마스크 맵을 사용하여 제1 위치에 배치된 고화질 얼굴 이미지를 제1 이미지와 융합시켜 제1 이미지의 얼굴 부분을 대체하는 단계를 포함한다.
선택적으로, 변환 행렬의 역행렬을 사용하여 고화질 얼굴 이미지를 원본 이미지 위치로 정렬하고 원본 이미지 얼굴의 크기로 축소시킬 수 있다. 도 3g는 본원 발명의 실시예에 따른 하나의 고화질 얼굴 이미지가 원본 이미지 위치로 정렬된 모식도이다.
선택적으로, 얼굴 융합 알고리즘을 이용하여 본원 발명의 실시예는 시맨틱 분할 맵을 마스크(mask) 맵으로 사용하고 고화질 얼굴 이미지를 원본 이미지(즉 상기 제1 이미지)에 융합시키며 고화질 얼굴 이미지를 사용하여 원본 이미지의 저화질 얼굴을 대체하여 얼굴 초해상도를 실현한 후의 최종 결과를 얻는다. 도 3h는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 결과 모식도와 같다.
종합해보면, 본원 발명의 실시예에서 제안된 GAN 기반 얼굴 초해상도 방법은 이미지 크기를 확대할 경우, 이미지의 얼굴의 해상도 및 선명도를 향상시킬 수 있다. 본원 발명의 실시예에서 제안하는 방법은 낮은 레이턴시로 컴퓨터에서 실행될 수 있고, 얼굴 인식 및 검출, 라이브 비디오, 영화 및 TV 특수 효과 등 분야에서 매우 널리 적용되어 우수한 사용자 체험을 갖고 있다.
본원 발명의 실시예는 얼굴 초해상도 실현 장치를 더 제안하고, 도 4는 본원 발명의 실시예에 따른 하나의 얼굴 초해상도 실현 장치의 구조 모식도1이며,
제1 이미지의 얼굴 부분을 추출하기 위한 추출 모듈(410);
상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻기 위한 고화질 처리 모듈(420);
상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하기 위한 시맨틱 분할 맵 획득 모듈(430);
상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻기 위한 융합 모듈(440)을 포함한다.
일부 실시형태에서, 도 5에 도시된 바와 같이, 본원 발명의 실시예에 제안된 얼굴 초해상도 실현 장치는,
원본 이미지의 얼굴 키포인트 정보를 검출하기 위한 검출 모듈(510);
원본 이미지를 확대하여 상기 제1 이미지를 얻고, 상기 원본 이미지의 얼굴 키포인트 정보에 대해 이미지 확대를 진행하여 얻은 정보를 포함하는 상기 제1 이미지의 얼굴 키포인트 정보를 얻기 위한 확대 모듈(520)을 더 포함한다.
일부 실시형태에서, 상기 검출 모듈(510)은 상기 원본 이미지를 미리 트레이닝된 얼굴 키포인트 검출 모델에 입력하여 상기 원본 이미지의 얼굴 키포인트 정보를 얻기 위한 것이다.
일부 실시형태에서, 상기 추출 모듈(410)은,
상기 제1 이미지의 얼굴 키포인트 정보를 이용하여 얼굴 정렬을 실현하기 위한 변환 행렬을 계산하는 변환 행렬 계산 서브 모듈(411);
상기 변환 행렬을 이용하여 상기 제1 이미지의 얼굴 부분을 추출하기 위한 추출 서브 모듈(412)을 포함한다.
일부 실시형태에서, 상기 얼굴 초해상도 모델은 GAN 모델이다.
일부 실시형태에서, 상기 시맨틱 분할 맵 획득 모듈(430)은,
상기 고화질 얼굴 이미지를 미리 트레이닝된 얼굴 분할 모델에 입력하여 분할된 이미지를 얻기 위한 분할된 이미지 획득 서브 모듈(431);
상기 분할된 이미지를 이용하여 상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 결정하기 위한 시맨틱 분할 맵 결정 서브 모듈(432)을 포함한다.
일부 실시형태에서, 상기 융합 모듈(440)은,
상기 변환 행렬의 역행렬을 이용하여 상기 고화질 얼굴 이미지를 제1 위치에 배치하기 위한 정렬 서브 모듈(441) - 상기 제1 위치는 상기 제1 이미지의 얼굴 부분의 위치임 - ;
상기 시맨틱 분할 맵을 마스크 맵으로 사용하고 상기 마스크 맵을 사용하여 상기 제1 위치에 배치된 상기 고화질 얼굴 이미지를 상기 제1 이미지와 융합시켜 상기 제1 이미지의 얼굴 부분을 대체하기 위한 융합 서브 모듈(442)을 포함한다.
본원 발명의 실시예에서 각 장치의 각 모듈의 기능은 상기 방법에 대응되는 설명을 참조할 수 있고 여기서 상세한 설명을 생략한다.
본원 발명의 실시예에 따르면, 본원 발명은 전자기기 및 판독 가능 저장매체를 더 제공한다.
도 6에 도시된 바와 같이, 이는 본원 발명의 실시예에 따른 얼굴 초해상도 실현 방법의 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 작업대, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 다른 적합한 컴퓨터와 같은 여러 가지 형식의 디지털 컴퓨터를 가리킨다. 전자기기는 개인 디지털 프로세싱, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 여러 가지 형식의 이동장치를 더 나타낼 수 있다. 본 명세서에 도시된 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐 본 명세서에서 설명 및/또는 요구한 본원 발명의 실현을 한정하기 위한 것이 아니다.
도 6에 도시된 바와 같이, 이 전자기기는 하나 또는 다수의 프로세서(601), 메모리(602) 및 각 부품을 연결하기 위한, 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 서로 연결되고 공용 메인보드에 장착되거나 또는 수요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자기기 내에 수행되는 명령을 처리할 수 있는데 이는 메모리에 저장되거나 또는 메모리에 저장되어 외부 입력/출력장치(예를 들어 인터페이스에 커플링된 디스플레이 기기)에 GUI를 표시하는 그래프 정보의 명령을 포함한다. 다른 실시형태에서 만약 필요하면 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리 및 다수의 메모리와 함께 사용할 수 있다. 마찬가지로 다수의 전자기기를 연결할 수 있고 각 기기는 일부 필요한 조작(예를 들면 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템으로 함)를 제공할 수 있다. 도 6에서는 프로세서(601)를 예로 한다.
메모리(602)는 본원 발명에서 제공하는 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행될 수 있는 명령이 저장되어 상기 적어도 하나의 프로세서로 하여금 본원 발명에서 제공하는 얼굴 초해상도 실현 방법을 수행하도록 할 수 있다. 본원 발명의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고 이 컴퓨터 명령은 컴퓨터로 하여금 본원 발명에서 제공하는 얼굴 초해상도 실현 방법을 수행하도록 한다.
메모리(602)는 비일시적 컴퓨터 판독 가능 저장매체로서 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어 본원 발명의 실시예에서의 얼굴 초해상도 실현 방법에 대응되는 프로그램 명령/모듈(예를 들면, 도 4에 도시된 추출 모듈(410), 고화질 처리 모듈(420), 시맨틱 분할 맵 획득 모듈(430) 및 융합 모듈(440))을 저장하는데 사용될 수 있다. 프로세서(601)는 메모리(602)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 작동시킴으로써 서버의 여러 가지 기능 애플리케이션 및 데이터 처리를 수행, 즉 상기 방법 실시예에서의 얼굴 초해상도 실현 방법을 실현한다.
메모리(602)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있으며, 여기서 프로그램 저장영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 얼굴 초해상도에 따른 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고 비일시적 메모리, 예를 들면 적어도 하나의 디스크 메모리, 플래시 메모리 또는 다른 비일시적 솔리드 스테이트 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(602)는 선택적으로 프로세서(601)에 대해 원격으로 설치되는 메모리를 포함하고 이러한 원격 메모리는 네트워크를 통해 얼굴 초해상도를 실현하는 전자기기에 연결될 수 있다. 상기 네트워크의 구현 예는 인터넷, 인트라넷, 근거리 통신망, 블록체인 네트워크, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.
얼굴 초해상도 실현 방법의 전자기기는 입력장치(603)와 출력장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력장치(603)와 출력장치(604)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 6에서는 버스를 통해 연결되는 것을 예로 한다.
입력장치(603)는 입력된 숫자 또는 문자 부호정보를 수신할 수 있고 또한 XXX의 전자기기의 사용자 설정 및 기능 제어와 관련되는, 예를 들면 터치 스크린, 키보드, 마우스, 트랙패드, 터치패드, 지시바, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치와 같은 키 신호 입력을 발생할 수 있다. 출력장치(604)는 디스플레이 기기, 보조 조명장치(예를 들면, LED)와 촉각 피드백 장치(예를 들면, 진동 모터) 등을 포함할 수 있다. 이 디스플레이 기기는 액정 모니터(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명하는 시스템과 기술의 여러 가지 실시 형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC(전용 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현할 수 있다. 이러한 여러 가지 실시 형태는 하나 또는 다수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며 이 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서로서 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치에서 데이터와 명령을 수신할 수 있고 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력장치 및 상기 적어도 하나의 출력장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 한다)은 프로그램 가능 프로세서의 기계 명령을 포함하고 고급 프로세서 및/또는 오브젝트를 향한 프로그램 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨터 프로그램을 실시할 수 있다. 본 명세서에서 사용한 용어 “기계 판독 가능 매체”와 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면 자기 디스크, 시디롬, 메모리 프로그램 가능 로직 장치(PLD))를 가리키고 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 가리킨다.
사용자와 교류하고 컴퓨터에서 여기서 설명하는 시스템과 기술을 실시할 수 있도록 하기 위하여 이 컴퓨터는, 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고 사용자는 이 키보드와 이 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치는 사용자와의 교류에 사용될 수도 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고 임의의 형식(소리 입력, 음성 입력 또는 촉감 입력을 포함)에 의해 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버) 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버) 또는 전단 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래프 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터, 사용자는 이 그래프 사용자 인터페이스 또는 이 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 교류할 수 있다) 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 전단 부품을 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)를 통해 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망 (LAN), 광역 통신망 (WAN) 및 블록체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트단과 서버를 포함할 수 있다. 클라이언트단과 서버는 일반적으로 서로 멀리하는 동시에 통신 네트워크를 통해 서로 교류한다. 상응하는 컴퓨터에서 운행되고 서로 클라이언트단-서버 관계를 가지는 컴퓨터 프로그램을 구비하여 클라이언트단과 서버의 관계를 발생한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 알려진 클라우드 서버일 수 있고 클라우드 컴퓨팅 서비스 체제의 호스팅 제품으로써 관리가 어려우며 업무 확장성이 약한, 기존의 물리적 호스트와 VPS 서비스에 존재하는 흠결을 해결한다.
본원 발명의 실시예의 기술적 해결수단에 따르면, 키포인트 검출 모델을 사용하여 원본 이미지의 얼굴 키포인트 정보를 검출하고 사용자가 선택한 확대 배율에 따라 원본 이미지를 확대하여 제1 이미지를 얻으며 원본 이미지의 얼굴 키포인트 정보를 상응한 크기로 확대할 수 있다. 얼굴 키포인트를 이용하여 얼굴 정렬의 변환 행렬을 계산하고 상기 변환 행렬은 얼굴 부분을 제1 이미지에서 차감하여 고정된 크기의 이미지로 아핀 변환시킨다. 상기 이미지를 미리 트레이닝된 GAN 모델에 입력하여 해상도가 향상된 고화질 얼굴 이미지를 얻은 후 변환 행렬의 역행렬, 및 대응되는 얼굴 부분의 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지를 제1 이미지에 융합시키고 고화질 얼굴 이미지를 사용하여 제1 이미지의 저화질 얼굴을 대체하여 최종 결과 이미지를 얻는다. 상기 최종 결과 이미지는 원본 이미지의 확대를 실현하고 얼굴 부분의 해상도를 향상시킨다.
이해해야 할 것은, 이상에서 설명한 여러 가지 형태의 과정을 다시 정렬시키고 증가 또는 삭제하는 단계를 사용할 수 있다. 예를 들면 본원 발명에서 기재한 각 단계는 동시에 수행할 수도 있고 순차적으로 수행할 수도 있으며 상이한 순서로 수행할 수도 있는 바, 본원 발명에서 개시한 기술적 해결수단에서 기대하는 결과를 실현할 수만 있다면 본 내용은 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본원 발명의 보호범위를 한정하지 않는다. 본 기술분야에서 통상의 지식을 가진 자들은 설계 요구와 다른 요소에 근거하여 여러 가지 수정, 조합, 하위 조합과 대체를 진행할 수 있다는 것을 이해할 수 있다. 본원 발명의 정신과 원칙 내에서 진행한 그 어떤 수정, 균등한 대체와 개선은 모두 본원 발명의 보호범위 내에 포함된다.

Claims (17)

  1. 원본 이미지의 얼굴 키포인트 정보를 검출하는 단계;
    상기 원본 이미지를 확대하여 제1 이미지를 얻고, 상기 제1 이미지의 얼굴 키포인트 정보를 얻는 단계 - 상기 제1 이미지의 얼굴 키포인트 정보는, 상기 원본 이미지의 얼굴 키포인트 정보를 상응한 크기로 확대하여 얻은 정보를 포함함 -;
    상기 제1 이미지의 얼굴 부분을 추출하는 단계;
    상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻는 단계;
    상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하는 단계;
    상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 원본 이미지의 얼굴 키포인트 정보를 검출하는 단계는,
    상기 원본 이미지를 미리 트레이닝된 얼굴 키포인트 검출 모델에 입력하여 상기 원본 이미지의 얼굴 키포인트 정보를 얻는 단계를 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 제1 이미지의 얼굴 부분을 추출하는 단계는,
    상기 제1 이미지의 얼굴 키포인트 정보를 이용하여 얼굴 정렬을 실현하기 위한 변환 행렬을 계산하는 단계;
    상기 변환 행렬을 이용하여 상기 제1 이미지의 얼굴 부분을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  5. 제1항 또는 제3항에 있어서,
    상기 얼굴 초해상도 모델은 생성적 적대 신경망(GAN) 모델인 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  6. 제1항 또는 제3항에 있어서,
    상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하는 단계는,
    상기 고화질 얼굴 이미지를 미리 트레이닝된 얼굴 분할 모델에 입력하여 분할된 이미지를 얻는 단계;
    상기 분할된 이미지를 이용하여 상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  7. 제4항에 있어서,
    상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하는 단계는,
    상기 변환 행렬의 역행렬을 이용하여 상기 고화질 얼굴 이미지를 제1 위치에 배치하는 단계 - 상기 제1 위치는 상기 제1 이미지의 얼굴 부분의 위치임 - ;
    상기 시맨틱 분할 맵을 마스크 맵으로 사용하고 상기 마스크 맵을 사용하여 상기 제1 위치에 배치된 상기 고화질 얼굴 이미지를 상기 제1 이미지와 융합시켜 상기 제1 이미지의 얼굴 부분을 대체하는 단계를 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 방법.
  8. 원본 이미지의 얼굴 키포인트 정보를 검출하기 위한 검출 모듈;
    상기 원본 이미지를 확대하여 제1 이미지를 얻고, 상기 제1 이미지의 얼굴 키포인트 정보를 얻기 위한 확대 모듈 -상기 제1 이미지의 얼굴 키포인트 정보는, 상기 원본 이미지의 얼굴 키포인트 정보를 상응한 크기로 확대하여 얻은 정보를 포함함 -;
    상기 제1 이미지의 얼굴 부분을 추출하기 위한 추출 모듈;
    상기 얼굴 부분을 미리 트레이닝된 얼굴 초해상도 모델에 입력하여 고화질 얼굴 이미지를 얻기 위한 고화질 처리 모듈;
    상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 획득하기 위한 시맨틱 분할 맵 획득 모듈;
    상기 시맨틱 분할 맵을 이용하여 상기 고화질 얼굴 이미지로 상기 제1 이미지의 얼굴 부분을 대체하여 얼굴 초해상도 이미지를 얻기 위한 융합 모듈을 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 검출 모듈은 상기 원본 이미지를 미리 트레이닝된 얼굴 키포인트 검출 모델에 입력하여 상기 원본 이미지의 얼굴 키포인트 정보를 얻기 위한 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  11. 제8항 또는 제10항에 있어서,
    상기 추출 모듈은,
    상기 제1 이미지의 얼굴 키포인트 정보를 이용하여 얼굴 정렬을 실현하기 위한 변환 행렬을 계산하는 변환 행렬 계산 서브 모듈;
    상기 변환 행렬을 이용하여 상기 제1 이미지의 얼굴 부분을 추출하기 위한 추출 서브 모듈을 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  12. 제8항 또는 제10항에 있어서,
    상기 얼굴 초해상도 모델은 GAN 모델인 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  13. 제8항 또는 제10항에 있어서,
    상기 시맨틱 분할 맵 획득 모듈은,
    상기 고화질 얼굴 이미지를 미리 트레이닝된 얼굴 분할 모델에 입력하여 분할된 이미지를 얻기 위한 분할된 이미지 획득 서브 모듈;
    상기 분할된 이미지를 이용하여 상기 고화질 얼굴 이미지에 대응되는 시맨틱 분할 맵을 결정하기 위한 시맨틱 분할 맵 결정 서브 모듈을 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  14. 제11항에 있어서,
    상기 융합 모듈은,
    상기 변환 행렬의 역행렬을 이용하여 상기 고화질 얼굴 이미지를 제1 위치에 배치하기 위한 정렬 서브 모듈 - 상기 제1 위치는 상기 제1 이미지의 얼굴 부분의 위치임 - ;
    상기 시맨틱 분할 맵을 마스크 맵으로 사용하고 상기 마스크 맵을 사용하여 상기 제1 위치에 배치된 상기 고화질 얼굴 이미지를 상기 제1 이미지와 융합시켜 상기 제1 이미지의 얼굴 부분을 대체하기 위한 융합 서브 모듈을 포함하는 것을 특징으로 하는 얼굴 초해상도 실현 장치.
  15. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하는 전자기기에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서로 하여금 제1항 또는 제3항에 따른 방법을 실행할 수 있도록 하는 것을 특징으로 하는 전자기기.
  16. 컴퓨터로 하여금 제1항 또는 제3항에 따른 방법을 실행하도록 하기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  17. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 또는 제3항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210037799A 2020-06-17 2021-03-24 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램 KR102499996B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010552759.6A CN111709878B (zh) 2020-06-17 2020-06-17 人脸超分辨率实现方法、装置、电子设备及存储介质
CN202010552759.6 2020-06-17

Publications (2)

Publication Number Publication Date
KR20210040302A KR20210040302A (ko) 2021-04-13
KR102499996B1 true KR102499996B1 (ko) 2023-02-16

Family

ID=72540582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037799A KR102499996B1 (ko) 2020-06-17 2021-03-24 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US11710215B2 (ko)
EP (1) EP3843031A3 (ko)
JP (1) JP7317070B2 (ko)
KR (1) KR102499996B1 (ko)
CN (1) CN111709878B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
CN112418167A (zh) * 2020-12-10 2021-02-26 深圳前海微众银行股份有限公司 图像的聚类方法、装置、设备和存储介质
CN112598580B (zh) * 2020-12-29 2023-07-25 广州光锥元信息科技有限公司 提升人像照片清晰度的方法及装置
US20220335572A1 (en) * 2021-04-12 2022-10-20 nearmap australia pty ltd. Semantically accurate super-resolution generative adversarial networks
CN113177881B (zh) * 2021-04-28 2023-10-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
JPWO2022269963A1 (ko) * 2021-06-23 2022-12-29
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备
US20230081128A1 (en) * 2021-09-16 2023-03-16 Samsung Electronics Co., Ltd. Picture quality-sensitive semantic segmentation for use in training image generation adversarial networks
KR20230055638A (ko) * 2021-10-19 2023-04-26 서울과학기술대학교 산학협력단 생성적 적대 네트워크 기반 영상 생성 모델 생성 방법
CN115376188B (zh) * 2022-08-17 2023-10-24 天翼爱音乐文化科技有限公司 一种视频通话处理方法、***、电子设备及存储介质
KR102614662B1 (ko) * 2023-01-31 2023-12-20 아주대학교산학협력단 화소 단위 사영 판별자를 이용한 영상 노이즈 제거 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5552956B2 (ja) * 2010-08-12 2014-07-16 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
US9836820B2 (en) 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106022269B (zh) * 2016-05-23 2019-04-16 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
CN107742112A (zh) * 2017-10-26 2018-02-27 广东工业大学 一种基于图像的人脸防伪方法及装置
CN109978754A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108460343B (zh) * 2018-02-06 2019-06-07 北京达佳互联信息技术有限公司 图像处理方法、***及服务器
CN108304816B (zh) * 2018-02-09 2020-09-01 京东数字科技控股有限公司 身份识别方法、装置、存储介质及电子设备
CN108391111A (zh) 2018-02-27 2018-08-10 深圳Tcl新技术有限公司 图像清晰度调节方法、显示装置及计算机可读存储介质
KR20190136893A (ko) * 2018-05-30 2019-12-10 카네기 멜론 유니버시티 강건한 자동화 학습 시스템을 생성하고 훈련된 자동화 학습 시스템을 시험하기 위한 방법, 장치 및 컴퓨터 프로그램
CN109191392B (zh) * 2018-08-09 2021-06-04 复旦大学 一种语义分割驱动的图像超分辨率重构方法
CN112088393B (zh) * 2018-09-29 2022-09-23 华为技术有限公司 图像处理方法、装置及设备
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109584162B (zh) 2018-11-30 2023-06-13 江苏网进科技股份有限公司 一种基于生成网络的图像超分辨率重构的方法
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备
CN109740688B (zh) * 2019-01-09 2023-04-18 广东工业大学 一种太赫兹图像信息解译方法、网络及存储介质
CN109785311B (zh) * 2019-01-14 2021-06-04 深圳和而泰数据资源与云技术有限公司 一种疾病诊断装置、电子设备及存储介质
CN110008817B (zh) * 2019-01-29 2021-12-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109815928B (zh) * 2019-01-31 2021-05-11 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN109948441B (zh) * 2019-02-14 2021-03-26 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110309706B (zh) * 2019-05-06 2023-05-12 深圳华付技术股份有限公司 人脸关键点检测方法、装置、计算机设备及存储介质
CN110163801B (zh) * 2019-05-17 2021-07-20 深圳先进技术研究院 一种图像超分辨和着色方法、***及电子设备
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建***
CN110569721B (zh) * 2019-08-01 2023-08-29 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110414463A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种基于人脸超分辨率的人脸检测模型
CN110443230A (zh) * 2019-08-21 2019-11-12 北京百度网讯科技有限公司 人脸融合方法、装置以及电子设备
CN111047509B (zh) * 2019-12-17 2024-07-05 中国科学院深圳先进技术研究院 一种图像特效处理方法、装置及终端
CN111126265A (zh) * 2019-12-24 2020-05-08 杭州魔点科技有限公司 活体检测方法、装置、电子设备及介质
CN111163265A (zh) * 2019-12-31 2020-05-15 成都旷视金智科技有限公司 图像处理方法、装置、移动终端及计算机存储介质
CN111275784B (zh) * 2020-01-20 2023-06-13 北京百度网讯科技有限公司 生成图像的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deokyun Kim et al., "Progressive Face Super-Resolution via Attention to Facial Landmark", Computer Vision and Pattern Recognition, (2019.08.22.)*
Jian Yang, et al., "Nuclear Norm based Matrix Regression with Applications to Face Recognition with Occlusion and Illumination Changes", IEEE Transactions on Pattern Analysis and Machine Intelligence,*
Yu Chen, et al., "FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors", Computer Vision and Pattern Recognition, (2018.06.18-22)*

Also Published As

Publication number Publication date
JP7317070B2 (ja) 2023-07-28
KR20210040302A (ko) 2021-04-13
US20210209732A1 (en) 2021-07-08
EP3843031A2 (en) 2021-06-30
JP2021166049A (ja) 2021-10-14
EP3843031A3 (en) 2021-10-20
US11710215B2 (en) 2023-07-25
CN111709878A (zh) 2020-09-25
CN111709878B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
KR102499996B1 (ko) 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램
US20210209774A1 (en) Image adjustment method and apparatus, electronic device and storage medium
JP7228608B2 (ja) ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム
US11637986B2 (en) Method and apparatus for interpolating frame to video, and electronic device
US11641446B2 (en) Method for video frame interpolation, and electronic device
CN111654723B (zh) 视频质量提升方法、装置、电子设备和存储介质
US11748986B2 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
CN111932464B (zh) 超分辨率模型使用和训练方法、装置、设备及介质
US11810384B2 (en) Method and apparatus for recognizing text content and electronic device
CN111709875B (zh) 图像处理方法、装置、电子设备及存储介质
KR102432561B1 (ko) 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기
JP7389824B2 (ja) オブジェクト識別方法と装置、電子機器及び記憶媒体
US11983849B2 (en) Image filling method and apparatus, device, and storage medium
CN111861991B (zh) 计算图像清晰度的方法以及装置
US20210398335A1 (en) Face editing method, electronic device and readable storage medium thereof
KR102648760B1 (ko) 이미지 생성 방법 및 장치
KR20210131221A (ko) 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US11508044B2 (en) Method for translating image, method for training image translation model
US11526971B2 (en) Method for translating image and method for training image translation model
CN114898190A (zh) 一种图像处理方法和装置
CN113160044B (zh) 深度图像超分辨率方法、训练方法及装置、设备、介质
CN116880789A (zh) 一种屏幕扩展方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right