KR20220011100A - 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 - Google Patents
얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220011100A KR20220011100A KR1020210093968A KR20210093968A KR20220011100A KR 20220011100 A KR20220011100 A KR 20220011100A KR 1020210093968 A KR1020210093968 A KR 1020210093968A KR 20210093968 A KR20210093968 A KR 20210093968A KR 20220011100 A KR20220011100 A KR 20220011100A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual person
- image
- face
- virtual
- image search
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 10
- 230000008451 emotion Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 관한 것이다.
본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있다.
본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있다.
Description
본 발명은 가상 인물 생성 시스템 및 방법에 관한 것으로서, 더 상세하게는 가상 인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하면 텍스트 또는 실제 인물 사진과 유사한 가상 인물이 검색되고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 인식할 수 있는 형태(예를 들면, 이미지의 경우 픽셀 정보를 열 벡터로 표현하는 툴)로 표현하고, 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.
DNN(deep neural networks), CNN(convolutional neural network), RNN(recurrent neural network) 등과 같은 다양한 딥러닝 기법들이 음성 신호 처리, 자연 언어 처리, 이미지(영상) 처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.
한편, 사후 등 초상권이 만료된 유명인의 경우, 창작의 자유로운 소재가 되나 기존 사진을 활용하지 못하는 문제가 있다. 초상권 제한은 없으나 사진기록 등 기록 콘텐츠에 대한 재산권의 제한이 있어 여전히 창작의 발전에 한계가 있다. 또한 가상 캐릭터 비즈니스에서 이상형 얼굴을 데이터를 기반으로 분석하거나 생성하지 못하는 문제가 있다.
한국 공개특허공보 제10-2012-0130627호(특허문헌 1)에는 "아바타를 이용한 애니메이션 생성 장치 및 방법"이 개시되어 있는바, 이에 따른 아바타를 이용한 애니메이션 생성 장치는, 이차원 얼굴 영상으로부터 추출된 복수 개의 특징점들을 이용하여 표정의 변형이 가능한 매개변수 모델을 생성하고, 텍스트 데이터에서 추출된 특징 단어와 상기 복수 개의 특징점들에 대응되는 표정 매개변수를 미리 저장된 데이터베이스에서 검색하는 모델 생성부; 상기 텍스트 데이터에 포함된 단어의 음성학적 특성을 이용하여 상기 텍스트 데이터를 음성으로 표현할 때 상기 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하고, 상기 매개변수 모델에 상기 표정 매개변수 및 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안의 표정 변화를 반영한 애니메이션을 생성하는 애니메이션 생성부; 및 가상공간에서 상기 이차원 얼굴 영상에 대응되는 아바타를 이용하여 상기 애니메이션을 출력하는 출력부를 포함하는 것을 특징으로 한다.
이와 같은 특허문헌 1의 경우, 하나의 이차원 영상과 텍스트를 이용하여 가상공간에서 사용자들을 대신하는 아바타를 통해 애니메이션을 합성할 수 있는 효과가 있으나, 가상 캐릭터 비즈니스에서 이상형 얼굴을 데이터를 기반으로 분석하거나 생성하지는 못하는 문제점을 내포하고 있다.
본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하면 텍스트 또는 실제 인물 사진과 유사한 가상 인물이 검색되고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템은,
외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하여 얼굴 랜드마크 기반 유사도 비교를 통해 유사한 이미지를 추출하는 이미지 검색부와;
상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 가상 인물 생성부; 및
인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 포함하는 점에 그 특징이 있다.
여기서, 상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성될 수 있다.
또한, 상기 이미지 데이터베이스는 빠른 검색을 위한 목업 부분과, 실제 고화질 활용을 위한 로우(raw) 부분으로 구성될 수 있다.
이때, 상기 로우(raw) 부분은 유연한 고객 맞춤형을 위해 잠재 벡터(latent vector) 형태로 구성될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은,
a) 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와;
b) 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와;
c) 상기 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및
d) 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 d)에서 상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 단계 d)에서 상기 가상 인물 생성부에 의해 생성된 가상 인물을 다양한 각도로 2D 또는 3D 렌더링하는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있는 장점이 있다.
도 1은 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 도 1에 도시된 시스템의 이미지 데이터베이스의 목업 부분의 목업 데이터에 저장되어 있는 얼굴 랜드마크의 종류를 나타낸 도면이다.
도 2는 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 도 1에 도시된 시스템의 이미지 데이터베이스의 목업 부분의 목업 데이터에 저장되어 있는 얼굴 랜드마크의 종류를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템(100)은 이미지 검색부(110), 가상 인물 생성부(120) 및 이미지 데이터베이스(130)를 포함하여 구성된다.
이미지 검색부(110)는 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스(130)를 검색하여, 도 3의 (B), (C), (D)와 같은 얼굴 랜드마크를 기반으로 유사도 비교를 통해 유사한 이미지를 추출한다.
가상 인물 생성부(120)는 상기 이미지 검색부(110)에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성한다.
이미지 데이터베이스(130)에는 인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있다.
여기서, 상기 가상 인물 생성부(120)는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는(예를 들면, 눈동자, 머리카락, 피부 등의 색과 표현에 대하여 고객 맞춤형으로) 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부(120)에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성될 수 있다.
또한, 상기 이미지 데이터베이스(130)는 빠른 검색을 위한 목업 부분(131)과, 실제 고화질 활용을 위한 로우(raw) 부분(132)으로 구성될 수 있다. 여기서, 목업 부분(131)에 저장되어 있는 목업 데이터는 얼굴 랜드마크 기반 유사도 판정시 로우 데이터가 지나치게 큰 용량이어서 유사도 계산시 컴퓨팅 자원의 절약 및 시간의 절약을 위해 사용한다. 로우(raw) 부분(132)에 저장되어 있는 로우 데이터는 손실이 되지 않은 무손실 이미지 데이터이다. 목업 데이터에는 얼굴 랜드마크가 저장되어 있고, 랜드마크의 종류는 여러 가지이며, 예를 들면 도 3의 (B), (C), (D)와 같은 종류가 있을 수 있다.
이때, 상기 로우(raw) 부분(132)은 유연한 고객 맞춤형을 위해 잠재 벡터 (latent vector) 형태로 구성될 수 있다.
여기서, 또한 이상과 같은 이미지 검색부(110), 가상 인물 생성부(120) 및 이미지 데이터베이스(130)는 전체적으로 하나의 컴퓨터 시스템으로 통합되어 구성될 수도 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템을 바탕으로 한 얼굴 이미지 검색을 통한 가상 인물 생성 방법에 대하여 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법에 따라, 먼저 컴퓨터 시스템(미도시)에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스(130)에 저장한다(단계 S201). 이때, "StyleGAN2" 등의 생성 모델(generative model)을 이용하여 가상 인물 이미지(가상 캐릭터 얼굴 이미지)를 생성하여 이미지 데이터베이스(130)에 저장할 수 있다.
이후, 이미지 검색부(110)에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스(130)를 검색한다(단계 S202). 여기서, 이미지 검색부(110)에 입력되는 소스는 2D 이미지로 한정되는 것은 아니며, 경우에 따라서는 텍스트(키워드)(예를 들면, 30대, 여자, 계란형, 고양이상)가 입력될 수도 있다. 이와 같은 텍스트(키워드)에 의한 검색에 대해서는 뒤에서 다시 설명하기로 한다.
이렇게 하여 이미지 검색부(110)가 이미지 데이터베이스(130)를 검색한 후,이미지 검색부(110)는 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스(130)로부터 유사한 이미지를 추출한다(단계 S203). 여기서, 만일 이미지 검색부(110)에 2D 이미지가 아닌 텍스트(키워드)(예를 들면, 30대, 여자, 계란형, 고양이상)가 입력된 경우에는, 이미지 검색부(110)는 유사도 비교를 통해 이미지 데이터베이스(130)로부터 유사한 이미지를 추출하지 않는다. 이때는 대신 위와 같은 특정 텍스트(키워드)(30대, 여자, 계란형, 고양이상)에 대하여 미리 작성하여 데이터베이스(130)에 저장해 놓은 일종의 룩업 테이블(look-up table)과 같은 하나의 기준 테이블을 검색하여 유사한 이미지를 추출하게 된다.
상기 단계 S203에서 유사한 이미지의 추출이 완료되면, 가상 인물 생성부(120)가 상기 이미지 검색부(110)에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성한다(단계 S204). 여기서, 상기 가상 인물 생성부(120)는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는(예를 들면, 눈동자, 머리카락, 피부 등의 색과 표현에 대하여 고객 맞춤형으로) 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부(120)에 의해 생성된 가상 인물을 다양한 각도로 2D 또는 3D 렌더링하는 단계를 더 포함할 수 있다.
이상과 같은 일련의 과정에서, 상기 단계 S202에서의 이미지 검색부(110)에 의해 이미지 데이터베이스(130)를 검색하는 것과 관련하여 조금 더 설명을 부가해 보기로 한다.
먼저, 이미지 데이터베이스에서 실제 얼굴 이미지를 이용한 검색 방법에 대해 설명해 보기로 한다.
이 검색 방법을 위해 "StyleGAN2" 등의 생성 모델(generative model)을 이용하여 생성한 가상 인물 이미지가 이미지 데이터베이스(130)에 저장되어 있는 것으로 가정한다. 이 이미지 데이터 베이스(130)에는 전술한 바와 같은 로우(raw) 데이터와 목업(mock up) 데이터 형태가 모두 저장되어 있다. 목업 데이터에는 얼굴 랜드마크도 저장되어 있다.
사용자(고객)가 실제 사람 얼굴이 들어간 얼굴 이미지를 입력하면, 이미지 검색부(110)는 이미지 데이터베이스(130)를 검색한 후, 얼굴의 랜드마크를 PRNet 등의 알고리즘을 통해 추출한다. 여기서, PRNet 알고리즘은 얼굴 3D 정보를 UV 맵핑을 통해 2D로 표현하는 알고리즘이다. 이와 같은 PRNet 알고리즘에 대해서는 논문 "Y. Feng, F. Wu, X. Shao, Y. Wang, and X. Zhou. Joint 3D face reconstruction and dense alignment with position map regression network. In ECCV, 2018. 2, 3, 7"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
이미지 검색부(110)는 이미지 데이터 베이스(130)의 목업 데이터에 있는 얼굴 랜드마크와, 사용자(고객)가 입력한 이미지의 랜드마크 사이의 유사도를 계산하여, 이미지 데이터베이스(130)에 저장되어 있는 이미지 중 가장 유사한 이미지를 검색한다. 이때, 유사도 계산은 예를 들어, 2차원 얼굴 이미지 랜드마크의 정확도와 관련된 "mean error", "cumulative error"에 의해 수행될 수 있다.
"mean error"를 수식으로 표현하면 다음과 같다.
여기서 는 i번째 얼굴 이미지의 랜드마크를 예측하는 머신러닝 모델이 예측한 모양, 는 실제 모양, 는 두 눈 사이의 거리, p는 랜드마크의 갯수, n은 전체 얼굴 이미지 개수이다.
또한, "cumulative error"와 관련된 CED(cumulative errors distribution)는, 라고 할 때, 가 보다 작거나 같은 이미지의 갯수를 n 으로 나눈 값이다. 즉, CED는 평균 오차가 이하인 이미지 개수의 비율이다. 이를 수식으로 표현하면 아래와 같다.
이상과 같은 "mean error", "CED"에 대해서는 논문 "Lai, H.; Xiao, S.; Pan, Y.; Cui, Z.; Feng, J.; Xu, C.; Yin, J.; Yan, S. Deep recurrent regression for facial landmark detection. IEEE Trans. Circuits Syst. Video Technol. 2018, 28, 1144-1157"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
다음으로, 이미지 데이터베이스에서 키워드(텍스트)로 검색하는 방법에 대해 설명해 보기로 한다.
이 방법에서도 마찬가지로 StyleGAN2 등의 생성 모델(generative model)을 이용하여 생성한 가상 인물 이미지가 이미지 데이터베이스(130)에 저장되어 있는 것으로 가정한다.
먼저, “Amazon Rekognition” 또는 사전 훈련된 머신 러닝 모델을 활용하여 이미지 데이터베이스(130)에 있는 이미지들의 특징들을 추출하여 저장한다. 예를 들면, 나이, 성별, 안경 유무, 스마트함 등의 결과값 텍스트를 새로운 데이터베이스(DB)에 저장한다. 그런 후, 사용자가 키워드로 검색을 하면, 이미지 검색부(110)는 위의 새로운 데이터베이스(DB)에서 검색을 하며, 이에 따라 해당하는 이미지가 검색된다. 이때, 해당하는 이미지가 다수 개 있는 경우 하나를 선택하게 되고, 검색이 되지 않는 경우는 결과가 없음을 사용자에게 알려준다.
이상의 설명과 같이, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법은 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 이미지 검색부 120: 가상 인물 생성부
130: 이미지 데이터베이스 131: 목업 부분
132: 로우 부분
130: 이미지 데이터베이스 131: 목업 부분
132: 로우 부분
Claims (12)
- 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하여 얼굴 랜드마크 기반 유사도 비교를 통해 유사한 이미지를 추출하는 이미지 검색부와;
상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운가상 인물을 생성하는 가상 인물 생성부; 및
인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 포함하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제1항에 있어서,
상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제2항에 있어서,
상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제2항에 있어서,
상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 중 적어도 하나를 포함하는 감정의 정도가 표현된 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제1항에 있어서,
상기 가상 인물 생성부에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성된 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제1항에 있어서,
상기 이미지 데이터베이스는 빠른 검색을 위한 목업 부분과, 실제 고화질 활용을 위한 로우(raw) 부분으로 구성된 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- 제6항에 있어서,
상기 로우(raw) 부분은 유연한 고객 맞춤형을 위해 잠재 벡터(latent vector) 형태로 구성된 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
- a) 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와;
b) 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와;
c) 상기 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및
d) 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 얼굴 이미지 검색을 통한 가상 인물 생성 방법.
- 제8항에 있어서,
상기 단계 d)에서 상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 방법. - 제9항에 있어서,
상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 원하는 가상 인물의 특징을 만족하는 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 방법.
- 제9항에 있어서,
상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 중 적어도 하나를 포함하는 감정의 정도가 표현된 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 방법.
- 제8항에 있어서,
상기 단계 d)에서 상기 가상 인물 생성부에 의해 생성된 가상 인물을 다양한 각도로 2D 또는 3D 렌더링하는 단계를 더 포함하는 얼굴 이미지 검색을 통한 가상 인물 생성 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200089811 | 2020-07-20 | ||
KR20200089811 | 2020-07-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220011100A true KR20220011100A (ko) | 2022-01-27 |
KR102584900B1 KR102584900B1 (ko) | 2023-10-05 |
Family
ID=80049591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210093968A KR102584900B1 (ko) | 2020-07-20 | 2021-07-19 | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102584900B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102529216B1 (ko) | 2023-02-04 | 2023-05-08 | 주식회사 이너버즈 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
KR102543451B1 (ko) | 2022-04-29 | 2023-06-13 | 주식회사 이너버즈 | 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법 |
CN116543082A (zh) * | 2023-05-18 | 2023-08-04 | 无锡捷通数智科技有限公司 | 数字人的生成方法、装置和数字人的生成*** |
CN117076755A (zh) * | 2023-10-16 | 2023-11-17 | 北京中科汇联科技股份有限公司 | 一种多用途数字人的控制***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120130627A (ko) | 2011-05-23 | 2012-12-03 | 한국전자통신연구원 | 아바타를 이용한 애니메이션 생성 장치 및 방법 |
KR20160128275A (ko) * | 2016-10-27 | 2016-11-07 | 에스케이플래닛 주식회사 | 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체 |
KR20180082171A (ko) * | 2017-01-10 | 2018-07-18 | 트라이큐빅스 인크. | 3차원 캐릭터 생성 방법 및 시스템 |
KR20200071838A (ko) * | 2018-12-03 | 2020-06-22 | 한국전자통신연구원 | 특징 벡터를 이용한 얼굴 검색이 가능한 얼굴 인식 방법 및 장치 |
-
2021
- 2021-07-19 KR KR1020210093968A patent/KR102584900B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120130627A (ko) | 2011-05-23 | 2012-12-03 | 한국전자통신연구원 | 아바타를 이용한 애니메이션 생성 장치 및 방법 |
KR20160128275A (ko) * | 2016-10-27 | 2016-11-07 | 에스케이플래닛 주식회사 | 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체 |
KR20180082171A (ko) * | 2017-01-10 | 2018-07-18 | 트라이큐빅스 인크. | 3차원 캐릭터 생성 방법 및 시스템 |
KR20200071838A (ko) * | 2018-12-03 | 2020-06-22 | 한국전자통신연구원 | 특징 벡터를 이용한 얼굴 검색이 가능한 얼굴 인식 방법 및 장치 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102543451B1 (ko) | 2022-04-29 | 2023-06-13 | 주식회사 이너버즈 | 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법 |
KR102562386B1 (ko) | 2022-04-29 | 2023-08-01 | 주식회사 이너버즈 | 이미지 합성 시스템의 학습 방법 |
KR102562387B1 (ko) | 2022-04-29 | 2023-08-01 | 주식회사 이너버즈 | 이미지의 특징 추출 및 합성 시스템의 학습 방법 |
KR102529216B1 (ko) | 2023-02-04 | 2023-05-08 | 주식회사 이너버즈 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
KR102593001B1 (ko) | 2023-02-04 | 2023-10-23 | 주식회사 이너버즈 | 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 |
KR102593000B1 (ko) | 2023-02-04 | 2023-10-23 | 주식회사 이너버즈 | 복수의 인물 이미지로부터 추출된 특성을 반영한 가상인물 생성 딥러닝 모델의 학습방법 |
CN116543082A (zh) * | 2023-05-18 | 2023-08-04 | 无锡捷通数智科技有限公司 | 数字人的生成方法、装置和数字人的生成*** |
CN117076755A (zh) * | 2023-10-16 | 2023-11-17 | 北京中科汇联科技股份有限公司 | 一种多用途数字人的控制***及方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102584900B1 (ko) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102584900B1 (ko) | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 | |
JP6961727B2 (ja) | 関心点コピーの生成 | |
CN116888602A (zh) | 可解释转导器变换器 | |
US11900518B2 (en) | Interactive systems and methods | |
EP3857432A1 (en) | Automated content editor | |
CN110516096A (zh) | 合成感知数字图像搜索 | |
JP6962747B2 (ja) | データ合成装置および方法 | |
CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
Pan et al. | K-same-siamese-gan: K-same algorithm with generative adversarial network for facial image de-identification with hyperparameter tuning and mixed precision training | |
JP2022161564A (ja) | テキスト画像の文字を認識する機械学習モデルを訓練するシステム | |
Chen et al. | Harnessing semantic segmentation masks for accurate facial attribute editing | |
KR102399255B1 (ko) | 인공지능을 이용한 웹툰 제작 시스템 및 방법 | |
Dong et al. | Hr-prgan: High-resolution story visualization with progressive generative adversarial networks | |
KR102504722B1 (ko) | 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법 | |
CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
Xia et al. | Sign language video anonymization | |
KR102334666B1 (ko) | 얼굴 이미지 생성 방법 | |
CN115883753A (zh) | 视频的生成方法、装置、计算设备及存储介质 | |
CN114037644A (zh) | 一种基于生成对抗网络的艺术字图像合成***及方法 | |
CN113469197A (zh) | 图文匹配方法、装置、设备以及存储介质 | |
Maharjan et al. | Image-to-image translation based face de-occlusion | |
KR20240080684A (ko) | 원샷 페이스 스왑을 통한 버추얼 휴먼 생성 장치 및 방법 | |
US20240169633A1 (en) | Interactive systems and methods | |
CN113838159B (zh) | 用于生成卡通图像的方法、计算设备和存储介质 | |
Todmal et al. | Human face generation from textual description via style mapping and manipulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |