KR102035596B1 - 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법 - Google Patents
인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법 Download PDFInfo
- Publication number
- KR102035596B1 KR102035596B1 KR1020180165748A KR20180165748A KR102035596B1 KR 102035596 B1 KR102035596 B1 KR 102035596B1 KR 1020180165748 A KR1020180165748 A KR 1020180165748A KR 20180165748 A KR20180165748 A KR 20180165748A KR 102035596 B1 KR102035596 B1 KR 102035596B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- data
- unit
- animation
- tts service
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법은, 처리부가 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하는 단계; 처리부가 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료를 수신하여 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하고, 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해하는 단계; 자료부에 의해 특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 수집하여 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 립싱크 데이터 세트를 생성하는 단계; 자료부에 의해 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트를 생성하는 단계; 연산부가 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 자료부에 의해 생성된 립싱크 데이터 세트를 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 단계; 연산부가 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞추는 단계; 및 형성부가 게임 엔진을 통해 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성하는 단계를 포함한다.
Description
본 발명은 애니메이션 자동 생성 시스템 및 방법에 관한 것으로서, 더 상세하게는 클라우드 시스템 기반의 음성 데이터를 활용하여 한국어 발음을 보여주는 자연스러운 입모양 애니메이션으로, 실제의 사람과 같은 느낌을 줄 수 있는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법에 관한 것이다.
얼굴은 사람들 사이의 상호작용(Interaction)과 대화(Communication)에 있어서 매우 중요한 요소이지만, 공학적으로 정의하고 표현하기 매우 복잡한 대상이다.이와 같은 얼굴을 검출(Detection), 추적(tracking), 인식(recognition), 모델링(modeling), 합성(synthesis) 및 표현(rendering)하기 위한 다양한 연구가 컴퓨터 그래픽스(Computer graphics), 컴퓨터 비전(computer vision), 컴퓨터 애니메이션(Computer Animation) 등과 같은 다양한 분야에서 활발히 진행 중이다.
특히, 얼굴 애니메이션(Facial Animation)은 얼굴의 움직임과 표정을 사실감 있게 표현하기 위한 것으로, 얼굴의 해부학적인 구조와 섬세한 표정을 사실감 있게 표현해야 하기 때문에, 컴퓨터 애니메이션 분야에서도 가장 어려운 분야로 인식되고 있다.
하지만, 얼굴 애니메이션은 디지털 콘텐츠 분야에서 실시간 얼굴 애니메이션, 캐릭터 애니메이션, 대화 가능한 실사수준의 아바타(Avatar) 생성, 영상 통신, 사진 내 사람들에 대한 동영상 애니메이션 생성, 휴먼 인터페이스 등에 활용될 수 있기 때문에, 얼굴 애니메이션에 대한 기술적 수요가 증대되고 있다.
이때, 얼굴 애니메이션을 위해서는 컴퓨터 그래픽스와 영상 처리(Image Processing) 기술을 포함한 컴퓨터 비전 기술을 이용하여 얼굴 모션 표현(Facial motion representation) 및 얼굴 모션 합성(facial motion synthesis) 기술이 필요하며, 텍스트에 대한 음성 변환(Text-To-Speech) 및 음성 합성(Speech Synthesis)을 위한 기계 학습(Machine Learning)과 같은 인공지능 기술이 필요하다.
한편, 한국 공개특허공보 제10-2010-0041586호(특허문헌 1)에는 "음성 기반 얼굴 캐릭터 형성 장치 및 방법"이 개시되어 있는바, 이에 따른 음성 기반 얼굴 캐릭터 형성 방법은, 얼굴 캐릭터 형상에 대한 다수 개의 키모델을 이용하여 상기 얼굴 캐릭터 형상을 다수 개의 영역으로 분할하는 단계; 음성 샘플을 분석하여 발음 및 감정을 인식하기 위한 적어도 하나의 파라미터에 대한 정보들을 추출하는 음성매개변수화를 수행하는 단계; 음성이 입력되면, 상기 음성에 대한 프레임 단위별 음성으로부터 적어도 하나의 파라미터별 정보를 추출하는 단계; 및 상기 파라미터별 정보에 기초하여 상기 프레임 단위로 상기 분할된 얼굴 영역별로 얼굴 캐릭터 영상을 합성하는 단계를 포함하여 구성된 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 삼차원 얼굴 캐릭터 표정을 사용자의 음성만으로 빠르게 생성하여 온라인에서 음성 구동 캐릭터 얼굴 애니메이션을 실시간으로 제공할 수 있을지는 모르겠으나, 여기에서 적용되는 음성 발음 데이터는 영어를 기준으로 나온 학술 데이터로서 이를 수정, 보완없이 한국어에 억지로 적용함으로써, 캐릭터가 실제의 사람 모습과는 다른 부자연스러운 모습으로 표출되어 시청자로 하여금 이질감(불편함)을 느끼게 하는 문제점을 내포하고 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 개선하기 위하여 창출된 것으로서, 클라우드 시스템 기반의 음성 데이터를 활용하여 한국어 발음을 보여주는 자연스러운 입모양 애니메이션을 제공함으로써, 실제의 사람과 같은 느낌을 줄 수 있는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템은,
사용자 또는 외부 소스(source)에 의해 입력된 텍스트를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하여 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해하는 처리부;
특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트와, 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트를 생성하는 자료부;
상기 처리부 및 자료부와 전기적으로 각각 연결되며, 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크(lip-sync) 애니메이션의 수학적 연산을 수행하며, 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞추는 연산부; 및
상기 연산부와 전기적으로 연결되며, 게임 엔진을 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성하는 형성부를 포함하는 점에 그 특징이 있다.
여기서, 상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트를 입력받는 입력부와, 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하는 음성 및 음성정보 추출부를 포함하여 구성될 수 있다.
또한, 상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱(parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 상기 형성부로 전달할 수 있다.
또한, 상기 TTS(Text-to-Speech) 서비스 제공원은 클라우드 음성합성 시스템을 포함할 수 있다.
이때, 상기 클라우드 음성합성 시스템은 Google TTS, IBM Watson, AWS(Amazon Web Service) Polly, Naver Clova 등을 포함할 수 있다.
또한, 상기 연산부는 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크애니메이션의 수학적 연산을 수행하는 립싱크 애니메이션 연산부를 포함하여 구성될 수 있다.
이때, 상기 립싱크 애니메이션 연산부는 상기 자료부에 의해 생성된 음성 데이터 세트까지 더 제공받아 립싱크애니메이션의 수학적 연산을 수행할 수 있다.
또한, 상기 형성부는 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물을 산출하는 최종 결과물 형성부를 포함하여 구성될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법은,
처리부, 자료부, 연산부, 형성부를 포함하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템을 기반으로 한 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법으로서,
a) 상기 처리부가 사용자 또는 외부 소스(source)에 의해 입력된 텍스트를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하는 단계;
b) 상기 처리부가 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료를 수신하여 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하고, 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해하는 단계;
c) 상기 자료부에 의해 특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 수집하여 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트를 생성하는 단계;
d) 상기 자료부에 의해 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트를 생성하는 단계;
e) 상기 연산부가 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 (lip-sync) 애니메이션의 수학적 연산을 수행하는 단계;
f) 상기 연산부가 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞추는 단계; 및
g) 상기 형성부가 게임 엔진을 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 처리부는 내부의 입력부를 통해 사용자 또는 외부의 소스(source)로부터 제공된 텍스트를 입력받고, 음성 및 음성정보 추출부를 통해 입력부로부터 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출할 수 있다.
또한, 상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱(parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 상기 형성부로 전달할 수 있다.
또한, 상기 TTS(Text-to-Speech) 서비스 제공원은 클라우드 음성합성 시스템을 포함할 수 있다.
이때, 상기 클라우드 음성합성 시스템은 Google TTS, IBM Watson, AWS(Amazon Web Service) Polly, Naver Clova 등을 포함할 수 있다.
또한, 상기 연산부는 내부의 립싱크 애니메이션 연산부를 통해 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 애니메이션의 수학적 연산을 수행할 수 있다.
이때, 상기 립싱크 애니메이션 연산부는 상기 자료부에 의해 생성된 음성 데이터 세트까지 더 제공받아 립싱크 애니메이션의 수학적 연산을 수행할 수 있다.
또한, 상기 형성부는 내부의 최종 결과물 형성부를 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물을 산출할 수 있다.
이와 같은 본 발명에 의하면, 클라우드 시스템 기반의 음성 데이터를 활용하여 한국어 발음을 보여주는 자연스러운 입모양 애니메이션을 제공함으로써, 실제의 사람과 같은 느낌을 줄 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 모음 및 묵음 층계를 모음 사각도를 이용하여 좌표화 및 각 모음 발음을 이차원 좌표계에 대입하여 좌표화시킨 상태를 나타낸 도면이다.
도 4는 각 발음이 나오는 시간과 관련하여 가중치가 "ㅣ(I)"에서 "ㅗ(O)"까지 도달해야 하는 시간을 도식적으로 나타낸 도면이다.
도 5는 각 발음에 대하여 선형 보간을 이용하여 시간의 변화량에 따라 형태 변환을 수행하는 과정을 도식적으로 나타낸 도면이다.
도 6은 Blend Space 상에서 비중값을 적용함에 있어 자연스러움을 유도하기 위해 Ease-in 방식 및 Ease-out 방식을 적용하는 것을 나타낸 도면이다.
도 7은 기존의 IPA 기준 morph target list를 표로 나타낸 도면이다.
도 8의 기존의 IPA 기준 morph target list를 얼굴 형태 기준 morph target list로 변경함에 있어서 입, 턱 관련 부분을 변경한 테이블을 나타낸 도면이다.
도 9는 IPA 기준 morph target을 얼굴 형태 기준 morph target으로 재구성한 것을 표로 나타낸 도면이다.
도 10은 립싱크 애니메이션 및 음성을 포함한 최종 결과물의 일 예를 나타낸 도면이다.
도 11은 립싱크 애니메이션 및 음성을 포함한 최종 결과물의 다른 예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 모음 및 묵음 층계를 모음 사각도를 이용하여 좌표화 및 각 모음 발음을 이차원 좌표계에 대입하여 좌표화시킨 상태를 나타낸 도면이다.
도 4는 각 발음이 나오는 시간과 관련하여 가중치가 "ㅣ(I)"에서 "ㅗ(O)"까지 도달해야 하는 시간을 도식적으로 나타낸 도면이다.
도 5는 각 발음에 대하여 선형 보간을 이용하여 시간의 변화량에 따라 형태 변환을 수행하는 과정을 도식적으로 나타낸 도면이다.
도 6은 Blend Space 상에서 비중값을 적용함에 있어 자연스러움을 유도하기 위해 Ease-in 방식 및 Ease-out 방식을 적용하는 것을 나타낸 도면이다.
도 7은 기존의 IPA 기준 morph target list를 표로 나타낸 도면이다.
도 8의 기존의 IPA 기준 morph target list를 얼굴 형태 기준 morph target list로 변경함에 있어서 입, 턱 관련 부분을 변경한 테이블을 나타낸 도면이다.
도 9는 IPA 기준 morph target을 얼굴 형태 기준 morph target으로 재구성한 것을 표로 나타낸 도면이다.
도 10은 립싱크 애니메이션 및 음성을 포함한 최종 결과물의 일 예를 나타낸 도면이다.
도 11은 립싱크 애니메이션 및 음성을 포함한 최종 결과물의 다른 예를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조햐면, 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템(100)은 처리부(110), 자료부(120), 연산부(130) 및 형성부(140)를 포함하여 구성된다.
처리부(110)는 사용자 또는 외부 소스(source)에 의해 입력된 텍스트를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원(미도시)으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하여 가상 캐릭터의 페이셜 애니메이션 (facial animation) 생성에 필요한 형태에 맞게 음성 파형을 분해한다. 여기서, 이와 같은 처리부(110)는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트(예를 들면, 가상 캐릭터가 말을 하게 될 대사)를 입력받는 입력부(111)와, 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하는 음성 및 음성정보 추출부(112)를 포함하여 구성될 수 있다. 이때, 상기 입력부(111)는 문단 분류와 기타 애니메이션(표정 및 행동) 정보를 동시에 받을 수 있도록 특정된 JSon 포맷으로 텍스트(대사)를 입력받을 수 있다. 여기서, 사용하는 JSon 포맷에 대한 예시를 들면 다음과 같다.
{"Speak" : [{ "Context" : "안녕하세요. Deckard AIP의 비아입니다. 만나서 반갑습니다.",
"Emotion" : "Smile",
"Body" : "Hello"}]}
또한, 상기 음성 및 음성정보 추출부(112)는 입력받은 대사를 분류하여 외부의 TTS 서비스 제공원에 요청할 텍스트와 출력할 애니메이션을 선정한다. 이와 같은 음성 및 음성정보 추출부(112)는 입력부(111)를 통해 입력된 JSon 포맷 대사를 분해하여, JSon의 내용 중 "Context"의 내용을 파싱하여 외부의 TTS 서비스 제공원으로 전송한다.
또한, 이상과 같은 처리부(110)(더 상세하게는 음성 및 음성정보 추출부 (112))는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱 (parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 형성부(140)로 전달할 수 있다. 이때, 음성 및 음성정보 추출부(112)는 외부의 TTS 서비스 제공원으로부터 제공된 음성 파일과 음성 정보 파일을 다운로드하고, 음성 정보 파일을 사용하기 쉽게 파싱하여 연산부(130)로 전달한다.
또한, 상기 TTS(Text-to-Speech) 서비스 제공원은 클라우드 음성합성 시스템을 포함할 수 있다. 이때, 상기 클라우드 음성합성 시스템은 Google TTS, IBM Watson, AWS(Amazon Web Service) Polly(즉, AWS에서 TTS 서비스 부문), Naver Clova 등을 포함할 수 있다.
여기서, 이상과 같은 처리부(110)와 관련하여 조금 더 설명을 부가해 보기로 한다.
전술한 바와 같이, 처리부(110)는 텍스트 데이터를 외부의 TTS 서비스 제공원(예를 들면, 클라우드 음성합성 시스템)으로 전송하고, 클라우드 음성합성 시스템은 전송받은 텍스트 데이터에 대응하여 2가지 형태의 정보, 즉 음성 파형(실제 음성으로 출력될 데이터)과 음성 파형에 대한 정보(발음을 위한 발음 기호 및 길이 정보)를 제공한다. 제공된 음성 파형은 애니메이션용 최종 음성으로 재생되고, 파형에 대한 정보는 타이밍과 그 타이밍에 대응되는 viseme 발음 기호로 분류한다. 이때, 발음 기호는 모음 및 자음으로 나눈다.
자료부(120)는 특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트(121)와, 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트(122)를 생성한다. 여기서, 이상과 같은 입모양(립싱크) 데이터 세트(121)와 음성 데이터 세트(122)와 관련하여 설명을 부가해 보기로 한다.
<립싱크 데이터 세트>
입모양(립싱크) 데이터 세트(121)는 IPA(International Phonetic Alphabet; 국제음성기호)를 활용한다. IPA는 실용성 추구를 위한 근사값의 집합이기 때문에 특수 연속성을 반영하지 못하며, 그에 따라 각 언어별로 기호로써는 표현하기 힘든 단어가 발생되는 문제가 있다. 따라서, 본 발명에서는 주요 언어로 적용하고 있는 한국어를 정확하게 표현하기 위하여 한국어에는 없는 발음(예를 들면, F, Z, R 등)의 제거 및 한국어에서 특이하게 발음되고 있는 모음(예를 들면, ㅑ, ㅕ와 같은 11개의 이중모음)에 대한 발음 기호 등을 테이블에 추가함으로써, IPA와 한국어의 교집합 비교분석표를 생성하고, 이 비교분석표를 한국어 발음 기록 및 분석 단계에서 활용함으로써 최대한 한국어에 적합한 데이터를 추출할 수 있도록 한다.
또한, 입모양(립싱크) 데이터 세트(121)는 레코딩된 얼굴 데이터를 활용한다. 본 발명에서 도입하고 있는 깊이 카메라(depth camera)를 이용한 애플 ARKit의 얼굴 3D 트래킹 기술은 FACS(Facial Action Coding System)의 액션 유닛과 연결되어 있으며, FACS의 액션 유닛 자체로는 할 수 없었던 변수화를 가능하게 한다. 이 변수화를 통해 각 표정을 지을 때 FACS의 액션 유닛 번호 및 그에 따라오는 액션 유닛의 수치를 획득할 수 있으며, 이렇게 얻어진 수치들의 그룹은 나중에 애니메이션을 생성하는데 사용할 수 있는 발음별 그룹으로 묶는다.
또한, 성별, 나이 등을 다르게 한 다양한 분포군 테스트를 반복하여 각 유닛별 변수값을 분석하여 평균값을 추출할 수 있다. 이렇게 추출된 각 발음별 액션 유닛들과 그에 맞는 액션 유닛별 변수값을 그룹화 하여 한국어 Viseme 테이블로 구성한다. 그리고 그룹별 평균치 및 이후 캐릭터의 그룹화를 위한 가중치를 획득한다. 따라서, 시대의 흐름에 따른 언어 변화에 대응할 때에도, 각 시대의 데이터를 수집하기만 하면 별도의 작업없이 적용시킬 수 있다.
입모양(립싱크) 데이터 세트(121)는 IPA를 활용한 비교분석표를 통해 추출한 데이터를 기반으로 3D 모델링을 하고, 캐릭터 세트를 구성한다.
<음성 데이터 세트>
특정인을 표적으로 하여 품질 높은 립싱크 애니메이션을 진행하고자 할 때, 그 사람 특유의 말하는 방식을 추가하는 개인화 작업이 필요하다. 이를 위해 데이터 획득 과정에서 다수의 평균치가 아닌 고유의 값을 사용해야 하며, 이에 따라 본 발명에서는 한 사람으로부터 많은 데이터를 추출하는 방식을 취한다. 그리고 추출된 데이터는 파형 분석을 통해 특정 파형 및 특정 발음에서의 습관을 데이터화 한다. 이러한 과정에서 얻은 데이터 세트 값을 TTS 서비스 제공원(예컨대, 클라우드 음성합성 시스템)으로 전달하고, TTS 서비스 제공원으로부터 이 값이 적용된 음성 파일을 제공받는다.
다시 도 1을 참조하면, 연산부(130)는 상기 처리부(110) 및 자료부(120)와 전기적으로 각각 연결되며, 상기 처리부(110)에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부(120)에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크(lip-sync) 애니메이션의 수학적 연산을 수행하며, 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞춘다. 여기서, 이와 같은 연산부(130)는 상기 처리부(110)에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부(120)에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 립싱크 애니메이션 연산부(131)를 포함하여 구성될 수 있다. 이때, 상기 립싱크 애니메이션 연산부(131)는 상기 자료부(120)에 의해 생성된 음성 데이터 세트(122)까지 더 제공받아 립싱크 애니메이션의 수학적 연산을 수행할 수 있다.
형성부(140)는 상기 연산부(130)와 전기적으로 연결되며, 게임 엔진을 통해 상기 연산부(130)에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성한다. 이와 같은 형성부(140)는 상기 연산부(130))에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물을 산출하는 최종 결과물 형성부 (141)를 포함하여 구성될 수 있다.
여기서, 이상과 같은 연산부(130) 및 형성부(140)와 관련하여 부연 설명을 해보기로 한다.
<연산부>
본 발명에서는 AWS Polly(Amazon Web Service, 이 중에서 TTS 서비스 부문)에서 제공하는 TTS 서비스 값을 그대로 사용하지 않고, 한국어에 접목하여 수정된 값을 사용한다. 애니메이션의 구성에서 자연스러운 발음을 표출하는 애니메이션(이하 '발음 애니메이션'이라 한다)의 생성을 위해 애니메이션의 층계를 3가지의 층계, 즉 모음 및 묵음 층계, 자음 층계, 이중모음 층계로 구성한다. 여기서, 발음 애니메이션의 주 층계는 모음 및 묵음 층계이며, 이는 도 3에 도시된 바와 같이, 모음 사각도를 이용하여 좌표화한다. 즉, 각 모음 발음을 이차원 좌표계에 대입하여 좌표화시킨다. 이때, 좌표는 0∼1 범위의 값을 갖는다. 좌표에 대입하는 데이터는 특정 그룹별 평균치로 추출된 값을 사용한다.
애니메이션을 구동하기 위해 음성 파형에 대한 정보에서 분류한 내용 중, 시간을 각 모음 별로 이동하는 기준으로 사용하며, 그 모음의 이동 목적지는 아래의 예시로 설명한다.
예) "니코시아"-Nicosia
위의 니코시아에서 발음해야 하는 모음은 "ㅣ(I)", "ㅗ(O)", "ㅣ(I)", "ㅏ(A)"이다. 각 발음이 나오는 시간은 "ㅣ(I)": 0.230초, "ㅗ(O)": 0.132초, "ㅣ(I)": 0.259초, "ㅏ(A)": 0.169초이다. 가중치가 "ㅣ(I)"에서 "ㅗ(O)"까지 도달해야 하는 시간은 도 4에 도시된 바와 같이, 0.132초이다. 여기서, 0.132초 내로 설정한 이유는 TTS에서 생성된 음성 파형내에서 실제 특정 발음 사운드 파장이 들리는 시점에서 시각적으로 입모양이 완성되어 있어야 립싱크가 성립하기 때문에, "ㅗ(O)"의 발음이 나오는 시간이 0.132초이므로, 0.132초 내에 입모양이 완성되어야 하기 때문이다.
시간의 흐름에 따라 "ㅣ(I)"와 "ㅗ(O)" 사이의 가중치가 변하며, 그 값에 따라 애니메이션 값을 연산한다.
이때, "ㄴ", "ㅋ", "ㅅ" 등의 자음 음은 자음의 타이밍 발생시 첨가형 애니메이션(Additive Animation)으로 빠른 시간 내에 1차원 파라미터 상에서 움직임으로써 자연스러움을 이끈다.
또한, 이중 모음(예: "ㅑ" 등)의 경우 IPA에 근거한 [j]에 관련된 1차원 파라미터를 현재 발음 중인 모음이 끝날 때까지 유지함으로써 이중모음 구현이 되도록 한다.
여기서, 이상과 같은 연산부와 관련하여 설명을 조금 더 부가해 보기로 한다.
연산부에서의 연산 처리와 관련하여 립싱크 애니메이션 결과물을 발전시킬 수 있는 방식은 다음과 같은 5가지 방식을 들 수 있다.
* 제1 방식: 모든 발음을 타겟 1:1 이동
- Morphing 기술을 응용한 형태로, 각 발음을 Morph Target이라는 형태로 만들어 형태 변환을 시킨다.(완성형 morph)
- 각 발음은 형태 변환을 위한 끝점의 값이 정해져 있기 때문에 선형 보간을 이용하여 시간의 변화량에 따라 형태 변환을 추가한다.
- 예를 들어, "각도기"라는 발음을 출력할 경우
f(p) = d2f(p1) + d1f(p2)라는 선형 보간 공식을 이용하여 아래와 같이 표현한다. 이를 도 5를 참조하여 설명하면 다음과 같다.
[(시작:무음) → '각']
'각'에 대한 morph ⇒ 0∼100까지 선형 보간으로 이동
['각' → '도']
'각'에 대한 morph ⇒ 100∼0까지 선형 보간
'도'에 대한 morph ⇒ 0∼100까지 선형 보간
['기' → (종료: 무음)]
'기'에 대한 morph ⇒ 100∼0까지 선형 보간
이상과 같은 제1 방식으로 진행할 경우, 다음과 같은 2가지 문제가 있다.
1) 자음에 의한 부적절한 값이 생겨 값이 튀는 현상이 발생한다, 또한, 너무 빠른 속도 변경 및 선형 보간에 의한 일정한 morph의 동화 현상이 이질감을 발생시킨다.
2) 또한, 많은 양의 Morph Target을 제작하게 되어 제작 데이터의 Loss가 함께 발생한다.
* 제2 방식
이 제2 방식은 위의 제1 방식의 문제를 보완하기 위한 것으로서, 모음만 타겟으로 만들어 모음 morph의 동화현상을 최소화 한다.
- 자음동화 현상을 최소화 하기 위해 위의 제1 방식에서의 데이터 량을 최소화 한다.
- 'ㅏ', 'ㅔ', 'ㅣ', 'ㅗ', 'ㅜ' 및 무음으로 최소화하여 제작한다. 단, 연산은 위의 제1 방식과 동일한 방식으로 한다.
- 자음동화 현상의 완화에 의해 더 자연스러운 발음이 가능하다.
- 단, 발음 시, 묵음 또는 기타 턱관절의 움직임을 일으키는 자음의 발음의 부재로 정확한 발성은 불가능하다.
* 제3 방식: 모음사각도 + 특정 자음 추가
- 애니메이션 구동을 위한 좌표 테이블로써 모음 사각도를 활용한다. (1차 자료의 모음 사각도 및 예제 활용)
- 위 좌표테이블은 BlendSpace로 구성한다.
- 이를 위해서 Morph 모음은 모음 사각도에 맞추어 위치를 정한다.
예를 들어 모음사각도에서 'ㅏ' 발음은 (0.45,0.1), 'ㅗ'는 (0.9,0.6)의 좌표를 가진다.
단, 설계된 캐릭터의 성향 및 느낌에 따라 좌표값은 조절할 수 있다.
- 이렇게 구성된 좌표계는 BlendSpace의 연산에 따라 비중값을 변경한다.
- 또한 정확한 발음의 보완을 위해 애니메이션의 연산을 위해 애니메이션의 층계를 제작한다.
모음 및 묵음 층계 → 모음 사각도에 의해 구동
자음 층계 → 특정 경우만 가산형으로 작동
이중모음 층계 → 특정 경우만 가산형으로 작동
* 제3-1 방식: 타겟 비중 추가
- BlendSpace 상에서 가중치(이하 비중) 변경과정에서 각 층계별 비중을 가함에 있어 단순 선형 보간의 공식을 적용함이 아니라 상황 별 보간 공식을 다르게 적용하여 더욱 자연스러운 방식을 사용한다.
- 리니어 방식은 시간 변화가 일정하다.
리니어 방식은 도 6의 (A)에 도시된 바와 같이, 등속운동이기 ?문에 자연스러움이 없어 테스트 용도로만 사용한다.
- BlendSpace 상에서 비중값을 적용함에 있어 자연스러움을 유도하기 위해 도 6의 (B)와 같은 Ease-in 방식과, (C)와 같은 Ease-out 방식을 적극 활용한다.
모음 및 묵음 층계는 (B)와 같은 Ease-in 방식으로 적용하고, 빠르게 발음하고 사라져야 하는 자음 및 이중 모음 층계는 (C)와 같은 Ease-Out 방식으로 급하게 변하는 값을 적용한다. 이때, 자연스러움을 위해 Ease-In-Out의 변화는 적용하지 않는다. 이는 Ease-In-Out의 변화를 적용하게 되면 실제 변화량의 시간이 너무 빨라 그러한 변화에 애니메이션이 부합하지 않는 것처럼 보이게 되기 때문이다.
* 제3-2 방식: 자료부에서 분석된 데이터 추가
- 같은 발음을 해도 사람마다 입모양이 다를 수 있다는 점을 감안하여 타겟을 발음별 형태로 설정하지 않고, 표현할 수 있는 얼굴 움직임으로 변경한다. 예를 들면, 'ㅏ' 발음 타겟 → JawDrop으로 한다.
- morph target list를 변경한다. 즉, 도 7의 [표 1]과 같은 기존의 IPA 기준 morph target list를 도 8의 [표 2]와 같이 얼굴 형태 기준 morph target list 중 입, 턱 관련 부분을 변경한 테이블을 적용한다.
이상과 같은 기존의 IPA 기준 morph target(표 1) 및 얼굴 형태 기준 morph target(표 2)과 관련하여 "Viseme" 재구성 방법에 대해 간략히 설명해 보기로 한다.
morph target의 데이터는 자료부에서 구성할 데이터를 활용한다. 예를 들면, 'ㅏ'를 발음하기 위해서 여러 개의 morph target을 조합하는(ex.: JawDrop(60%)+ mouthShrugUpper(30%)) 방법(이하 조합형 morph)을 사용할 수 있다.
예를 들면, 도 7의 [표 1]에서의 "2번, a(전설 비원순 근저모음)"를 표현하기 위해 도 8의 [표 2]에서의 "JawOpen"과 "MouthShrugUpper" 값을 적정 비율로 혼합해서 표현한다. 이를 표로 정리하면 도 9와 같다.
<형성부>
형성부(140)의 최종 결과물 형성부(141)는 그래픽 제작 툴(예를 들면, 마야, 맥스 등)에서 연산부(130)의 연산 결과를 적용할 수 있는 morph target 셋업 및 연출된 화면 및 립싱크 애니메이션, 음성 신호를 동시에 재생하여 사용자에게 렌더링된 최종 결과물을 제공한다. 또한, 이와 같은 최종 결과물 형성부(141)는 효과적인 연출을 위헤 입력부(111)로부터 제공받은 표정 및 행동 애니메이션을 발음과 동시에 또는 원하는 시점에 플레이할 수 있도록 행동 애니메이션의 재생을 제어하는 기능도 갖는다.
그러면, 이하에서는 이상과 같은 구성 및 기술적 특징을 가지는 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템을 바탕으로 한 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법에 대해 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법은, 전술한 바와 같은 처리부(110), 자료부(120), 연산부(130), 형성부(140)를 포함하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템(100)을 기반으로 한 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법으로서, 먼저 상기 처리부(110)가 사용자 또는 외부 소스(source)에 의해 입력된 텍스트(예를 들면, 가상 캐릭터가 말을 하게 될 대사)를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원(미도시)으로 전송한다(단계 S201). 이에 따라 외부의 TTS 서비스 제공원은 수신한 TTS(Text-to-Speech) 서비스 요청 대상 부분에 대응하는 TTS 서비스 자료를 제공하게 된다.
상기 처리부(110)는 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료를 수신하고, 그 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출한다. 그리고 추출한 음성 파형 및 음성 파형 정보를 바탕으로 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해한다(단계 S202).
여기서, 상기 처리부(110)는 내부의 입력부(111)를 통해 사용자 또는 외부의 소스(source)로부터 제공된 텍스트를 입력받고, 음성 및 음성정보 추출부(112)를 통해 입력부(111)로부터 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출할 수 있다.
또한, 상기 처리부(110)는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱(parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 형성부(140)로 전달할 수 있다.
또한, 상기 TTS(Text-to-Speech) 서비스 제공원은 클라우드 음성합성 시스템을 포함할 수 있다. 이때, 상기 클라우드 음성합성 시스템은 Google TTS, IBM Watson, AWS(Amazon Web Service) Polly, Naver Clova 등을 포함할 수 있다.
한편, 자료부(120)는 특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 수집하여 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트(121)를 생성한다(단계 S203).
또한, 자료부(120)는 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트(122)를 생성한다(단계 S204).
이렇게 하여 상기 처리부(110)에 의해 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하고, 자료부(120)에 의해 입모양(립싱크) 데이터 세트(121)와 음성 데이터 세트(122)를 생성하면, 연산부(130)는 상기 처리부(110)에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부(120)에 의해 생성된 입모양(립싱크) 데이터 세트(121)를 제공받아 립싱크(lip-sync) 애니메이션의 수학적 연산을 수행한다(단계 S205). 여기서, 상기 연산부(130)는 내부의 립싱크 애니메이션 연산부(131)를 통해 상기 처리부(110)에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부(120)에 의해 생성된 입모양(립싱크) 데이터 세트(121)를 제공받아 립싱크 애니메이션의 수학적 연산을 수행할 수 있다. 이때, 상기 립싱크 애니메이션 연산부(131)는 상기 자료부(120)에 의해 생성된 음성 데이터 세트(122)까지 더 제공받아 립싱크 애니메이션의 수학적 연산을 수행할 수 있다.
또한, 상기 연산부(130)는 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞춘다(단계 S206).
이상에 의해 연산부(130)에 의해 립싱크 애니메이션의 수학적 연산이 완료되면, 형성부(140)는 게임 엔진을 통해 상기 연산부(130)에서 연산 처리된 값을 3D 모델링 데이터에 대입하여, 도 10 및 도 11에 도시된 바와 같이, 립싱크 애니메이션 및 음성을 포함한 최종 결과물(142)을 생성한다(단계 S207). 여기서, 이와 같은 형성부(140)는 내부의 최종 결과물 형성부(141)를 통해 상기 연산부(130)에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물(142)을 산출(출력)할 수 있다. 여기서, 도 10의 최종 결과물(142)은 대화형 챗봇과 연결시켜, 답변을 받을 때 말하는 캐릭터로 보일 수 있도록 구성한 형태이고, 도 11의 최종 결과물(142)은 단독 실행 파일(stand alone) 형식 또는 웹에서도 말하는 캐릭터를 적용시킬 수 있도록 구성한 형태이다.
이상의 설명과 같이, 본 발명에 따른 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법은, 클라우드 시스템 기반의 음성 데이터를 활용하여 한국어 발음을 보여주는 자연스러운 입모양 애니메이션을 제공함으로써, 실제의 사람과 같은 느낌을 줄 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 처리부 111: 입력부
112: 음성 및 음성정보 추출부 120: 자료부
121: 립싱크 데이터 세트 122: 음성 데이터 세트
130: 연산부 131: 립싱크 애니메이션 연산부
140: 형성부 141: 최종 결과물 형성부
142: 최종 결과물
112: 음성 및 음성정보 추출부 120: 자료부
121: 립싱크 데이터 세트 122: 음성 데이터 세트
130: 연산부 131: 립싱크 애니메이션 연산부
140: 형성부 141: 최종 결과물 형성부
142: 최종 결과물
Claims (16)
- 사용자 또는 외부 소스(source)에 의해 입력된 텍스트를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하여 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해하는 처리부;
특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트와, 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트를 생성하는 자료부;
상기 처리부 및 자료부와 전기적으로 각각 연결되며, 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크(lip-sync) 애니메이션의 수학적 연산을 수행하며, 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞추는 연산부; 및
상기 연산부와 전기적으로 연결되며, 게임 엔진을 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성하는 형성부를 포함하고,
상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트를 입력받는 입력부와, 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하는 음성 및 음성정보 추출부를 포함하며,
상기 입력부는 문단 분류와 애니메이션의 표정 및 행동 정보를 동시에 받을 수 있도록 특정된 JSon 포맷으로 텍스트(대사)를 입력받도록 구성되고,
상기 음성 및 음성정보 추출부는 입력받은 대사를 분류하여 외부의 TTS 서비스 제공원에 요청할 텍스트와 출력할 애니메이션을 선정하고, 상기 입력부를 통해 입력된 JSon 포맷 대사를 분해하여, JSon의 내용 중 "Context"의 내용을 파싱하여 외부의 TTS 서비스 제공원으로 전송하며, 외부의 TTS 서비스 제공원으로부터 제공된 음성 파일과 음성 정보 파일을 다운로드하고, 음성 정보 파일을 사용하기 쉽게 파싱하여 상기 연산부로 전달하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템.
- 삭제
- 제1항에 있어서,
상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱(parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 상기 형성부로 전달하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 연산부는 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 립싱크 애니메이션 연산부를 포함하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템.
- 제6항에 있어서,
상기 립싱크 애니메이션 연산부는 상기 자료부에 의해 생성된 음성 데이터 세트까지 더 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템.
- 제1항에 있어서,
상기 형성부는 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물을 산출하는 최종 결과물 형성부를 포함하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템.
- 처리부, 자료부, 연산부, 형성부를 포함하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템을 기반으로 한 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법으로서,
a) 상기 처리부가 사용자 또는 외부 소스(source)에 의해 입력된 텍스트를 분류하여 TTS(Text-to-Speech) 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하는 단계;
b) 상기 처리부가 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료를 수신하여 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하고, 가상 캐릭터의 페이셜 애니메이션 생성에 필요한 형태에 맞게 음성 파형을 분해하는 단계;
c) 상기 자료부에 의해 특정 언어를 발음하고 있는 얼굴의 지정된 포인트의 위치 정보를 수집하여 3D 데이터로 변환한 값을 미리 설정한 특징에 따라 분류한 입모양(립싱크) 데이터 세트를 생성하는 단계;
d) 상기 자료부에 의해 특정 사람의 음성 데이터를 수집하여 추출한 음성 파형 데이터에 기초한 개인화된 음성 데이터 세트를 생성하는 단계;
e) 상기 연산부가 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 (lip-sync) 애니메이션의 수학적 연산을 수행하는 단계;
f) 상기 연산부가 상기 음성 파형 정보를 음성 데이터로 변환하는 과정에서 음성과 애니메이션의 동기를 맞추는 단계; 및
g) 상기 형성부가 게임 엔진을 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 최종 결과물을 생성하는 단계를 포함하고,
상기 처리부는 내부의 입력부를 통해 사용자 또는 외부의 소스(source)로부터 제공된 텍스트를 입력받고, 음성 및 음성정보 추출부를 통해 입력부로부터 입력된 텍스트를 분류하여 TTS 서비스 요청 대상 부분을 외부의 TTS 서비스 제공원으로 전송하고, 상기 TTS 서비스 제공원으로부터 제공된 TTS 서비스 자료로부터 음성 파형 및 음성 파형 정보를 추출하며,
상기 입력부는 문단 분류와 애니메이션의 표정 및 행동 정보를 동시에 받을 수 있도록 특정된 JSon 포맷으로 텍스트(대사)를 입력받고,
상기 음성 및 음성정보 추출부는 입력받은 대사를 분류하여 외부의 TTS 서비스 제공원에 요청할 텍스트와 출력할 애니메이션을 선정하고, 상기 입력부를 통해 입력된 JSon 포맷 대사를 분해하여, JSon의 내용 중 "Context"의 내용을 파싱하여 외부의 TTS 서비스 제공원으로 전송하며, 외부의 TTS 서비스 제공원으로부터 제공된 음성 파일과 음성 정보 파일을 다운로드하고, 음성 정보 파일을 사용하기 쉽게 파싱하여 상기 연산부로 전달하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법.
- 삭제
- 제9항에 있어서,
상기 처리부는 사용자 또는 외부의 소스(source)로부터 제공된 텍스트의 내용을 파싱(parsing)하여 감정 또는 행동과 관련된 내용은 상황에 맞는 애니메이션이 제작될 수 있도록 하기 위해 상기 형성부로 전달하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법.
- 삭제
- 삭제
- 제9항에 있어서,
상기 연산부는 내부의 립싱크 애니메이션 연산부를 통해 상기 처리부에 의해 추출된 음성 파형 및 음성 파형 정보와, 상기 자료부에 의해 생성된 입모양(립싱크) 데이터 세트를 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법.
- 제14항에 있어서,
상기 립싱크 애니메이션 연산부는 상기 자료부에 의해 생성된 음성 데이터 세트까지 더 제공받아 립싱크 애니메이션의 수학적 연산을 수행하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법.
- 제9항에 있어서,
상기 형성부는 내부의 최종 결과물 형성부를 통해 상기 연산부에서 처리된 값을 3D 모델링 데이터에 대입하여 립싱크 애니메이션 및 음성을 포함한 렌더링(rendering)된 최종 결과물을 산출하는 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180059875 | 2018-05-25 | ||
KR1020180059875 | 2018-05-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102035596B1 true KR102035596B1 (ko) | 2019-10-23 |
Family
ID=68460917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180165748A KR102035596B1 (ko) | 2018-05-25 | 2018-12-20 | 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102035596B1 (ko) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
KR102254193B1 (ko) * | 2020-08-12 | 2021-06-02 | 주식회사 오텀리브스 | 3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법 |
KR20210086744A (ko) * | 2019-12-30 | 2021-07-09 | (주)라이언로켓 | 딥러닝 기반의 영상 컨텐츠 제작 방법 및 장치 |
US11140360B1 (en) | 2020-11-10 | 2021-10-05 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
CN113628309A (zh) * | 2021-08-17 | 2021-11-09 | 杭州相芯科技有限公司 | 一种真人语音口型动画生成方法及***、电子设备、存储介质 |
CN113760100A (zh) * | 2021-09-22 | 2021-12-07 | 入微智能科技(南京)有限公司 | 一种带有虚拟形象生成、显示和控制功能的人机交互设备 |
KR20220038945A (ko) * | 2020-09-21 | 2022-03-29 | 씨제이올리브네트웍스 주식회사 | 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법 |
CN114885186A (zh) * | 2022-06-09 | 2022-08-09 | 厦门理工学院 | 一种基于多源信息融合的自动导播*** |
US11463657B1 (en) | 2020-11-10 | 2022-10-04 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11582424B1 (en) | 2020-11-10 | 2023-02-14 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
CN117894064A (zh) * | 2023-12-11 | 2024-04-16 | 中新金桥数字科技(北京)有限公司 | 一种基于遍历声母韵母及整体发音的训练的口型对齐方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000009490A (ko) * | 1998-07-24 | 2000-02-15 | 윤종용 | 음성 합성을 위한 립싱크 방법 및 그 장치 |
KR20030039019A (ko) * | 2001-11-09 | 2003-05-17 | 신선혜 | 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법 |
KR20100041586A (ko) | 2008-10-14 | 2010-04-22 | 삼성전자주식회사 | 음성 기반 얼굴 캐릭터 형성 장치 및 방법 |
KR101854576B1 (ko) * | 2017-11-10 | 2018-05-03 | 베스핀글로벌 주식회사 | 챗봇 기반 클라우드 관리 시스템 및 그의 운영 방법 |
-
2018
- 2018-12-20 KR KR1020180165748A patent/KR102035596B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000009490A (ko) * | 1998-07-24 | 2000-02-15 | 윤종용 | 음성 합성을 위한 립싱크 방법 및 그 장치 |
KR20030039019A (ko) * | 2001-11-09 | 2003-05-17 | 신선혜 | 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법 |
KR20100041586A (ko) | 2008-10-14 | 2010-04-22 | 삼성전자주식회사 | 음성 기반 얼굴 캐릭터 형성 장치 및 방법 |
KR101854576B1 (ko) * | 2017-11-10 | 2018-05-03 | 베스핀글로벌 주식회사 | 챗봇 기반 클라우드 관리 시스템 및 그의 운영 방법 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210086744A (ko) * | 2019-12-30 | 2021-07-09 | (주)라이언로켓 | 딥러닝 기반의 영상 컨텐츠 제작 방법 및 장치 |
KR102319753B1 (ko) * | 2019-12-30 | 2021-11-03 | (주)라이언로켓 | 딥러닝 기반의 영상 컨텐츠 제작 방법 및 장치 |
CN111325817B (zh) * | 2020-02-04 | 2023-07-18 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
KR102254193B1 (ko) * | 2020-08-12 | 2021-06-02 | 주식회사 오텀리브스 | 3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법 |
KR20220038945A (ko) * | 2020-09-21 | 2022-03-29 | 씨제이올리브네트웍스 주식회사 | 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법 |
KR102419073B1 (ko) | 2020-09-21 | 2022-07-08 | 씨제이올리브네트웍스 주식회사 | 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법 |
US11303851B1 (en) | 2020-11-10 | 2022-04-12 | Know Systems Corp | System and method for an interactive digitally rendered avatar of a subject person |
US11317061B1 (en) | 2020-11-10 | 2022-04-26 | Know Systems Corp | System and method for an interactive digitally rendered avatar of a subject person |
US11323663B1 (en) | 2020-11-10 | 2022-05-03 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11463657B1 (en) | 2020-11-10 | 2022-10-04 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11582424B1 (en) | 2020-11-10 | 2023-02-14 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11140360B1 (en) | 2020-11-10 | 2021-10-05 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
CN113628309A (zh) * | 2021-08-17 | 2021-11-09 | 杭州相芯科技有限公司 | 一种真人语音口型动画生成方法及***、电子设备、存储介质 |
CN113628309B (zh) * | 2021-08-17 | 2023-09-22 | 杭州相芯科技有限公司 | 一种真人语音口型动画生成方法及***、电子设备、存储介质 |
CN113760100A (zh) * | 2021-09-22 | 2021-12-07 | 入微智能科技(南京)有限公司 | 一种带有虚拟形象生成、显示和控制功能的人机交互设备 |
CN113760100B (zh) * | 2021-09-22 | 2024-02-02 | 入微智能科技(南京)有限公司 | 一种带有虚拟形象生成、显示和控制功能的人机交互设备 |
CN114885186A (zh) * | 2022-06-09 | 2022-08-09 | 厦门理工学院 | 一种基于多源信息融合的自动导播*** |
CN117894064A (zh) * | 2023-12-11 | 2024-04-16 | 中新金桥数字科技(北京)有限公司 | 一种基于遍历声母韵母及整体发音的训练的口型对齐方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102035596B1 (ko) | 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법 | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 | |
KR102116309B1 (ko) | 가상 캐릭터와 텍스트의 동기화 애니메이션 출력 시스템 | |
US9667574B2 (en) | Animated delivery of electronic messages | |
CN113781610B (zh) | 一种虚拟人脸的生成方法 | |
US20120130717A1 (en) | Real-time Animation for an Expressive Avatar | |
US11005796B2 (en) | Animated delivery of electronic messages | |
KR101089184B1 (ko) | 캐릭터의 발화와 감정표현 제공 시스템 및 방법 | |
CN116311456A (zh) | 基于多模态交互信息的虚拟人表情个性化生成方法 | |
CN117275485B (zh) | 一种音视频的生成方法、装置、设备及存储介质 | |
Massaro et al. | A multilingual embodied conversational agent | |
CN117058286B (zh) | 一种文字驱动数字人生成视频的方法和装置 | |
Karpov et al. | Multimodal synthesizer for Russian and Czech sign languages and audio-visual speech | |
Wolfe et al. | Exploring localization for mouthings in sign language avatars | |
Kolivand et al. | Realistic lip syncing for virtual character using common viseme set | |
Lacerda et al. | Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing | |
CN116580721B (zh) | 表情动画的生成方法、装置和数字人平台 | |
WO2023167212A1 (ja) | コンピュータプログラム、情報処理方法及び情報処理装置 | |
Ali et al. | Research Article Real Time Talking System for Virtual Human based on ProPhone | |
Wang et al. | A real-time text to audio-visual speech synthesis system. | |
Albakrya et al. | The use of Malaysian phonology in developing a Malaysian mouth-chart for the animation industry | |
Hoon et al. | Framework development of real-time lip sync animation on viseme based human speech | |
Hoon et al. | Development of real-time lip sync animation framework based on viseme human speech | |
Anitha et al. | NextGen Dynamic Video Generator using AI | |
Raheem Ali et al. | Real Time Talking System for Virtual Human based on ProPhone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |