KR20080010564A - 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법 - Google Patents

3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법 Download PDF

Info

Publication number
KR20080010564A
KR20080010564A KR1020060070719A KR20060070719A KR20080010564A KR 20080010564 A KR20080010564 A KR 20080010564A KR 1020060070719 A KR1020060070719 A KR 1020060070719A KR 20060070719 A KR20060070719 A KR 20060070719A KR 20080010564 A KR20080010564 A KR 20080010564A
Authority
KR
South Korea
Prior art keywords
module
virtual agent
multimedia
narration
avatar
Prior art date
Application number
KR1020060070719A
Other languages
English (en)
Other versions
KR100856786B1 (ko
Inventor
최원혁
Original Assignee
주식회사 와이즌와이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즌와이드 filed Critical 주식회사 와이즌와이드
Priority to KR1020060070719A priority Critical patent/KR100856786B1/ko
Publication of KR20080010564A publication Critical patent/KR20080010564A/ko
Application granted granted Critical
Publication of KR100856786B1 publication Critical patent/KR100856786B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법에 관한 것이다. PPT 이미지 변환, 플래시 파일(SWF) 정보 수집, 및 동영상 파일 정보 수집을 위한 소스 관리 모듈; 타임라인에 따라 동기화된 3D 아바타의 동작, 표정, 배경, 효과, 효과음, 동영상, 플래시, 이미지를 포함하는 멀티미디어 나레이션을 위해 편집된 프로젝트를 모드별로 저장하는 결과물 생성 모듈; 프로젝트 파일 생성과 저장 및 변경을 위한 프로젝트 관리 모듈; 각 라이브러리, 소스(동영상, 이미지, SWF)를 편집하는 타임라인 편집 모듈; 3D 아바타, 배경, 동작, 표정, 효과, 효과음, 바탕화면의 라이브러리 관리 모듈; TTS 서버의 TTS 모듈 및 MP3P 변환 모듈과 연결되고, PPT에서 가져온 대본이나 사용자의 입력, 붙여 넣기 한 대본을 편집하는 립싱크 편집 모듈; 각 키워드에 일정한 동작이나, 표정을 매칭시켜 자동으로 적용시키는 키워드 관리 모듈; 및 3D 아바타의 입모양 생성, 사운드 관리, 및 웹 컨트롤을 위한 출력 모듈을 포함한다. 따라서, 저작도구에 의해 생성된 3D 버추얼 에이전트의 멀티미디어 나레이션을 제공하고 TTS 기능에 의해 언어별로 작성된 문장을 음성으로 출력하여 발표 자료에 다양한 효과를 제공한다.
3D 버추얼 에이전트, 3D 아바타, TTS, 멀티미디어, 나레이션

Description

3Ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법{System for multimedia naration using 3D virtual agent and method thereof}
도 1은 본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 시스템 구성도.
도 2는 본 발명의 실시예에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 3D 엔진 모듈의 구성도.
도 3은 3D 아바타의 다양한 표정, 동작, 배경, 효과음을 선택하여 타임라인에 맞춰 립씽크를 편집하여 작성된 문장을 TTS 기능에 의해 해당 언어(한글, 영어, 중국어, 일본어 등)로 음성으로 출력하는 3D 버추얼 에이전트를 통해 나레이션을 제공하는 Wiz-Pub 메인 프로그램의 구성도.
도 4a는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 타임라인 편집 기능을 설명하기 위한 도면.
도 4b는 Wiz-Pub 메인 프로그램의 키워드 관리 기능을 설명하기 위한 도면.
도 4c는 Wiz-Pub 메인 프로그램의 립씽크 편집 기능을 설명하기 위한 도면.
도 4d는 상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생 기(Wiz-Pub Player)의 기능을 설명하기 위한 도면.
도 5는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션(이하, Wiz-Pub이라고 칭함)의 활용사례로써 웹 컨텐츠 제작 방법을 나타낸 도면.
도 6은 Wiz-Pub의 활용사례로써 헬프 어시스턴트(Help Assistant)를 나타낸 도면.
도 7은 Wiz-Pub의 활용사례로써 강사용 튜터(Tutor)로 사용하여, 음성 안내, face to face communication, 가상 공간을 통한 체험 학습, 다양한 멀티미디어 학습을 나타낸 도면.
도 8은 Wiz-Pub의 활용사례로써 제품 설명을 위한 세일즈 에이전트(Sales Agent)를 나타낸 도면.
도 9는 Wiz-Pub의 활용사례로써 기업의 마스코트 제작(Entertainer) 화면을 나타낸 도면.
도 10은 Wiz-Pub의 활용사례로써 오프라인에서 대형 PDP, 키오스크(KIOSK)에 3D 버추얼 에이전트(3D Virtual Agent)를 적용한 예를 나타낸 도면이다.
도 11a 내지 도 11u는 3D 버추얼 에이전트를 통해 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 기능을 설명하기 위한 도면.
도 12a 내지 도 12m은 Wiz-Pub 메인 프로그램의 기능을 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
10: 소스 관리 모듈 20: 결과물 생성 모듈
30: 프로젝트 관리 모듈 40: 타임라인 편집 모듈
50: 라이브러리 관리 모듈 60: 립씽크 편집 모듈
70: 키워드 관리 모듈 80: 출력 모듈
90: 멀티미디어 재생기(Wiz-Pub Player)
100: 3D 버추얼 에이전트를 사용한 멀티미디어 저작도구(WizPub) 메인
프로그램
200: TTS 서버 210: TTS 모듈
220: MP3 변환 모듈 300: 갱신 서버(Update Server)
310: Update 설정 모듈 320: Update Active X
본 발명은 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법에 관한 것으로, 특히 아바타의 배경, 동작, 표정, 효과, 효과음, 바탕화면, 동영상, 플래시, 이미지를 포함하는 3D 버추얼 에이전트에 의해 나레이션을 제공하고, TTS(Text To Speech) 기능에 의해 언어별 문자(한글, 영어, 일본어, 중국어)를 음성으로 변환하고, 텍스트 프레젠테이션을 제공하여 3D 아바타를 통해 제품 설명, 가이드, 사내 교육, 마케팅 자료, 기업 홍보물, 제품 카탈로그 제작, 발표용 자료를 제공하는, 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법에 관한 것이다.
일반적으로, 기업의 사내 교육 시장이 증가됨에 따라 2003년을 기준으로 기업이 사원 교육에 투자하는 비용은 약 2조 3000억 규모로 예측되며, 기업체 연수 시장의 최소 5%는 인터넷 방식으로 전이될 것으로 예상된다.
국내 중소기업 e-러닝 교육이 활성화되지 않은 가장 큰 요인은 시스템을 구축하고 컨텐츠를 사용하는데 드는 비용, 자금과 인력 부족에 기인한다. 기업 내에서 인터넷 사내 교육을 담당할 운영자도 전문적인 지식을 갖춘 사람도 드물며, 텍스트(Text), 픽처(Picture), 영화(Movie), 스트림(Stream), 3D 등의 표현 기술의 변화에 따라 인터넷 서비스 개선의 필요성이 요구되고 있다.
그러나, 종래의 인터넷 사내 교육은 이미지, 텍스트 위주의 교육 홍보 자료들과 웹 컨텐츠 등을 다양한 동작(action)과 표정, 배경, 효과음을 가진 3D 버츄얼 에이전트를 통해 Face to Face communication을 포함한 멀티미디어 형태의 나레이션이 제공되지 않았던 문제점이 있었다.
본 발명은 종래 기술의 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 3D 버추얼 에이전트를 사용한 멀티미디어 저작도구(Wiz-Pub 메인 프로그램)를 사용하여 3D 아바타의 배경, 동작, 표정, 효과, 효과음, 바탕화면, 동영상, 플래시, 이미지를 포함하는 3D 버추얼 에이전트(3D Virtual Agent) 나레이션을 제공하고, 인터렉티브한 멀티미디어 컨텐츠 플랫폼에 따라 TTS 기능에 의해 언어별(한국어, 영어, 일본어, 중국어)로 작성된 문장을 음성으로 변환하여 출력하고, 텍스 트 프레젠테이션을 제공하여 3D 버추얼 에이전트를 통해 제품 매뉴얼, 가이드(Guidance), 사내 교육(Education), 마케팅 자료, 기업 홍보물, 제품 카탈로그 제작, 발표용 자료(presentation), 교육에 따른 인력, 비용, 및 시간을 절감하기 위한, 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여, 본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템은, 다양한 포맷의 소스에 대한 정보 수집 기능 및 포맷 변환 기능을 제공하는 소스 관리 모듈; 타임라인에 따라 동기화된 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션을 재생하여 볼 수 있도록 편집된 프로젝트를 저장하기 위한 결과물 생성 모듈; 상기 프로젝트 파일 생성과 저장 및 변경에 따른 세부적인 작업을 수행하기 위한 프로젝트 관리 모듈; 3D 아바타, 배경, 움직임, 시청각적 효과에 관한 개별 라이브러리를 관리하기 위한 라이브러리 관리 모듈; 각 라이브러리 및 상기 소스를 타임라인에 따라 편집하기 위한 타임라인 편집 모듈; TTS 서버의 TTS 모듈 및 MP3P 변환 모듈과 연결되고, 상기 소스에서 가져온 대본이나 사용자가 입력한 문장을 편집하기 위한 립싱크 편집 모듈; 및 상기 대본의 각 키워드에 상기 3D 아바타의 일정한 동작이나 표정을 대응시켜 적용시켜주기 위한 키워드 관리 모듈을 포함한다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명에 따른 3D 버추얼 에이전 트를 사용한 멀티미디어 나레이션 제공 방법에 있어서, (a) 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템의 메인 화면에서 새로운 프로젝트를 생성하는 단계; (b) 이미지 변환 모듈에 의해 발표자료를 각 페이지 별로 이미지 파일로 변경하고 대본 및 제목을 설정하여 로딩하는 단계; (c) SWF 정보 수집 모듈에 의해 플래시 파일의 재생 시간을 가져오는 단계; (d) 동영상 파일 정보 수집 모듈에 의해 동영상을 미리 보기하거나, 재생 시간을 가져오는 단계; (e) 상기 발표자료 로딩 후, 라이브러리 관리 모듈에 의해 멀티미디어 나레이션을 제공하는 3D 아바타를 선택하여 윈도우 뷰에 나타내는 단계; (f) 선택된 3D 아바타의 배경, 움직임, 시청각적 효과를 라이브러리 리스트에서 선택하여, 드래그&드롭 방식으로 타임라인 편집기의 타임라인 셀에 링크시킨 후 각 라이브러리 및 소스(동영상 또는 이미지 또는 플래시 파일)를 편집하는 단계; (g) 립씽크 편집기에 의해 발표자료에서 가져온 상기 대본이나 사용자로부터 입력된 대본을 편집하고, 상기 대본의 각 문장을 TTS 서버로 전송하고, 이를 음성으로 변환된 데이타를 수신하는 단계; (h) 멀티미디어 나레이션 재생기에서 볼 수 있도록, 각 편집된 프로젝트의 저작 결과물을 생성하는 단계; (i) 상기 저작 결과물을 상기 멀티미디어 나레이션 재생기에서 미리보기를 통해 재생하여, 멀티미디어 나레이션을 시험 출력하는 단계; 및 (j) 상기 프로젝트를 저장하는 단계를 포함한다.
본 발명의 또 다른 목적을 달성하기 위하여, 본 발명은 컴퓨터에, (a) 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템의 메인 화면에서 새로운 프로젝트를 생성하는 기능; (b) 이미지 변환 모듈에 의해 발표자료를 각 페이지 별 로 이미지 파일로 변경하고 대본 및 제목을 설정하여 로딩하는 기능; (c) SWF 정보 수집 모듈에 의해 플래시 파일의 재생 시간을 가져오는 기능; (d) 동영상 파일 정보 수집 모듈에 의해 동영상을 미리 보기하거나, 재생 시간을 가져오는 기능; (e) 상기 발표자료 로딩 후, 라이브러리 관리 모듈에 의해 멀티미디어 나레이션을 제공하는 3D 아바타를 선택하여 윈도우 뷰에 나타내는 기능; (f) 선택된 3D 아바타의 배경, 움직임, 시청각적 효과를 라이브러리 리스트에서 선택하여, 드래그&드롭 방식으로 타임라인 편집기의 타임라인 셀에 링크시킨 후 각 라이브러리 및 소스(동영상 또는 이미지 또는 플래시 파일)를 편집하는 기능; (g) 립씽크 편집기에 의해 발표자료에서 가져온 상기 대본이나 사용자로부터 입력된 대본을 편집하고, 상기 대본의 각 문장을 TTS 서버로 전송하고, 이를 음성으로 변환된 데이타를 수신하는 기능; (h) 멀티미디어 나레이션 재생기에서 볼 수 있도록, 각 편집된 프로젝트의 저작 결과물을 생성하는 기능; (i) 상기 저작 결과물을 상기 멀티미디어 나레이션 재생기에서 미리보기를 통해 재생하여, 멀티미디어 나레이션을 시험 출력하는 단계; (j) 상기 프로젝트를 저장하는 기능; (k) 멀티미디어 나레이션 저작도구로부터 제작되는 컨텐츠의 불법 복제를 방지하기 위해 멀티미디어 나레이션 재생기나 상기 소스에 DRM(Digital Rights Management)을 적용해 불법 복제시 워터마크를 삽입하는 기능; (l) 타임 라인의 원하는 위치에서 3D 아바타를 교체하는 경우, TTS 서버와 연동되어 교체된 3D 아바타에 따라 음성 또는 음색을 변경시켜 출력하는 기능; (m) 3D 공간에서 배경에 움직이는 오브젝트를 추가하는 경우, 타임라인 설정에 따라 상기 오브젝트의 움직임을 가상 체험하도록 하는 기능; (n) 다수의 3D 아바타가 서로 인터렉티브하게 반응하고 대화할 수 있도록 타임라인 편집 기능에서 각 3D 아바타의 움직임에 대한 제어 기능; 및 (o) 타임라인의 설정에 의한 제어에 따라 3D 공간에 존재하는 오브젝트상에 멀티미디어 데이타를 실행하는 기능을 실현시키기 위한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션(WizPub) 시스템 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션(Wiz-Pub) 시스템은 3D 버추얼 에이전트를 사용한 멀티미디어 저작 시스템(이하, WizPub 메인 프로그램이라고 칭함)(100), TTS 서버(200), 및 갱신 서버(300)를 포함한다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 저작 시스템(WizPub 메인 프 로그램)(100)은 소스 관리 모듈(10), 결과물 생성 모듈(20), 프로젝트 관리 모듈(30), 타임라인 편집 모듈(40), 라이브러리 관리 모듈(50), 립씽크 편집 모듈(60), 키워드 관리 모듈(70), 및 출력 모듈(80)을 포함한다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(이하, Wiz-Pub Player라고 한다)(90)는 상기 출력 모듈(80)을 포함한다.
상기 3D 버추얼 에이전트는 3D 아바타의 동작, 표정, 배경, 효과, 효과음, 동영상, 플래시, 이미지 데이타를 포함한다.
상기 소스 관리 모듈(10)은 PPT 이미지 변환 모듈, SWF 정보 수집 모듈, 및 동영상 파일 정보 수집 모듈을 포함하고, 다양한 포맷의 소스(PPT 발표자료의 이미지 변환 파일, 동영상 파일 및 플래시 파일을 포함)에 대한 정보 수집 기능 및 포맷 변환 기능을 제공한다.
상기 PPT 이미지 변환 모듈은 파워포인트(PPT) 발표자료 파일을 각 페이지 별로 이미지 파일로 변환하고, 상기 발표 자료로부터 대본 및 제목을 가져온다.
상기 SWF 정보 수집 모듈은 플래시 파일(SWF)의 재생(Play) 시간에 관한 정보를 가져온다.
상기 동영상 파일 정보 수집 모듈은 동영상을 미리 보기 하거나, 재생(Play) 시간에 관한 정보를 가져온다.
상기 결과물 생성 모듈(20)은 압축 모듈, 암호화 모듈, 워터 마크 모듈을 포함하고, 타임라인(timeline)에 따라 동기화된 상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)(90)로 볼 수 있도록 편집된 프로젝트 를 저장한다.
상기 압축 모듈은 3D 아바타 데이타, 멀티미디어 데이타(배경 이미지, 플래시 데이타, 음성 데이타, 음향 데이타, 동영상 데이타)를 압축하는 기능을 제공한다.
상기 암호화 모듈은 전용 플레이어(멀티미디어 나레이션 재생기)로만 열 수 있도록 소정의 암호화 알고리즘(예: RSA 128 bit 방식)을 사용하여 저작 결과물을 암호화하는 기능을 제공한다.
상기 워터 마크 모듈은 멀티미디어 나래이션 데이타의 불법 복제와 변조 방지를 위해 디지털 저작권 관리(DRM:Digital Rights Management)를 적용하여 멀티미디어 데이타(이미지, 음성 데이타, 음향 데이타(효과음), 동영상 데이타)에 워터 마크를 적용하는 기능을 제공한다.
상기 프로젝트 관리 모듈(30)은 상기 프로젝트 파일 생성과 저장 및 변경에 따른 세부적인 작업을 수행한다.
상기 타임라인 편집 모듈(40)은 3D 아바타의 배경, 움직임(동작, 표정), 시청각적 효과(효과, 효과음), 바탕화면의 각 개별 라이브러리, 소스(동영상, 이미지, SWF) 등을 타임라인(timeline)에 따라 편집하는 기능을 제공한다.
상기 라이브러리 관리 모듈(50)은 3D 아바타, 배경, 움직임(동작, 표정), 시청각적 효과(효과, 효과음), 바탕화면의 각 개별 라이브러리를 관리한다.
상기 립싱크 편집 모듈(60)은 상기 TTS 서버(200)의 TTS 모듈(210) 및 MP3P 변환 모듈(220)과 연결되고, 파워포인트(PPT) 등의 소스에서 가져온 문장이나 사용 자가 입력, 붙여 넣기 한 문장을 편집한다.
상기 키워드 관리 모듈(70)은 대본의 각 키워드(대본의 낱말)에 상기 3D 아바타의 일정한 동작이나 표정을 대응시켜 적용시켜준다.
상기 출력 모듈(80)은 입모양 생성 모듈, 사운드 관리 모듈, 3D 엔진 모듈, 및 웹 컨트롤 모듈을 포함한다.
상기 입모양 생성 모듈은 멀티미디어 나레이션을 제공하는 3D 아바타가 대본(문장)을 말할 때 해당되는 입모양을 표현하도록 자동 생성한다.
상기 사운드 출력 모듈은 효과음, 음성파일을 기 설정된 타임라인(Timeline)에 따라 출력하도록 한다.
상기 3D 엔진 모듈은 3D 아바타, 배경, 이미지 등을 가상 공간에 표현하는 기능을 제공한다.
상기 웹 컨트롤 모듈은 3D 버추얼 에이전트를 웹 페이지에 연결한다.
상기 미리 보기/멀티미디어 나레이션 재생기(Wiz-Pub Player)는 상기 3D 버추얼 에이전트를 이용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)에 의해 생성된 저작 결과물을 재생, 정지, 멈춤 등 제어하는 Play 컨트롤 모듈; 및 사용자가 이미지에 연필과 같은 툴로 표현하는 그림판 모듈을 포함한다.
상기 TTS 서버(200)는 3D 아바타의 다양한 움직임(동작, 표정), 배경, 시청각적 효과(효과, 효과음), 동영상, 플래시를 제공하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램) 또는 상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)와 연결되고, 문장 을 음성 파일로 변환하는 TTS 모듈(210), 및 상기 음성 파일을 MP3 파일로 변환하는 MP3 변환 모듈(220)을 포함한다.
상기 갱신 서버(Update Server)(300)는 상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램) 및 상기 멀티미디어 나레이션 재생기(Wiz-Pub Player)에 포함되어 있는 관리돼야 할 파일들의 버전을 업데이트하여 설정하는 업데이트 설정 모듈(320), 및 설정된 파일 목록을 가지고 상기 멀티미디어 나레이션 저작 시스템에 파일들을 최신 파일로 유지하는 업데이트 Active X 모듈(310)을 포함한다.
도 2는 본 발명의 실시예에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 3D 엔진 모듈의 구성도이다.
상기 3D 엔진 모듈은 카메라 제어 모듈(81), 효과 모듈(82), 캐릭터 모듈(83), 배경 모듈(84), 텍스춰(Texture) 관리 모듈(85), 모션(Motion) 관리 모듈(86), 메쉬(Mesh) 관리 모듈(87), 타임라인 관리 모듈(88), 렌더러(Renderer)(89), 및 Direct X를 포함한다.
상기 뷰 포인트 제어 모듈(81)은 3D 버추얼 에이전트에 대한 뷰 포인트(View Point) 제어를 담당한다.
상기 효과 모듈(82)은 상기 소스에 대해 다양한 3D 애니메이션 효과를 제공한다.
상기 캐릭터 모듈(83)은 캐릭터 데이터를 입력받아 상기 3D 아바타의 캐릭터를 구성하고 제어하는 모듈이다.
상기 배경 모듈(84)은 3D 배경을 로드하여 메쉬(Mesh) 데이타로 위치를 설정하고 제어한다.
상기 텍스춰(Texture) 관리 모듈(85)은 3D 아바타와 배경의 텍스춰(Texture)를 관리를 해주는 모듈이다.
상기 모션(Motion) 관리 모듈(86)은 3D 아바타의 움직임(동작)을 관리해주는 모듈이다.
상기 메쉬(Mesh) 관리 모듈(87)은 멀티미디어 나레이션을 표현하는 3D 아바타의 각 신체부위(머리, 입모양, 상체, 왼손, 오른손, 허리, 하체, 왼쪽, 오른쪽 다리 등)에 대한 메쉬 오브젝트를 관리해주는 모듈이다.
상기 타임라인 관리 모듈(88)은 일정 시간 단위(예: 10ms)로 타임라인 셀(Cell)의 타임라인(Timeline)을 편집하고 관리하기 위한 모듈이다.
상기 렌더러(Renderer)(89)는 Direct 3D를 이용하여 화면에 최종 렌더링을 해주는 모듈이다. 상기 렌더러(89)는 동영상 파일을 인코딩/디코딩하기 위한 동영상 인코더/디코더(89a), 플래시 파일을 화면상에 출력하기 위한 플래시(Flash) 필터(89b), 및 파일 형식을 표준화시켜 메모리로 불러들이기 위한 파일 필터(89c)를 포함한다.
도 3은 3D 아바타의 다양한 표정, 동작, 배경, 효과음을 선택하여 타임라인에 맞춰 립씽크를 편집하여 작성된 문장을 TTS 기능에 의해 해당 언어(한글, 영어, 중국어, 일본어 등)로 음성으로 출력하는 3D 버추얼 에이전트를 통해 멀티미디어 나레이션을 제공하는 Wiz-Pub 메인프로그램의 구성도이다.
상기 3D 버추얼 에이전트를 통해 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램:Wiz-Pub Studio)는 Wiz-Pub의 파일, 편집, 컨트롤, 도구, 도움말 메뉴의 기본 메뉴를 제공하는 메인메뉴; 자주 사용하는 기능을 쉽고 빠르게 사용할 수 있도록 새 프로젝트, 프로젝트 열기, 프로젝트 저장, 가져 오기, 미리 보기, 전체 립씽크 변환, 이벤트 자동 생성, 키워드 액션 관리 아이콘을 표시하는 단축 아이콘; 파일을 변환해 "가져 가기" 해온 파일의 이동 삭제 등의 관리 기능을 담당하는 프로젝트 윈도우(①); 3D 아바타와 배경 슬라이드가 타임라인의 기준선 선택과 플레이에 따라 보여주고, 라이브러리에 있는 아바타 및 배경 등의 리스트를 클릭하여 미리보기를 지원하는 윈도우 뷰(②); 3D 아바타의 배경, 동작, 표정, 효과, 효과음, 바탕화면을 간단한 드래그&드롭(Drag & Drop)을 이용하여 타임라인과 윈도우 뷰에 추가가 가능한 라이브러리(③); 타임라인 정보에 따라 시작시간, 재생시간, 종료 시간을 포함하는 각 타임라인의 셀의 정보를 보여주기 위한 등록정보(④); 간단한 텍스트 입력만으로 TTS 서버(200)에 의해 작성된 문장(한글, 영어, 일어, 중국어)을 TTS(Text To Speech) 기능에 의해 음성으로 변환하여 출력하는 립씽크 편집기(⑤); 및 타임라인 편집기(⑥)를 포함한다.
도 4a는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 타임라인 편집 기능을 설명하기 위한 도면이다.
상기 타임라인 편집기(⑥)는 단위 시간(예: 10 msec)에 따라 이미지, 동영상, 플래시(Flash) 소스를 기준으로 한 3D 버추얼 에이전트의 타임라인 셀(Cell)에 맞추어 립씽크, 동작(action), 표정, 소스의 장면 전환, 효과, 효과음을 쉽고 편리 하게 편집기능을 제공한다.
도 4b는 Wiz-Pub 메인 프로그램의 키워드 관리 기능을 설명하기 위한 도면이다. 헬프 어시스턴트(Help Assistant), 강사용 튜터(Tutor), 세일즈 에이전트(Sales Agent), 엔터테이너(Entertainer) 등의 3D 버추얼 에이전트(3D Virtual agent)의 성격에 맞는 동작, 표정의 그룹 설정 기능, 정의된 키워드 액션 그룹과 키워드에 따른 타임라인 셀(Cell) 자동 생성 기능을 제공한다.
예를 들면, 상기 키워드 관리 기능은 "안녕하세요"라는 키워드를 설정하고, 동작에 "허리숙여 인사하기", 표정에 "왼쪽 눈 깜박이기"로 설정하면, 3D 아바타의 "안녕하세요" 라는 인사말과 함께 인사하는 동작과 표정, 효과음을 연계하여 출력된다.
도 4c는 Wiz-Pub 메인 프로그램의 립씽크 편집 기능을 설명하기 위한 도면이다.
상기 Wiz-Pub 메인 프로그램의 립씽크 편집 기능은 보여주는 문서에 따른 텍스트를 TTS(Text To Speech) 기능에 의해 자동으로 음성으로 변환하여 주는 기능을 제공하고, 마이크를 이용한 음성 녹음 기능을 제공하고, 립씽크 편집기에 입력된 한국어, 영어, 중국어, 또는 일본어 중 어느 하나로 표현된 외국어의 문장을 음성으로 변환하는 기능을 제공하고, 음의 용량, 빠르기, 높낮이 제어 기능을 제공한다.
도 4d는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)의 기능을 설명하기 위한 도면이다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)의 기능은 나레이션 모드, 프레젠테이션(PT) 모드, 웹용 아바타 모드로 재생되며, 싸이즈(Size) 조정, 슬라이드, 자막, 3D 에이전트, 배경, 사운드를 플레이할 수 있다.
상기 나레이션 모드는 3D 버추얼 에이전트 내부에 발표자료가 포함되어 재생되는 모드로써, 자막, 슬라이드 활성 비활성 기능, 및 슬라이드 위치 설정 기능을 제공한다.
상기 프레젠테이션 모드는 디스플레이 화면을 분할하여 3D 버추얼 에이전트와 발표자료가 서로 다른 위치에서 재생되는 모드이다.
상기 웹용 아바타 모드는 웹 페이지의 소정 위치에서 3D 버추얼 에이전트를 재생하는 모드로써, 아바타 뷰(View)와 슬라이드 뷰 사용자 사이즈 조절 기능, 슬라이드뷰 활성 비활성 기능, 및 슬라이드 위치 설정 기능을 제공한다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작도구(Wiz-Pub 메인 프로그램:Wiz-Pub Studio)는 윈도우즈 2000 이상의 운영체제에서 DirectX 9.X 이상 설치된 경우 실행되고, 인터넷 익스플로러 5.5 이상에 사용된다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기((Wiz-Pub Player)는 윈도우즈 98 이상의 운영체제에서 DirectX 9.X 이상 설치된 경우 실행되고, 인터넷 익스플로러 5.5 이상에 사용된다.
도 5는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션(이하, Wiz-Pub이라 칭한다)의 활용사례로써 웹 컨텐츠 제작 방법을 나타낸 도면이다.
도 6은 Wiz-Pub의 활용사례로써 헬프 어시스턴트(Help Assistant)를 나타낸 도면이다.
도 7은 Wiz-Pub의 활용사례로써 강사용 튜터(Tutor)로 사용하여, 음성 안내, face to face communication, 가상 공간을 통한 체험 학습, 다양한 멀티미디어 학습을 나타낸 도면이다.
상기 강사용 튜터(Tutor)는 가상 세계의 3D 어시스턴트 에이전트(assistant agent)와 교육 컨텐츠의 상호 작용을 통해 체험에 의한 학습 경험을 즐겁게 하고, 문제에 집중하게 하며 효과적으로 배울 수 있게 도와준다.
도 8은 Wiz-Pub의 활용사례로써 제품 설명을 위한 세일즈 에이전트(Sales Agent)를 나타낸 도면이다. 상기 세일즈 에이전트는 고객 혜택 등 음성 정보 안내, face to face communication, 고객 서비스 절차 안내, 멀티미디어 형태의 정보를 제공한다.
도 9는 Wiz-Pub의 활용사례로써 기업의 마스코트 제작(Entertainer) 화면을 나타낸 도면이다. 기업은 독특한 마스코트(mascot)를 주문 제작을 통해 기업만의 이미지, 정보를 재미있고, 즐겁게 고객들에게 제공하고, 사이트의 인지도를 향상시키고, 음성 정보를 지원하여 지속적인 방문객을 유치할 수 있다.
도 10은 Wiz-Pub의 활용사례로써 오프라인에서 대형 PDP, 키오스크(KIOSK)에 3D 버추얼 에이전트(3D Virtual Agent)를 적용한 예를 나타낸 도면이다.
도 11a는 3D 버추얼 에이전트를 통해 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)의 메인 윈도우를 나타낸 도면이다.
상기 3D 버추얼 에이전트를 통해 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램(Wiz-Pub Studio))은 메인메뉴(①), 단축 아이콘(②), 프로젝트 윈도우(③), 윈도우 뷰(④), 라이브러리(⑤), 등록정보(⑥), 립씽크 편집기(⑦), 및 타임라인 편집기(⑧)를 포함한다.
상기 메인 메뉴(①)는 파일, 편집, 컨트롤, 도구, 도움말 메뉴 등의 Wiz-Pub의 기본 기능을 순차적으로 찾아 들어갈 수 있는 기능을 제공한다.
상기 아이콘 메뉴(②)는 자주 사용하는 기능을 쉽고 빠르게 사용하도록 도와준다. 일실시예로, 상기 아이콘 메뉴는 새 프로젝트, 프로젝트 열기, 프로젝트 저장, 가져오기, 미리보기, 전체 립씽크 변환, 이벤트 자동 생성, 키워드 액션 관리 아이콘을 표시하였다.
상기 프로젝트 윈도우(③)는 파일을 변환해 "가져 가기" 해온 파일의 이동 삭제 등의 관리 기능을 담당한다.
상기 윈도우 뷰(④)는 3D 아바타와 배경 슬라이드가 타임라인의 기준선 선택과 플레이에 따라 보여진다. 라이브러리에 있는 아바타 및 배경 등의 리스트를 클릭하여 미리보기를 할 수 있도록 지원한다.
상기 라이브러리(⑤)는 아바타, 배경, 동작, 표정, 효과, 효과음, 바탕화면 등의 다양한 asset들을 보여준다. 이러한 asset들은 간단한 드래그&드롭(Drag & Drop)을 이용해 타임라인과 윈도우 뷰에 추가 가능하다.
상기 등록정보(⑥)는 타임 라인의 각 셀(cell)의 정보를 보여준다.
상기 립씽크 편집기(⑦)는 간단한 텍스트 변경 만으로 상기 TTS 서버에 접속 하여 TTS(Text To Speech) 엔진을 이용하여 기 설정된 언어별(한국어, 영어, 일본어, 중국어 등)로 작성된 문장을 음성으로 변환하는 기능을 제공한다.
상기 타임라인 편집기(⑧)는 아바타 소스, 립싱크, 동작, 표정, 효과, 효과음, 바탕화면들을 타임 라인에 일정 시간(예: 10ms) 간격에 맞춰 자세하게 편집 가능하다.
도 11b는 Wiz-Pub 메인 프로그램의 프로젝트 생성 화면을 나타낸 도면이다.
상기 Wiz-Pub 메인 프로그램의 프로젝트 생성은 아이콘 메뉴의 새 프로젝트 버튼 또는 텍스트 메인 메뉴의 파일=>새 프로젝트를 선택하면, 새 프로젝트명을 프로젝트명 입력한다. 상기 프로젝트의 생성은 기존 작업하던 프로젝트 존재시 저장 여부를 확인한 후, 메인 윈도우를 클리어한다.
도 11c는 Wiz-Pub 메인 프로그램의 프로젝트 열기를 나타낸 도면이다.
상기 Wiz-Pub 메인 프로그램은 프로젝트 열기를 선택하면, 파일 찾기 윈도우 팝업, 파일 선택 후 열기, 선택한 프로젝트 파일을 메인 윈도우에 생성한다.
상기 Wiz-Pub 메인 프로그램은 프로젝트 저장을 선택하면, 작업한 프로젝트를 저장, 또는 아이콘 메뉴의 저장 아이콘, 또는 텍스트 메인 메뉴의 파일=> 프로젝트 저장을 선택하면, 정해진 프로젝트 폴더에 *.wpp 파일로 저장한다.
도 11d는 Wiz-Pub 메인 프로그램의 다른 이름으로 저장을 나타낸 도면이다.
상기 Wiz-Pub 메인 프로그램의 다른 이름으로 저장은 새로운 저장 위치를 선택한 후 프로젝트 파일을 저장한다.
도 11e는 Wiz-Pub 메인 프로그램의 파일 가져 오기를 나타낸 도면이다.
Wiz-Pub 메인 프로그램의 파일 가져 오기는 문서(*.ppt), 이미지(*.jpg, *.bmp, *.gif, *.tga), 동영상(*.avi, *.mov, *.mpg, *.asf, *.wma)을 지원하고, 파워포인트(PPT) 발표자료 파일은 *.jpg 파일로 변환되며 노트의 내용 입력시 빈 음성 셀의 자막으로 표시되어 나타난다. 파일들은 빈 음성 셀이 붙은 소스 셀(source cell)로 변환되어 타임 라인에 순서대로 삽입한다.
도 11f는 Wiz-Pub 메인 프로그램의 아바타 삽입을 나타낸 도면이다.
3D 아바타 삽입은 라이브러리에서 "아바타"를 클릭한 후, 아바타 리스트에서 원하는 아바타 선택하면 윈도우 뷰(view)에 디스플레이된다.
도 11g는 Wiz-Pub 메인 프로그램의 배경 삽입을 나타낸 도면이다.
배경 삽입은 라이브러리에서 "배경"을 클릭한 후, 배경 리스트에서 원하는 배경을 선택하면, 바탕화면 클릭 2D 또는 3D 배경을 제공하고, 바탕화면 클릭시 전체 배경으로 삽입된다.
리스트의 서로 다른 이미지를 타임라인의 바탕화면 레이어(layer)에 드래그&드롭(Drag & Drop)을 이용해 삽입 슬라이드 효과를 제공한다.
도 11h는 Wiz-Pub 메인 프로그램의 소스 layer에 셀 삽입을 나타낸 도면이다.
이미지 삽입은 가져오기를 통한 일반 이미지를 별도로 삽입한다(이미지는 환경 설정에서 사용자가 정한 이미지 크기로 삽입됨).
동영상 삽입은 가져오기를 통한 동영상을 삽입한다(동영상의 전체 사이즈가 그대로 삽입).
빈 소스 셀 삽입은 웹 용 아바타 모드에서 3D 아바타만 보여줄 때 주로 사용하며, ①아이콘 클릭 시 ②프로젝트 윈도우와 ③타임라인의 빈 소스 셀에 빈 음성 셀이 생성되고 빈 음성 셀에 웹의 텍스트를 카피&페이스트(Copy & Paste)하여 사용 가능하다.
소스 레이어에 셀(Cell) 추가시, 셀들은 추가되는 순서대로 맨 뒤에 위치하며 ①의 위 아래 버튼을 이용해 순서를 바꿀 수 있다.
도 11i는 Wiz-Pub 메인 프로그램의 아바타의 초기 위치 설정을 나타낸 도면이다.
아바타의 초기 위치 설정은 윈도유 뷰(View)에서 원하는 아바타의 카메라 뷰(view)를 선택한 후, 메인 메뉴=>초기 위치 설정을 클릭하여 아바타의 초기 위치를 설정한다. 아바타의 초기 위치 설정을 반드시 해야 정확한 아바타의 움직임과 이동을 볼 수 있다.
도 11j는 Wiz-Pub 메인 프로그램의 아바타에 동작 표정 맵핑 하기를 나타낸 도면이다.
3D 아바타에 동작 표정 맵핑 하기는 라이브러리에서 동작 클릭시, 아바타의 동작과 표정을 라이브러리 리스트(②)에 보여주고, 3D 아바타의 나레이션에 맞는 동작을 간단한 드래그&드롭(Drag & Drop)을 이용하여 상기 타임라인 편집기(③)의 동작 라인에 삽입한다. 맵핑한 동작 표정은 타임라인의 플레이, 일시 정지, 스톱 기능을 이용해 미리 보기 할 수 있다.
도 11k는 Wiz-Pub 메인 프로그램의 립싱크 편집을 나타낸 도면이다.
전체 립싱크 변환 기능은 파워포인트(PPT)의 노트에 삽입된 내용이 상기 타임라인 편집기(③)의 빈 음성 셀에 존재할 때, 전체 립싱크 변환 아이콘(①)을 선택하여 팝업되는 음성변환 설정 창(②)을 통해 자막을 TTS 음성으로 변환한다.
전체 립싱크 변환 기능은 작업한 음성 셀의 크기, 여백, 언어, 피치(Pitch), 속도(Speed)의 설정을 한꺼번에 변경시키고자 할 때도 사용 가능하다.
다음은 립싱크 편집시 주의 사항을 설명한다.
나레이션(narration) 대본 또는 문장 입력시 주의사항은 긴 문장을 사용할 때는 쉼표(,)를 적절히 사용하여 음성생성 프로그램에서 문장을 효과적으로 끊어 읽을 수 있도록 작성해야 하고, 띄어쓰기에 주의하여 제작해야 한다. 글을 쓸 때는 띄어 쓰지만, 실제로 읽을 때는 쉬지 않고 연속적으로 발음되는 경우가 있는데, 이런 경우는 붙여 써 준다. 단, 띄어쓰기를 지켜야 할 경우는 반드시 띄어쓰기 규칙대로 작성해야 한다. 가령 "이해해야한다."의 경우, 실제 발음은 [이해야한다]로 발음되는데 이런 현상이 일어나는 것은 음성생성 프로그램의 데이타를 녹음할 때, 성우가 자연스러운 운율에 따라 발음을 녹음하였기 때문입니다. 그러므로, 작성시 "이해해야한다."를 분명한 발음으로 유도하기 위해서는 "이해 해야 한다."로 띄어쓰기로 표기해야한다. 이처럼 표기와 발음의 차이를 구분하는 방법으로 //문법//발음// 으로 구분하는 팁을 제공한다.
또한, 숫자의 발음에 주의해야 한다. 숫자 1, 2, 3 ... 등은 각각 일, 이, 삼... 등으로 발음되므로 숫자의 발음에 주의해야 한다. 숫자의 경우 상황을 잘 판단하여 서수사로 표현해야 할 지, 기수사로 표현해야 할지를 잘 판단해야 한다.
또한, 물음표(?), 쉼표(,), 마침표(.), 조사 등은 앞 낱말과 붙여 쓴다.
물음표(?)가 쓰이는 경우는 그에 맞추어 억양이 올라가고, 쉼표(,)가 쓰이는 경우 잠시 쉬었다 발음하며, 마침표(.)가 쓰이는 경우 문장을 끝맺는다는 의미로 잠시 쉬었다 발음하고, 조사의 경우 꼭 앞 말과 붙여 써야 한다.
대본 입력시 주요 문법은 //자막용 대본//발음용 대본//을 사용한다.
//로 묶인 앞부분은 음성으로 변환되지 않고 단지 자막용으로만 보여지며, 뒷부분은 음성으로 변환되어 실제 발음용으로만 사용된다. 음성 합성엔진이 미쳐 표현하지 못하는 단어일지라도 이 문법을 쓰면 세련되게 대본의 음성을 조절할 수 있다(예: //wisenwide.Com//와이즌와이드 닷컴//, //Wiz-Pub//위즈펍//).
셀의 앞뒤에 씽크 맞추기 위해 여유가 필요할 때는, 도 11m에 도시된 바와 같이, 문장의 앞뒤에 // //{3000(원하는 시간)}//을 입력해 빈 음성 셀(Cell)을 생성해 보다 정교한 아바타 액션의 정교한 편집이 가능하다(원하는 시간 단위는 msec 이다).
세밀한 발음 표현과 아바타 액션의 정교함을 위해, 가능하면 (,)나 (.)를 기준으로 Enter 키를 눌러 줄 바꾸기를 해 준다. 이러한 줄 바꾸기는 음성 변환시 각각 셀(Cell)로 나뉘어 생성된다.
도 11n은 Wiz-Pub 메인 프로그램의 셀 선택 후 음성 변환을 나타낸 도면이다.
립싱크 레이어에서 특정 셀(①)을 선택 후, 립씽크 편집기(②)에 자막을 씽크 맞추기 클릭시, 음성 변환 설정 창(③)이 팝업되어 사용자 셋팅 후 확인한다.
도 11o는 Wiz-Pub 메인 프로그램의 음성 셀 수정 편집을 나타낸 도면이다.
음성 셀 수정 편집은 수정을 원하는 셀을 선택 립싱크 편집기에 원하는 내용대로 수정 후 씽크 맞추기를 클릭하고, 엔터(Enter) 키 없이 입력 가능한 최대 텍스트가 영문은 126자고 한글은 63자이며, 그 이상으로 입력시 메시지 팝업, 엔터 키를 쳐 문장을 구분하면 타임라인 편집기에서 셀(Cell)도 같이 구분된다.
자세하게 편집을 쉽게 하기 위해, 문장의 쉼표나 마침표를 기준으로 엔터키를 눌러 구분해 주는 것이 편집 수정에 용이하다.
도 11p는 Wiz-Pub 메인 프로그램의 음성 셀 구분 하기를 나타낸 도면이다.
음성 셀 구분 하기는 구분 짓고자 하는 특정 셀을 선택한 후, 원하는 위치의 내용에서 엔터(Enter) 키를 누르고 씽크 맞추기 버튼을 클릭한다(엔터 키 없이 입력 가능 한 최대 텍스트가 영문은 126자고 한글은 63자).
상기 음성 셀 구분 하기는 추가되는 내용을 셀 구분 할 때도 마찬가지로 기존 자막 끝에 엔터를 치고 추가 내용 입력 후 씽크 맞추기를 클릭한다.
상기 음성 셀 구분 하기는 셀의 삭제 추가 여부에 따라 소스 부분의 이미지, 동영상, 플래쉬 등의 소스 셀은 자동으로 줄고 늘어난다(동영상의 립씽크 셀이 원본 보다 작을 시에는 립싱크 크기만큼 잘리며, 큰 경우는 본 크기 이상부터는 반복 플레이 된다. 하나의 소스 이미지에 마지막 남은 립싱크 셀을 삭제하면 소스 셀도 함께 사라진다.
도 11p는 Wiz-Pub 메인 프로그램의 빈 립싱크 셀 삽입 하기를 나타낸 도면이다.
빈 립싱크 셀 삽입은 원하는 립싱크 셀의 앞 뒤에 빈 셀(Cell)을 이용하여 여백을 주는 기능과, 셀의 앞 뒤에 다음의 형식으로 빈 음성 셀을 삽입한다( => // //{원하는 초 수(단위 msec)}// ).
도 11r은 Wiz-Pub 메인 프로그램의 립싱크 녹음 하기를 나타낸 도면이다.
립싱크 녹음은 녹음을 원하는 셀을 선택한 후, 오른쪽 마우스를 클릭하여 립싱크 녹음을 선택하고, 셀 선택 후 도구=>립싱크 녹음을 선택하면, 립싱크 녹음 창 팝업 => 녹화 클릭 후 마이크에 대고 음성 녹음 정지 버튼 클릭시 리스트에 Rip파일 생성한다. 시작, 정지 버튼으로 확인 후 완료 버튼을 클릭하면, 타임라인 편집기에 Rip파일 생성하고, 원본 TTS 파일을 삭제한다.
도 11s는 Wiz-Pub 메인 프로그램의 키워드 액션 관리를 나타낸 도면이다.
키워드 액션 관리는 TTS 음성 변환시 사용하는 단어에 대한 아바타 동작을 미리 사용자가 설정하고 자동으로 생성할 수 있도록 사용자가 관리할 수 있는 기능을 제공한다. 아이콘 메뉴와 텍스트 메뉴의 도구=>키워드 액션 관리 클릭 => 키워드 액션 관리 창을 팝업하면, 각 아바타의 성격에 맞게 그룹을 설정하기 위해 그룹 추가를 선택하고, 키워드 액션 그룹 명을 입력한 후, 입력한 그룹 명을 리스트(③)에 생성한다.
도 11t에 도시된 바와 같이, 키워드 액션 관리는 키워드 액션 추가 버튼(④)을 클릭하고, 키워드 액션 설정 창을 팝업하고, 키워드 명(⑤)을 입력한 후 동작(⑥)과 표정(⑦)을 선택하고, 키워드 액션 리스트(⑧)에 삽입한다.
키워드 액션 그룹 선택한 후, 오른쪽 마우스 클릭 후 키워드 자동 생성을 클 릭, 또는 그룹 리스트 중 하나를 선택한 후, 아래 자동 생성 버튼 클릭하면 타임라인의 동작과 표정 레이어에 설정한 키워드에 다른 동작, 표정 셀이 생성된다.
도 12a는 Wiz-Pub 메인 프로그램의 타임라인 편집 툴을 나타낸 도면이다.
타임라인 편집 툴은 셀 선택 버튼, 손 버튼, 확대 버튼, 축소 버튼, 휴지통 버튼, 플레이/스톱/일시 정지 버튼을 포함한다.
상기 셀 선택 버튼은 셀을 선택해 이동, 편집, 삭제할 수 있도록 셀(Cell)을 선택해 주는 기능을 제공한다.
상기 손 버튼은 타임라인의 전체 이동 기능(좌, 우)을 제공한다.
상기 확대 버튼은 각 셀의 크기를 확대해 세밀한 편집이 가능하다.
상기 축소 버튼은 셀의 전체적 구성을 볼 수 있도록 타임 라인의 셀을 축소시킨다.
상기 휴지통 버튼은 선택한 셀(Cell)의 삭제시 이용된다.
상기 플레이/스톱/일시 정지 버튼은 타임라인 편집시 확인 작업을 위해 미리 보기 할 수 있다(메인 화면의 윈도우 뷰에 디스플레이 된다).
도 12b에 도시된 바와 같이, 타임라인 편집 툴은 플레이, 스톱, 일시 정지 기능 사용 후, 마우스를 이용해 타임 라인의 타임 바를 선택시 타임 라인 기준선 생성되며 모든 윈도우 뷰의 기능을 타임 프레임 별로 볼 수 있어 자세한 편집이 가능하다.
도 12c는 타임라인 셀 편집을 나타낸 도면이다.
타임라인 셀 편집은 간단한 마우스의 드래그&드롭(Drag & Drop) 기능을 이용 해 편집 가능하다. 셀 선택 후, 오른쪽 마우스 클릭시 셀간 여백 설정이 가능하고, 셀 선택 후 좌, 우 화살표를 이용해 세밀한 이동이 가능하고, 셀 선택 후 Del 키를 이용해 삭제 가능하다.
도 12d는 슬라이드 또는 자막 중 하나를 포함하는 3D 아바타 나레이션 모드, 프레젠테이션(강의 스타일) 모드, 웹 용 아바타 모드 중 어느 하나의 모드에 따라 Wiz-Pub Player를 통해 미리 보기를 제공한다.
도 12e는 3D 아바타 나레이션을 예시한 도면이다.
3D 아바타 나레이션은 3D 아바타 뷰에 슬라이드와 자막을 옵션으로 인에이블&디스에이블(enable & disable)이 가능하고(사이즈 고정), 플레이/일시 정지/스톱의 제어 기능을 제공하고, 전체 타임 Duration 표시한다.
도 12f는 프레젠테이션(강의 스타일)을 예시한 도면이다.
프레젠테이션(강의 스타일)은 도 12g에 도시한 바와 같이, 플레이, 일시 정지, 스톱의 제어 기능을 제공하고, 전체화면, 아바타, 자막, 전체확대, 화면 스위치 등의 화면 구성 기능을 제공한다.
도 12h는 화이트보드 기능을 예시한 도면이다.
화이트 보드 툴 기능은, 화이트 보드 기능 사용시 모든 컨텐츠를 일시 정지 상태로 변환된다.
도 12i는 웹 용 아바타를 예시한 도면이다.
웹 용 아바타는 아바타 창과 슬라이드 창의 각각의 창 사이즈 조절이 가능하며, 슬라이드 창은 옵션으로 인에이블&디스에이블(enable & disable)이 가능하고, 플레이, 일시 정지, 스톱의 제어 기능을 제공하며, 슬라이드 창 사용시 Duration을 표시해 준다.
도 12j는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)로 저장하는 예를 도시한 도면이다.
내보내기(Wiz-Pub Player로 저장)는 위의 미리 보기의 3가지 방식으로 저장이 가능하며 저장시 *. wpf파일로 저장된다.
*. wpf파일은 Wiz-Pub 메인 프로그램이 설치되지 않아도 클릭하면 웹과 연동되어 간단한 플레이어를 다운받아 볼 수 있다.
*. wpf파일은 간단한 매뉴얼대로 작업하면 바로 웹에 올려 웹 서비스를 가능하게 한다(파일 하나로 CD배포와 웹 서비스를 동시에 가능).
도 12k는 Wiz-Pub 메인 프로그램의 Asset 라이브러리 화면을 예시한 도면이다. Asset 라이브러리는 아바타, 배경, 동작, 표정, 효과는 업그레이드시나 고객이 요청에 제작되었을 때만 업데이트 가능하다.
아바타, 및 배경은 클릭시 바로 윈도우 뷰에 적용된다.
효과음은 사용자가 직접 원하는 음을 선택해 추가해 관리하여 사용 가능하다.
바탕 화면은 이미지를 사용자가 라이브러리 리스트에 추가해 사용 가능하며, 리스트를 클릭시에는 전체 배경의 이미지로 선택되나 타임라인에 여러 이미지를 이용해 아바타 배경에 슬라이드 효과를 줄 수 있다.
도 12L은 오디오 설정을 설명하기 위한 도면이다.
오디오 설정은 립싱크 녹음시 또는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player) 재생시 간단히 마이크와 스피커를 설정할 수 있는 사용자 편의 기능을 제공한다.
도 12m은 Wiz-Pub 메인 프로그램의 환경 설정 화면을 나타낸 도면이다.
환경 설정은 전체 프로젝트의 초기 시작 여백(단위:msec) 및 최종 종료 여백(msec)을 포함하는 여백 설정 기능, PT 이미지 여백(msec), PT 이미지의 크기(%), PT 이미지의 투명도(%), 초기 기본 시간(msec) 등의 설정이 가능하며 윈도우 뷰에서 아바타의 위치를 간단한 마우스 이동을 통해 가능하다.
또한, 자동 업데이트 기능은 상기 Wiz-Pub 메인 프로그램 실행시 최신 버전(version)을 체크하여 업데이트(update)가 자동 실행되어 항상 제품의 최신 버전을 유지한다.
상기 Wiz-Pub 메인 프로그램이 최신 버전이 아니거나 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기((Wiz-Pub Player)가 구 버전일 경우, Wiz-Pub 플레이어도 웹과 연동하여 업데이트 서버(Update Server)(300)에 접속하여 자동으로 버전을 업데이트 해준다.
본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법은, 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작도구(Wiz-Pub 메인 프로그램)의 메인 화면에서 새로운 프로젝트를 생성하는 단계; PPT 이미지 변환 모듈에 의해 발표자료(PPT 파일 등)를 각 페이지 별로 이미지 파일로 변경하고 대본 및 제목을 설정하여 로딩하는 단계; SWF 정보 수집 모듈에 의해 플래시 파일(SWF) 의 재생(play) 시간을 가져오는 단계; 동영상 파일 정보 수집 모듈에 의해 동영상을 미리 보기하거나, 재생(play) 시간을 가져오는 단계; 상기 발표자료 로딩 후, 라이브러리 관리 모듈에 의해 멀티미디어 나레이션을 제공하는 3D 아바타를 선택하여 윈도우 뷰(View)에 나타내는 단계; 선택된 3D 아바타의 배경, 움직임(동작, 표정), 시청각적 효과(효과, 효과음), 바탕화면을 라이브러리 리스트에서 선택하여, 드래그&드롭 방식으로 타임라인 편집기의 타임라인 셀(Cell)에 링크시킨 후 각 라이브러리, 소스(동영상 또는 이미지 또는 플래시 파일)를 편집하는 단계; 립씽크 편집기에 의해 발표자료에서 가져온 상기 대본이나 사용자로부터 입력된 대본을 편집하고, 각 언어별로 작성된 상기 대본의 각 문장을 TTS 서버로 전송하고, 상기 TTS 서버로부터 작성된 문장을 음성으로 변환된 데이타를 수신하는 단계; 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 재생기(Wiz-Pub Player)에서 볼 수 있도록, 각 편집된 프로젝트의 저작 결과물을 생성하는 단계; 생성된 상기 저작 결과물을 상기 멀티미디어 나레이션 재생기에서 미리보기를 통해 재생, 정지, 멈춤 기능으로 제어하여, 3D 아바타의 배경, 동작, 표정, 효과, 효과음, 바탕화면을 포함하는 멀티미디어 나레이션을 시험 출력하는 단계; 및 상기 생성된 프로젝트를 저장하는 단계를 포함한다.
상기 3D 아바타의 라이브러리 리스트에는 움직임에 관한 머리 동작(예:앞으로 숙이기, 좌우로 흔들기, 두번 끄덕이기 등), 팔 동작(예:오른손 허리에 얹기), 전체 몸 동작(예: 한손 옆구리, 허리숙여 인사하기 등)을 포함하고, 움직임에 관한 표정은 얼굴 표정(예: 입 미소 짓기)과 눈 표정(예:왼쪽 눈 깜박이기 등)을 포함하 고, 시청각적 효과는 전달하고자 하는 내용을 기억하기 쉽게 소스를 3D 애니메이션화하는 다양한 효과(예:게시판 형식으로 페이지를 넘기는 효과, 회전문 형식으로 페이지를 넘기는 효과 등)를 제공한다.
라이브러리에 게시된 동작은 머리 동작, 팔 동작 및 전체 몸 동작을 제공한다.
일실시예로, 머리 동작은 앞으로 숙이기, 좌우로 흔들기, 두번 끄덕이기, 오른쪽 위로 45도 들기, 오른쪽으로 45도 돌리기, 오른쪽으로 90도 돌리기, 오른쪽으로 까우뚱, 왼쪽으로 45도 들기, 왼쪽으로 90도 돌리기, 왼쪽으로 까우뚱 동작을 라이브러리 리스트에 포함한다.
팔 동작은 박수치기, 팔짱끼기, 열중 쉬어 자세, 오른손을 허리에 얹기를 라이브러리 리스트에 포함한다.
전체 몸 동작은 기본 자세, 135도 높은 쪽 방향을 왼손으로 가르키기, 135도 낮은 쪽 방향을 왼손으로 가르키기, 오른손 검지 손가락 올리기, 성장 표시 상향, 성장 표시 하향, 손가락 위로 향하고 쳐다보기, 손마주잡기, 숫자세기(1,2,3), 걷기, 양손을 가슴에 얹기, 양손 깍지끼기, 양손 들고 설명하기, 양손 사용 여러분, 왼손 사용 여러분, 한손 옆구리, 허리 숙여 인사하기를 라이브러리 리스트에 포함한다.
표정은 눈의 표정(예: 양쪽 눈 깜박이기, 왼쪽 눈 깜박이기, 양쪽눈 치켜뜨기) 및 얼굴 표정(예: 얼굴 미소짓기)을 라이브러리 리스트에 포함한다.
상기 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법은 발표자 료 컨텐츠의 슬라이드 부분을 프린트하는 기능, 상기 3D 아바타의 배경의 소정 위치에 현재의 이미지 슬라이드 처럼 동영상을 사용하는 기능, 멀티미디어 나레이션 시험 출력시, 컨텐츠의 형태에 따라 3D 아바타의 크기(size)와 3D 버추얼 에이전트에 대한 뷰 포인트를 사용자가 직접 제어하는 기능을 제공한다.
상기 방법은, 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)으로부터 제작되는 컨텐츠의 불법 복제를 방지하기 위해 멀티미디어 나레이션 재생기(Wiz-Pub Player)나 이미지 슬라이드, 플래쉬, 동영상 아웃풋에 DRM(Digital Rights Management)을 적용해 불법 복제시 워터마크를 생성하는 기능을 삽입하여 컨텐츠를 보호하는 기능을 제공한다.
상기 방법은, 상기 타임 라인의 원하는 위치에서 3D 아바타로 교체할 수 있는 기능을 제공하고, 교체된 3D 아바타에 따라 음성 또는 음색을 변경시켜(TTS 변경시 아바타 음성에 따라 남녀 교체나 여성의 음색을 변경시켜) 다른 남성 아바타 또는 여성 아바타를 출력하여 컨텐츠를 설명하는 기능을 제공한다.
상기 방법은, 상기 타임라인에서 원하는 위치를 선택하여 저장하면, 선택한 부분만 저장되는 기능을 제공한다.
상기 방법은, 3D 공간에서 배경에 움직이는 오브젝트를 추가하는 기능을 제공하고, 타임라인 설정에 따라 다양한 아바타의 상기 오브젝트의 움직임을 시뮬레이션하여 제품 시뮬레이션이나 작동 방법을 가상 체험하는 기능을 제공한다.
상기 방법은, 타임라인에 맞춰 중간에 3D 아바타의 신체 일부분(얼굴, 헤어 등), 의상, 악세사리를 교체하는 기능을 제공한다.
상기 방법은, 사용자가 제공한 얼굴 사진을 이용하여 3D 아바타의 얼굴을 사용자가 제공한 얼굴로 교체하는 기능을 제공한다.
상기 방법은, 다수의 3D 아바타가 나와 각각의 아바타가 서로 인터렉티브하게 반응하고 대화할 수 있도록 타임라인 편집 기능에서 각 3D 아바타의 움직임(동작과 표정, 이동)에 대한 제어 기능을 제공한다.
상기 방법은, 3D 공간에서 다수의 3D 아바타들이 각각의 동선을 따라 움직일 수 있게 제어할 수 있는 3D 공간에서의 아바타들간의 동선 제어 기능을 제공한다.
상기 방법은, 타임라인의 설정에 의한 제어에 따라 3D 공간에 존재하는 오브젝트에 멀티미디어 데이타(이미지 슬라이드, 동영상, 플래쉬)가 실행된다.
상기 방법은, 3D 공간에서 3D 아바타를 이동하여 특정 오브젝트(Object) 터치시, 상기 특정 오브젝트에서 이미지 슬라이드, 동영상, 플래쉬, 웹이 실행되거나 독립 원도우가 뜰 수 있도록 하는 단계를 더 포함하여 구현할 수 있다.
상술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템 및 그 제공 방법은, 저작도구를 사용하여 3D 아바타의 다양한 배경, 동작, 표정, 효과, 효과음, 바탕화면, 동영상, 플래시, 이미지를 제공하고 발표 자료 문서에 다양한 효과를 가진 3D 버추얼 에이전트 나레이션(3D Virtual Agent narration)을 제공하고, 인터렉티브 멀티미디어 컨텐츠 플랫폼에 따라 TTS 기능에 의해 언어별(한국어, 영어, 일본어, 중국어)로 작성된 문장을 음성으로 변환하여 출력하고, 텍스트 프레젠테이션을 제공하여 멀티미디어 3D 아바타를 통해 제품 매뉴얼, 가이드(Guidance), 사내 교육(Education), 기업 마케팅 자료, 제품 카탈로그 제작, 발표용 자료(presentation), 교육에 따른 인력, 비용, 및 시간을 절감하고, 사내 직원의 효율적인 재교육을 통해 업무 능률을 향상시키는 효과를 제공한다.
또한, 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템을 사용하여 HTML 문서에서 디스플레이 위치를 지정하여 웹 컨텐츠 제작, 헬프 어시스턴트(Help Assistant), 교육용 튜터(Tutor), 제품 설명(Sales Agent), 기업의 마스코드 제작(Entertainer), 오프라인으로 3D 버추얼 에이전트를 대형 PDP나 키오스크(KIOSK)에 사용하는 효과가 있다.

Claims (26)

  1. 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템에 있어서,
    다양한 포맷의 소스에 대한 정보 수집 기능 및 포맷 변환 기능을 제공하는 소스 관리 모듈;
    타임라인에 따라 동기화된 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션을 재생하여 볼 수 있도록 편집된 프로젝트를 저장하기 위한 결과물 생성 모듈;
    상기 프로젝트 파일 생성과 저장 및 변경에 따른 세부적인 작업을 수행하기 위한 프로젝트 관리 모듈;
    3D 아바타, 배경, 움직임, 시청각적 효과에 관한 개별 라이브러리를 관리하기 위한 라이브러리 관리 모듈;
    각 라이브러리 및 상기 소스를 타임라인에 따라 편집하기 위한 타임라인 편집 모듈;
    TTS 서버의 TTS 모듈 및 MP3P 변환 모듈과 연결되고, 상기 소스에서 가져온 대본이나 사용자가 입력한 문장을 편집하기 위한 립싱크 편집 모듈; 및
    상기 대본의 각 키워드에 상기 3D 아바타의 일정한 동작이나 표정을 대응시켜 적용시켜주기 위한 키워드 관리 모듈;
    을 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  2. 제 1 항에 있어서,
    상기 소스는 발표자료의 이미지 변환 파일, 동영상 파일, 및 플래시 파일을 포함하고,
    상기 소스 관리 모듈은,
    문서포맷의 발표자료 파일을 각 페이지 별로 이미지 파일로 변환하고, 상기 발표자료로부터 대본 및 제목을 가져오기 위한 이미지 변환 모듈;
    플래쉬 파일(SWF)의 재생 시간에 관한 정보를 가져오기 위한 SWF 정보 수집 모듈; 및
    동영상을 미리 보기 하거나, 재생 시간에 관한 정보를 가져오기 위한 동영상 파일 정보 수집 모듈;
    을 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  3. 제 1 항에 있어서,
    상기 결과물 생성 모듈은,
    3D 아바타 데이타, 및 멀티미디어 데이타를 압축하기 위한 압축 모듈;
    전용 플레이어로만 재생할 수 있도록 소정의 암호화 알고리즘(RSA 128bit 방식)으로 저작 결과물을 암호화하기 위한 암호화 모듈; 및
    불법 복제와 변조 방지를 위해 멀티미디어 데이타에 워터 마크를 적용하기 위한 워터 마크 모듈;
    을 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  4. 제 1 항에 있어서,
    상기 결과물 생성 모듈에 의하여 생성되는 결과물은,
    3D 버추얼 에이전트 내부에 발표자료가 포함되어 재생되는 나레이션 모드,
    디스플레이 화면을 분할하여 3D 버추얼 에이전트와 발표자료가 서로 다른 위치에서 재생되는 프레젠테이션(PT) 모드, 및
    웹 페이지의 소정 위치에서 3D 버추얼 에이전트를 재생하는 웹용 아바타 모드
    를 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  5. 제 1 항에 있어서,
    3D 아바타가 문장을 말할 때 해당되는 입모양을 표현하도록 자동으로 생성하기 위한 입모양 생성 모듈;
    효과음 및 음성 파일을 기 설정된 타임라인에 따라 출력하기 위한 사운드 출력 모듈;
    3D 아바타를 기 설정된 가상 공간에 표현하기 위한 3D 엔진 모듈; 및
    상기 3D 버추얼 에이전트를 웹 페이지에 연결하기 위한 웹 컨트롤 모듈;
    을 갖는 출력 모듈을 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  6. 제 5 항에 있어서,
    상기 3D 엔진 모듈은,
    3D 버추얼 에이전트에 대한 제어를 담당하기 위한 뷰 포인트 제어 모듈;
    상기 소스에 대해 다양한 3D 애니메이션 효과를 제공하기 위한 효과 모듈;
    캐릭터 데이터를 입력받아 상기 3D 아바타의 캐릭터를 구성하고 제어하기 위한 캐릭터 모듈;
    3D 배경을 로드하여 메쉬(Mesh) 데이타로 위치를 설정하고 제어하기 위한 배경 모듈;
    3D 아바타와 배경의 텍스춰(Texture)를 관리하기 위한 텍스춰(Texture) 관리 모듈;
    상기 3D 아바타의 움직임을 관리하기 위한 모션(Motion) 관리 모듈;
    멀티미디어 나레이션을 표현하는 3D 아바타의 각 신체부위에 대한 데이타의 메쉬 오브젝트를 관리해주기 위한 메쉬(Mesh) 관리 모듈;
    일정 시간 단위로 타임라인 셀의 타임라인을 관리하기 위한 타임라인 관리 모듈; 및
    동영상 인코더/디코더, Flash 필터, 및 파일 필터를 포함하고, Direct 3D를 이용하여 화면에 최종 렌더링을 해주기 위한 렌더러;
    를 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  7. 제 1 항에 있어서,
    상기 3D 버추얼 에이전트는,
    상기 3D 아바타의 동작, 표정, 배경, 효과, 효과음, 바탕화면, 동영상, 플래시, 이미지를 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  8. 제 5 항에 있어서,
    상기 출력 모듈은,
    상기 결과물 생성 모듈에 의해 생성된 저작 결과물의 재생을 제어하기 위한 재생 컨트롤 모듈; 및
    사용자가 원하는 이미지로 표현하도록 하는 그림판 모듈;
    을 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  9. 제 1 항에 있어서,
    3D 아바타의 움직임, 배경, 시청각적 효과를 제공하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템(Wiz-Pub 메인 프로그램)과 연결되고, 문 장을 음성으로 변환하고, 음성 파일을 상기 멀티미디어 나레이션 저작 시스템으로 전송하기 위한 TTS 서버; 및
    3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템에 포함되어 있는 관리되어야 할 파일들의 버전을 업데이트하여 설정하는 업데이트 설정 모듈, 및 설정된 파일 목록을 가지고 상기 멀티미디어 나레이션 저작 시스템의 파일들을 최신 파일로 유지하는 업데이트 Active X 모듈을 포함하는 갱신 서버;
    를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  10. 제 9 항에 있어서,
    상기 TTS 서버는,
    기 설정된 언어별로 문장을 음성 파일로 변환하는 TTS 모듈; 및
    상기 음성 파일을 MP3 파일로 변환하는 MP3 변환 모듈;
    을 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  11. 제 10 항에 있어서,
    상기 기 설정된 언어는,
    한국어, 영어, 일본어, 중국어를 포함하는 것을 특징으로 하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템.
  12. 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법에 있어서,
    (a) 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템의 메인 화면에서 새로운 프로젝트를 생성하는 단계;
    (b) 이미지 변환 모듈에 의해 발표자료를 각 페이지 별로 이미지 파일로 변경하고 대본 및 제목을 설정하여 로딩하는 단계;
    (c) SWF 정보 수집 모듈에 의해 플래시 파일의 재생 시간을 가져오는 단계;
    (d) 동영상 파일 정보 수집 모듈에 의해 동영상을 미리 보기하거나, 재생 시간을 가져오는 단계;
    (e) 상기 발표자료 로딩 후, 라이브러리 관리 모듈에 의해 멀티미디어 나레이션을 제공하는 3D 아바타를 선택하여 윈도우 뷰에 나타내는 단계;
    (f) 선택된 3D 아바타의 배경, 움직임, 시청각적 효과를 라이브러리 리스트에서 선택하여, 드래그&드롭 방식으로 타임라인 편집기의 타임라인 셀에 링크시킨 후 각 라이브러리 및 소스(동영상 또는 이미지 또는 플래시 파일)를 편집하는 단계;
    (g) 립씽크 편집기에 의해 발표자료에서 가져온 상기 대본이나 사용자로부터 입력된 대본을 편집하고, 상기 대본의 각 문장을 TTS 서버로 전송하고, 이를 음성으로 변환된 데이타를 수신하는 단계;
    (h) 멀티미디어 나레이션 재생기에서 볼 수 있도록, 각 편집된 프로젝트의 저작 결과물을 생성하는 단계;
    (i) 상기 저작 결과물을 상기 멀티미디어 나레이션 재생기에서 미리보기를 통해 재생하여, 멀티미디어 나레이션을 시험 출력하는 단계; 및
    (j) 상기 프로젝트를 저장하는 단계;
    를 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  13. 제 12 항에 있어서,
    상기 단계 (f)에서, 상기 3D 아바타의 라이브러리 리스트에는 머리 동작, 팔 동작, 전체 몸 동작, 얼굴 표정과 눈 표정이 포함되고, 시청각적 효과에 관한 라이브러리 리스트에는 전달하고자 하는 내용을 기억하기 쉽게 소스를 3D 애니메이션화하는 다양한 효과가 포함되는 것을 특징으로 하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  14. 제 12 항에 있어서,
    발표자료의 컨텐츠의 슬라이드 부분을 프린트하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  15. 제 12 항에 있어서,
    상기 3D 아바타의 배경의 소정 위치에 상기 단계 (d)에서 가져온 동영상을 사용하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  16. 제 12 항에 있어서,
    상기 단계 (i)에서, 멀티미디어 나레이션 시험 출력시, 컨텐츠의 형태에 따라 3D 아바타의 크기와 3D 버추얼 에이전트에 대한 뷰 포인트를 사용자가 직접 제어하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  17. 제 12 항에 있어서,
    멀티미디어 나레이션 저작 시스템으로부터 제작되는 컨텐츠의 불법 복제를 방지하기 위해 멀티미디어 나레이션 재생기나 상기 소스에 DRM(Digital Rights Management)을 적용해 불법 카피시 워터마크를 삽입하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  18. 제 12 항에 있어서,
    상기 타임 라인의 원하는 위치에서 3D 아바타를 교체하는 경우, TTS 서버와 연동되어 교체된 3D 아바타에 따라 음성 또는 음색을 변경시켜 출력하여 컨텐츠를 설명하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  19. 제 12 항에 있어서,
    상기 타임라인에서 원하는 위치를 선택하여 저장을 하면 선택한 부분만 저장되는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  20. 제 12 항에 있어서,
    3D 공간에서 배경에 움직이는 오브젝트를 추가하는 경우, 타임라인 설정에 따라 상기 오브젝트의 움직임을 가상 체험되도록 하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  21. 제 12 항에 있어서,
    타임라인에 맞춰 중간에 3D 아바타의 신체 일부분, 의상, 악세사리를 교체하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  22. 제 12 항에 있어서,
    사용자가 제공한 얼굴 사진을 이용하여 3D 아바타의 얼굴을 상기 사용자가 제공한 얼굴 사진으로 교체하는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  23. 제 12 항에 있어서,
    다수의 3D 아바타가 서로 인터렉티브하게 반응하고 대화할 수 있도록 타임라인 편집 기능에서 각 3D 아바타의 움직임에 대한 제어 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  24. 제 12 항에 있어서,
    3D 공간에서 다수의 3D 아바타들이 각각의 동선을 따라 움직일 수 있게 제어할 수 있는 동선 제어 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  25. 제 12 항에 있어서,
    타임라인의 설정에 의한 제어에 따라 3D 공간에 존재하는 오브젝트상에 멀티미디어 데이타가 실행되는 단계를 더 포함하는 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 제공 방법.
  26. 컴퓨터에, (a) 3D 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작 시스템의 메인 화면에서 새로운 프로젝트를 생성하는 기능;
    (b) 이미지 변환 모듈에 의해 발표자료를 각 페이지 별로 이미지 파일로 변경하고 대본 및 제목을 설정하여 로딩하는 기능;
    (c) SWF 정보 수집 모듈에 의해 플래시 파일의 재생 시간을 가져오는 기능;
    (d) 동영상 파일 정보 수집 모듈에 의해 동영상을 미리 보기하거나, 재생 시 간을 가져오는 기능;
    (e) 상기 발표자료 로딩 후, 라이브러리 관리 모듈에 의해 멀티미디어 나레이션을 제공하는 3D 아바타를 선택하여 윈도우 뷰에 나타내는 기능;
    (f) 선택된 3D 아바타의 배경, 움직임, 시청각적 효과를 라이브러리 리스트에서 선택하여, 드래그&드롭 방식으로 타임라인 편집기의 타임라인 셀에 링크시킨 후 각 라이브러리 및 소스(동영상 또는 이미지 또는 플래시 파일)를 편집하는 기능;
    (g) 립씽크 편집기에 의해 발표자료에서 가져온 상기 대본이나 사용자로부터 입력된 대본을 편집하고, 상기 대본의 각 문장을 TTS 서버로 전송하고, 이를 음성으로 변환된 데이타를 수신하는 기능;
    (h) 멀티미디어 나레이션 재생기에서 볼 수 있도록, 각 편집된 프로젝트의 저작 결과물을 생성하는 기능;
    (i) 상기 저작 결과물을 상기 멀티미디어 나레이션 재생기에서 미리보기를 통해 재생하여, 멀티미디어 나레이션을 시험 출력하는 단계;
    (j) 상기 프로젝트를 저장하는 기능;
    (k) 멀티미디어 나레이션 저작도구로부터 제작되는 컨텐츠의 불법 복제를 방지하기 위해 멀티미디어 나레이션 재생기나 상기 소스에 DRM(Digital Rights Management)을 적용해 불법 복제시 워터마크를 삽입하는 기능;
    (l) 타임 라인의 원하는 위치에서 3D 아바타를 교체하는 경우, TTS 서버와 연동되어 교체된 3D 아바타에 따라 음성 또는 음색을 변경시켜 출력하는 기능;
    (m) 3D 공간에서 배경에 움직이는 오브젝트를 추가하는 경우, 타임라인 설정에 따라 상기 오브젝트의 움직임을 가상 체험하도록 하는 기능;
    (n) 다수의 3D 아바타가 서로 인터렉티브하게 반응하고 대화할 수 있도록 타임라인 편집 기능에서 각 3D 아바타의 움직임에 대한 제어 기능; 및
    (o) 타임라인의 설정에 의한 제어에 따라 3D 공간에 존재하는 오브젝트상에 멀티미디어 데이타를 실행하는 기능;
    을 실현시키기 위한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060070719A 2006-07-27 2006-07-27 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법 KR100856786B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060070719A KR100856786B1 (ko) 2006-07-27 2006-07-27 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060070719A KR100856786B1 (ko) 2006-07-27 2006-07-27 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법

Publications (2)

Publication Number Publication Date
KR20080010564A true KR20080010564A (ko) 2008-01-31
KR100856786B1 KR100856786B1 (ko) 2008-09-05

Family

ID=39222537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060070719A KR100856786B1 (ko) 2006-07-27 2006-07-27 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법

Country Status (1)

Country Link
KR (1) KR100856786B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100932675B1 (ko) * 2009-04-28 2009-12-21 (주)아이토닉 동영상 콘텐츠 운용 방법
KR101015975B1 (ko) * 2008-07-29 2011-02-23 주식회사 제노웰 Ｒｉａ 기반 인터페이스를 이용하여 캐릭터 동영상을생성하는 시스템 및 방법
WO2011083978A2 (ko) * 2010-01-06 2011-07-14 (주) 퓨처로봇 캐릭터의 발화와 감정표현 제공 시스템 및 방법
WO2012173353A2 (ko) * 2011-06-16 2012-12-20 모글루(주) 전자문서 제작 및 리딩 시스템과 그 제어 방법
WO2015170850A1 (ko) * 2014-05-09 2015-11-12 주식회사 소울핑거 3d 캐릭터 기반 음성 sns 시스템 및 방법
KR20160069663A (ko) * 2014-12-09 2016-06-17 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
KR101720635B1 (ko) * 2015-12-29 2017-03-28 주식회사 콘츠 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버
KR20210022360A (ko) * 2019-08-20 2021-03-03 주식회사 곰앤컴퍼니 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치
CN114363712A (zh) * 2022-01-13 2022-04-15 深圳迪乐普智能科技有限公司 基于模板化编辑的ai数字人视频生成方法、装置及设备
KR20230090000A (ko) * 2021-12-14 2023-06-21 주식회사 트랜스박스 비동영상 콘텐츠의 보안을 위한 방법, 시스템 및 비일시성 판독 가능 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
KR20040076524A (ko) * 2003-02-26 2004-09-01 주식회사 메세지 베이 아시아 애니메이션 캐릭터 제작 방법 및 애니메이션 캐릭터를이용한 인터넷 서비스 시스템
KR100773832B1 (ko) * 2005-05-04 2007-11-06 하승준 쓰리디모듈과 티티에스모듈을 이용한 나레이터 멀티 미디어로컬 자료의 제작 편집 방법과 이에 따른 시스템

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101015975B1 (ko) * 2008-07-29 2011-02-23 주식회사 제노웰 Ｒｉａ 기반 인터페이스를 이용하여 캐릭터 동영상을생성하는 시스템 및 방법
KR100932675B1 (ko) * 2009-04-28 2009-12-21 (주)아이토닉 동영상 콘텐츠 운용 방법
WO2011083978A2 (ko) * 2010-01-06 2011-07-14 (주) 퓨처로봇 캐릭터의 발화와 감정표현 제공 시스템 및 방법
WO2011083978A3 (ko) * 2010-01-06 2011-11-10 (주) 퓨처로봇 캐릭터의 발화와 감정표현 제공 시스템 및 방법
WO2012173353A2 (ko) * 2011-06-16 2012-12-20 모글루(주) 전자문서 제작 및 리딩 시스템과 그 제어 방법
WO2012173353A3 (ko) * 2011-06-16 2013-02-14 모글루(주) 전자문서 제작 및 리딩 시스템과 그 제어 방법
KR101298221B1 (ko) * 2011-06-16 2013-08-22 모글루(주) 전자문서 제작 및 리딩 시스템과 그 제어 방법
KR20150129224A (ko) * 2014-05-09 2015-11-19 주식회사 소울핑거 3d 캐릭터 기반 음성 sns 시스템 및 방법
WO2015170850A1 (ko) * 2014-05-09 2015-11-12 주식회사 소울핑거 3d 캐릭터 기반 음성 sns 시스템 및 방법
KR20160069663A (ko) * 2014-12-09 2016-06-17 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
KR101720635B1 (ko) * 2015-12-29 2017-03-28 주식회사 콘츠 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버
KR20210022360A (ko) * 2019-08-20 2021-03-03 주식회사 곰앤컴퍼니 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치
KR20230090000A (ko) * 2021-12-14 2023-06-21 주식회사 트랜스박스 비동영상 콘텐츠의 보안을 위한 방법, 시스템 및 비일시성 판독 가능 기록 매체
WO2023113476A1 (ko) * 2021-12-14 2023-06-22 주식회사 트랜스박스 비동영상 콘텐츠의 보안을 위한 방법, 시스템 및 비일시성 판독 가능 기록 매체
CN114363712A (zh) * 2022-01-13 2022-04-15 深圳迪乐普智能科技有限公司 基于模板化编辑的ai数字人视频生成方法、装置及设备
CN114363712B (zh) * 2022-01-13 2024-03-19 深圳迪乐普智能科技有限公司 基于模板化编辑的ai数字人视频生成方法、装置及设备

Also Published As

Publication number Publication date
KR100856786B1 (ko) 2008-09-05

Similar Documents

Publication Publication Date Title
KR100856786B1 (ko) 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
US5613056A (en) Advanced tools for speech synchronized animation
US9984724B2 (en) System, apparatus and method for formatting a manuscript automatically
US6100881A (en) Apparatus and method for creating interactive multimedia presentation using a shoot lost to keep track of audio objects of a character
US8937620B1 (en) System and methods for generation and control of story animation
US10088976B2 (en) Systems and methods for multiple voice document narration
US5111409A (en) Authoring and use systems for sound synchronized animation
US8359202B2 (en) Character models for document narration
US20130246063A1 (en) System and Methods for Providing Animated Video Content with a Spoken Language Segment
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
CN112219214A (zh) 用于面试训练的具有时间匹配反馈的***及方法
US20130332859A1 (en) Method and user interface for creating an animated communication
CN107422862A (zh) 一种虚拟现实场景中虚拟影像交互的方法
CN112188266A (zh) 视频生成方法、装置及电子设备
JP2016038601A (ja) Ｃｇキャラクタ対話装置及びｃｇキャラクタ対話プログラム
US20180276185A1 (en) System, apparatus and method for formatting a manuscript automatically
JPH10240915A (ja) コンピュ−タを用いた漫画の製作方法及びその方法で作られたモニタ画面で見る漫画
Harnett Learning Articulate Storyline
JP2008032788A (ja) 語学教材データ作成用プログラム
Green et al. Foundation Flash CS4 for Designers
WO2023090419A1 (ja) コンテンツ生成装置、コンテンツ生成方法、及びプログラム
Gerantabee Flash CS4 professional digital classroom
CN116847168A (zh) 视频编辑器、视频编辑方法及相关装置
KR20210097393A (ko) 강의 통역 장치
CA3198839A1 (en) Conversion of text to dynamic video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110830

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee