KR20030039019A

KR20030039019A - 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법

Info

Publication number: KR20030039019A
Application number: KR1020010069819A
Authority: KR
Inventors: 신선혜
Original assignee: 신선혜
Priority date: 2001-11-09
Filing date: 2001-11-09
Publication date: 2003-05-17

Abstract

본 발명은 문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된 기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법에 관한 것이다.

회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되고, 이와 동시에 미리 입력해 놓은 텍스트나 현재 입력하고 있는 텍스트를 스피치로 실제 회원의 목소리로 실시간 변환하는 경우에는, 이와 동시에 상기 텍스트의 각 문자의 모음을 감지하여 이에 따라 미리 3D 스캔하여 저장되어 있는 실제 얼굴 이미지에 립싱크 프로그램을 적용하여 실제로 말하는 입모양을 그대로 구현하고, 또한 상기 문장 텍스트에 미리 정해져 있는 기쁨, 슬픔, 분노 등의 감정을 표현하는 기능문자를 삽입한 경우에는 이들 기능문자를 감지하여 이에 대응되는 감정에 해당되는 이미지를 상기 실제 얼굴 이미지에 표현할 수 있도록 구성한다.

따라서 현실감 증가와 익명성 배제에 탁월한 효과가 있다.

Description

문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된 기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법 {Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same}

본 발명은 문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 기록된 매체와, 이를 이용한 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법에 관한 것으로서, 보다 상세하게는 송신자측에서 미리 저장하거나 실시간으로 타이핑하는 텍스트를 사운드 스피치로 실시간으로 변환하면서 이와 동시에 미리 3D로 스캔하여 저장해 둔 실제 얼굴의 이미지에 상기 스피치시의 입모양을 립싱크할 뿐만 아니라 희노애락 등 감정표현까지 구현함에 의하여 보다 현실감을 더해주는 기능을 가진 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법에 관한 것이다.

일반적으로 온라인(Online) 게임이란 과거의 스탠드얼론(Stand-alone) 게임과 대비되는 개념으로서, 네트워크를 통하여 상대방과 겨루는 게임을 말한다. 특히 최근에는 인터넷의 발전 및 보급과 함께 이러한 온라인 게임이 많이 서비스되고 있다.

종래에는 도 1에 도시된 바와 같이 미도시된 게임 메이커에서 게임을 만들어서 공급자에게 보급하면, 상기 공급자(100)는 온라인 또는 오프라인으로 이를 각 지역 총판 서버(110∼113)에게 보급하고, 상기 각 지역 총판(110∼113)은 여러 단계의 도소매 과정을 거쳐서 온라인 또는 오프라인으로 이를 그 지역의 최종 이용자에게 보급한다. 이때 오프라인 판매의 경우에는 인증키가 포함된 씨디(131)를 판매하는 형태가 보통이고, 온라인 판매의 경우에는 인증키를 이메일 등으로 전송하여주는 것이 보통이다.

또한 상기 최종 이용자는 회원가입을 함으로써 회원이 되는 것이 보통이고, 이러한 회원이 게임을 하기 위해서 가정 또는 피씨방 등의 회원 컴퓨터(130)로 인터넷 등의 네트워크를 이용하여 온라인으로 서버(120)에 접속한 후, 게임 씨디(131) 등의 인증키를 확인받고, 그 후 그 서버(120) 내에서 게임의 상대방을 골라서 실제로 게임을 하도록 되어 있다. 여기서 게임의 상대방은 그 서버에 접속한 다른 회원들이다.

그런데 여기서 상기 공급자(100)나 각 지역 총판(110∼113)의 컴퓨터는 상기 각 서버(120)의 인증키 확인과정이나 기타의 관리를 위하여서만 온라인으로 상기 서버(120)들에 접속되어 있을 뿐이고, 실제 회원들이 게임을 함에 있어서는 타지역의 서버, 예컨대 서버(122) 또는 서버(125)에 접속한 회원의 프로파일을 보여주지는 않도록 구성되어 있었다. 따라서 하나의 특정 서버(120)에 접속한 회원은 다른 서버(121∼125)에 접속한 회원을 상대방으로 지정할 수 없었다는 문제점이 있었다.

한편, 이러한 온라인 게임을 함에 있어서는 회원을 대신해서 화면상에 나타나서 회원의 명령에 따라 동작을 하는 캐릭터 이미지가 있다. 이 캐릭터 이미지는 게임 메이커나 게임 사이트에서 기본적으로 제공하는 기본 이미지이거나 또는 회원이 선택을 한다고 하더라도 아바타를 이용하는 경우가 보통이다.

여기서 아바타는 분신(分身) 또는 화신(化身)을 뜻하는 말로서, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터이다. 원래 아바타는 "내려오다, 통과하다"라는 의미의 산스크리트어 "Ava"와 아래, 땅이란 뜻인 "Terr"의 합성어이며, 원래는 고대 인도에선 땅으로 내려온 신의 화신을 지칭하는 말이었으나, 인터넷시대가 열리면서 3차원이나 가상현실게임 또는 웹에서의 채팅 등에서 자기 자신을 나타내는 그래픽 아이콘을 가리키는 용어로 사용되고 있다.

아바타는 그래픽 위주의 가상사회에서 자신을 대표하는 가상육체라고 할 수 있다. 현재 아바타가 이용되는 분야는 채팅이나 온라인게임 외에도 사이버 쇼핑몰, 가상교육, 가상오피스 등으로 확대되고 있다. 최근 가장 각광받는 분야는 온라인채팅서비스로서, 아이콘채팅, 3차원 그래픽채팅 등의 아바타를 이용한 채팅서비스가 도입되고 있다.

기존의 아바타는 2차원으로 된 그림이 대부분이었다. 머드게임이나 온라인채팅에 등장하는 아바타는 가장 초보적인 수준이었고, 이러한 현실감이 떨어지는 문제점을 보완하여 등장한 것이 3차원 아바타이다. 3차원 캐릭터는 입체감과 현실감을 함께 지닌 것이 장점이라고 할 수 있다.

아바타는 현실세계와 가상공간을 이어주며, 익명과 실명의 중간 정도에 존재한다. 과거 네티즌들은 사이버공간의 익명성에 매료되었지만, 이제는 자신을 표현하려는 욕구를 느끼게 되어, 이 두 가지를 모두 충족시켜주는 아바타가 생기게 된 것이다. 즉, 상기 게임 메이커의 기성품 캐릭터 이미지를 지정하여 게임을 하는 경우에는 익명성이 너무 강하여 사실성 및 현실성이 결여되는 문제점이 있었다. 특히 게임의 화면 중에는 게임 도중에 주인공의 얼굴 모양이 클로즈업되어 말을 하거나 얼굴 표정에 의하여 의미를 전달하여야 하는 경우가 있는데, 이러한 경우에 있어서 상기 익명성이 강한 아바타 또는 캐릭터 이미지가 가지는 문제점은 더욱 커진다.

한편, 대부분의 게임이나 채팅서비스에는 주로 몇 가지의 캐릭터를 조합하거나 이미 완성된 아바타를 제공하지만, 그래픽기술이 향상되면서 서비스 제공자가 이미 만들어놓은 기성품(Ready-made)을 이용하는 것이 아니라, 문자ID처럼 사용자가 자신만의 개성있는 아바타를 직접 만들 수 있는 "나만의 아바타"도 등장하고 있다. 그러나 이렇게 종래의 아바타로 구현되는 캐릭터 이미지 중에서 가장 자유도가 높다고 인정되는 "나만의 아바타"에 있어서도 회원 자신이 직접 3차원 그래픽 툴을 이용하여 커리컬쳐 또는 일러스트로 자신의 3차원 얼굴을 그리거나, 자신의 평면적 실물 사진을 여러 각도에서 찍어서 이를 그래픽 툴을 이용하여 입체로 합성하여 저장한 후 이를 이용하도록 기술적 구성을 하는 것이 대부분이었다. 그리고 이러한 개성 있는 아바타 또는 캐릭터 이미지의 경우에는 기성품 캐릭터 이미지와 달리 회원이 직접 스캐닝하여 저장한 이미지만을 이용하는 것이므로 말할 때의 입모양, 화났을 때의 표정 등의 세부적인 감정표현 처리를 할 수 없었으므로 익명성의 배제라는 문제점은 해소될 수 있지만, 그 표정이 너무 딱딱하여 현실감의 충족이라는 문제는 해소시킬 수 없었다. 따라서 종래의 아바타 또는 캐릭터 이미지를 이용한 주인공의 대역 표현에 있어서는 결국 현실감이나 사실감 충족과 익명성 배제의 2가지 측면에서 보면 어느 한 측면 이상이 매우 미흡하였다는 문제점이 있었다.

한편, 이러한 온라인 게임은 발전을 거듭하여 현재는 그 게임의 도중에 기능키에 의하여, 또는 게임의 종료 후에 게임 메뉴와 별도의 메뉴에 의하여 여러가지 많은 종류의 부수적인 서비스를 함께 제공하고 있다. 특히 이러한 서비스 중의 중요한 것으로서 게임 화면의 방송, 이메일, 채팅, 게임상의 무기 등의 판매, 게임요령 전수 등의 서비스를 들 수 있다.

종래에 있어서 상기 방송 서비스는 게임 서버(120∼125) 또는 그 상위의 각 지역 총판(110∼113) 등이 그 게임의 상위 등급자들끼리의 시합, 또는 중요한 의미를 가지는 타이틀 매치 등을 선정하여 공중파 또는 케이블 TV를 통하여 전송하는 것을 말한다. 따라서 상기 종래의 방송 서비스에 있어서는 게임 서버(120∼125) 또는 그 상위의 각 지역 총판(110∼113) 등이 정하여 행하는 단방향 방송밖에 없었으며, 어느 회원이 비록 중요한 시합은 아니더라도 꼭 시청하고자 하는 경우에는 이를 시청의 신청을 할 수 있는 방법이 없었다는 문제점이 있었다.

또한 상기 채팅 서비스는 문자 채팅의 경우에는 문자 메시지만 서로 주고 받을 수 있었으므로 얼굴 표정이나 말투 등을 알 수 없어서 현실감이 떨어진다는 문제점이 있었고, 화상 채팅의 경우에는 양측에 설치되어 있는 카메라와 마이크, 스피커를 통하여 서로 보면서 말을 하게 되는데, 특히 상대방이 외국인이고, 히어링이 안되는 경우에는 주고 받는 말만 가지고 초보자가 그 의미를 알기 매우 어렵고, 따라서 그 외국인 측에서 먼저 접속을 끊어버리게 된다는 문제점이 있었다.

그리고 상기 이메일 서비스는 문자 이메일의 경우에는 역시 채팅의 경우와 같은 문제점이 있었고, 그 이메일에 동영상 화일을 첨부하여 보낼 수 있다면 이러한 문제점은 해소될 수도 있으나, 이 경우에도 발신자측에 이러한 동영상을 캡쳐할 장비, 즉 카메라 등이 구비되어 있어야 하므로, 이러한 장비가 없는 장소에서 이메일을 보내야 하는 경우에는 동영상 화일을 만들 수가 없으므로 단순한 문자 이메일만 보낼 수 있게 되어 현실감이 떨어지게 된다는 문제점이 있었다.

또한 상기 게임상의 무기 등의 판매 서비스는 그 게임에서 사용할 무기, 갑옷, 액세서리 등을 구매하여 무장하고 코디하는 장면의 화면인데, 이에는 단순히 그 상점의 점원과 그 무기 등의 이미지만이 화면에 등장하므로 회원 자신이 직접 그 상점에 들어가서 물건을 고른다는 현실감이 부족하게 된다는 문제점이 있었다.

그리고 상기 게임 요령 전수 서비스는 그 사이트의 도움말 화면에 텍스트로 기재되어 제공되는 글을 읽도록 되어 있거나, 전화 상담을 하거나, 게시판 등에 글을 남긴 후 나중에 이에 대하여 답변한 글을 읽거나 하도록 되어 있어서 실제로 누군가 친한 사람과 직접 마주대고 서로 대화하면서 어려운 부분을 풀어 나가는 현실감이 전혀 없었다는 문제점이 있었다.

즉, 상기와 같은 각종 서비스의 문제점들은 게임 도중 또는 게임과 별도의 메뉴로 제공되는 각종 커뮤니케이션에 있어서 단순한 텍스트의 교환만이 가능하기 때문에 발생하는 현실감의 결여의 문제들이라고 정의할 수 있다.

한편 상기 대부분의 문제점들이 텍스트 위주의 커뮤니케이션 환경에서 발생하는 문제점들이므로, 이를 마이크와 스피커에 의한 소리의 전달에 의하여 해소하려는 시도도 있을 수 있다. 즉, 이는 종래에 편지를 전화에 의하여 대체하려는 의도와 유사하다. 이러한 시도가 이루어지는 배경에는 사운드카드의 보급에 의하여 스피커나 마이크가 없는 컴퓨터가 거의 없다는 점에 근거하는 것이다. 그리고 이미 이러한 서비스는 음성메일 등의 형태로 상용화되고 있다.

그러나 전화의 단점은 역시 눈으로 상대를 볼 수 없다는 점이다. 이와 마찬가지로 마이크와 스피커에 의한 소리의 전달에 의하여 현실감을 전달하려는 시도역시 눈으로 상대를 볼 수 없고, 따라서 상대방의 표정, 입모양 등을 볼 수 없으므로 한계가 있다는 것은 당연하다. 이러한 한계는 특히 상대방이 외국인인 경우에는 더욱 명확해지는데, 이는 서로 상대방의 언어에 대하여 히어링이 불완전한 경우에 서로 의사소통이 불가능해지기 때문이다.

따라서 최근에는 컴퓨터에 연결되어 있는 카메라를 통하여 서로 화면을 주고 받으면서 대화를 하는 서비스까지 등장하고 있다. 이는 컴퓨터에 설치되어 있는 카메라, 마이크를 통하여 이미지와 음성을 전송하고, 상대방은 모니터와 스피커를 통하여 그 이미지와 음성을 전달받도록 구성되어 있는 것이다. 그런데, 이 경우에 있어서도 상대방이 외국인이고 상대방의 언어에 익숙하지 않다면 역시 실시간의 대화만으로는 의사소통이 원활하게 이루어지지 않을 수 있다는 문제점이 있었다.

한편, 최근에는 외국어 습득을 위한 학습 사이트도 많이 출현하고 있는데, 대부분의 경우에 있어서는 텍스트를 서버에 업로드시켜 놓고 이를 회원이 화면에서 읽을 수 있도록 하고, 몇 군데에 하이퍼텍스트를 마련하여 이를 클릭하면 그 문장 또는 단어를 청취할 수 있도록 하고 있다. 물론 이보다 더욱 높은 수준의 정보를 제공하는 사이트도 있는데, 이러한 경우에는 외국인이 대화하는 동영상을 올려 놓은 경우가 대부분이고, 이보다 더욱 발전된 경우에는 양측에 카메라를 설치하여 인터넷 화상전화 시스템을 구축하여, 실시간으로 상대방을 보면서 대화할 수 있도록 구성하고 있다.

그러나 이렇게 동영상이나 화상전화를 이용한 외국어 습득의 경우에도 결국 문자 텍스트를 제공하지 않는 경우가 많고, 문자 텍스트를 제공하더라도 이와는 별도로 음성 대화가 진행되므로, 역시 그 외국어의 초보자에게는 대화가 곤란해진다는 문제점이 있었다.

또한 외국어 습득만을 목적으로 하는 사이트의 경우에는 매우 다양한 주제, 예컨대 여행, 취업, 사교 등의 주제를 정하여 놓고 대화를 이어가게 되는데, 컴퓨터 게임을 좋아하는 사람들의 경우에는 자기가 좋아하는 주제, 즉 컴퓨터 게임에 대하여 질문하고 대답하는 사이에 자기도 모르게 외국어를 습득하게 되는 경우가 많은데, 종래의 외국어 학습 사이트의 경우에는 이러한 욕구를 충족시켜주지 못한다는 문제점이 있었다.

따라서 본 발명은 상기와 같은 문제점을 해소하기 위하여 안출된 것으로서, 회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되고, 이와 동시에 미리 입력해 놓은 텍스트나 현재 입력하고 있는 텍스트를 스피치로 실제 회원의 목소리로 실시간 변환하는 경우에는 이와 동시에 상기 텍스트의 각 문자의 모음을 감지하여 이에 따라 미리 3D 스캔하여 저장되어 있는 실제 얼굴 이미지에 립싱크 프로그램을 적용하여 실제로 말하는 입모양을 그대로 구현하고, 또한 상기 문장 텍스트에 미리 정해져 있는 기쁨, 슬픔, 분노 등의 감정을 표현하는 기능문자를 삽입한 경우에는 이들 기능문자를 감지하여 이에 대응되는 감정에 해당되는 이미지를 상기 실제 얼굴 이미지에 표현할 수 있는 기능을 가진 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.

본 발명의 또다른 기술적 과제는 게임의 상대방을 정함에 있어서 다른 서버에 접속된 회원끼리 대결을 용이하게 할 수 있도록 전체 네트워크에 접속한 모든 회원의 프로파일을 체계적으로 화면에 표시하고, 이렇게 표시된 회원을 상대방으로 지정할 수 있도록 구성된 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.

본 발명의 또다른 기술적 과제는 게임의 내용을 방송함에 있어서, 방송 수신 매체로서 컴퓨터, 개인용 디지털 보조기(PDA; Personal Digital Assistants), 피씨에스(PCS; Personal Communication Services), 휴대폰 등 양방향 통신이 가능한 기기가 지정된 경우에는 회원의 명령에 따라 시청할 채널, 즉 지역 및 랭킹을 변경할 수 있도록 함으로써 인터랙티브 방송을 하도록 구성된 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.

도 1은 종래의 하드웨어 구성도,

도 2는 본 발명의 방법이 구현되는 하드웨어 구성도,

도 3은 본 발명의 컴퓨터 프로그램의 순서도,

도 4는 본 발명의 게임의 전체 플로우챠트,

도 5는 본 발명의 게임의 회원가입 단계의 플로우챠트,

도 6은 본 발명의 게임의 방송국 단계의 플로우챠트,

도 7은 본 발명의 게임의 광장 단계의 플로우챠트,

도 8은 본 발명의 게임의 주점 단계의 플로우챠트,

도 9는 본 발명의 게임의 상점 단계의 플로우챠트,

도 10은 본 발명의 게임의 수련원 단계의 플로우챠트,

도 11은 본 발명의 게임의 유학원 단계의 플로우챠트,

도 12는은 본 발명의 게임의 전시관 단계의 플로우챠트,

도 13은 본 발명의 게임의 광장 단계의 실시예를 설명하는 설명도로서, 도 13a는 프로파일의 예시도, 도 13b는 인사말 클릭시 실시간으로 텍스트가 스피치로 변환되면서 기능문자에 따라 얼굴 표정이 바뀌는 모습의 예시도,

도 14는 본 발명의 게임의 주점 단계의 실시예를 설명하는 설명도로서, 도 14a는 주점의 화면 예시도, 도 14b는 채팅시 화면 예시도, 도 14c는 음성 및 화상 이메일을 받은 경우의 수신자측이 재생시 화면 예시도,

도 15는 본 발명의 컴퓨터 프로그램의 감정 표현의 예를 나타낸 설명도로서, 도 15a는 기능문자가 '무표정'일 때, 도 15b는 기능문자가 '화났다'일 때, 도 15c는 기능문자가 '즐겁다'일 때, 도 15d는 기능문자가 '슬프다'일 때의 예시도,

도 16은 본 발명의 컴퓨터 프로그램의 립싱크의 예를 나타낸 설명도이다.

< 도면의 주요부분에 대한 부호의 설명 >

100 : 공급자110∼113 : 지역 총판

120∼125 : 서버130 : 회원 컴퓨터

131 : 시디(CD)

200 : 공급자 컴퓨터210∼213 : 지역 총판 컴퓨터

220∼225 : 서버 230 : 회원 컴퓨터

241, 242 : 회원가입서버250 : 방송국

상기와 같은 기술적 과제를 달성하기 위하여 본 발명의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 방법으로서,

모든 문자에 대하여 문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,

미리 정해진 감정표현을 나타내는 기능문자에 일대일로 대응하여 해당 감정표현시 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 감정표현 데이터베이스로 저장하는 제2단계와,

미리 정해진 모음에 대하여 립싱크시 입 모양의 위치, 크기, 각도를 변형할 공식을 립싱크 데이터베이스로 저장하는 제3단계와,

회원의 입체적 영상을 획득하여 저장하고, 회원의 음성을 샘플링하여 획득하여 기본 데이터베이스로 저장하는 제4단계와,

상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 위치, 크기, 각도 등의 주요 요소를 추출하여 저장하고, 상기 음성 데이터에 있어서 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소를 미리 정해진 기준치와 비교하여 증감분을 결정하여 기본 데이터베이스로 저장하는 제5단계와,

음성출력 및 감정표현을 위한 텍스트를 저장하는 제6단계와,

상기 텍스트를 메모리에 로드(S301)하여 첫 문자를 획득(S302)하여 기능문자인지 여부를 판단(S303)하고, 상기 문자가 기능문자이면 얼굴 이미지에 감정을 표현하기 위한 감정표현 프로그램으로 분기(S304)하고, 기능문자가 아니면 텍스트를 스피치로 변환하기 위한 T2S 프로그램(S308) 및 얼굴 이미지에 현재 발음되는 모음과 동일한 입모양을 표현하기 위한 립싱크 프로그램(S310)을 구동하는 제7단계와,

텍스트의 끝(S314)까지 상기 제7단계를 반복하도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법이다.

이때 상기 감정표현 프로그램(S304)은 감정표현 데이터베이스로부터 그 기능문자를 검색(S305)하는 제1단계와,

상기 검색 결과에 따라 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S305)하는 제2단계와,

상기 공식에 의하여 실제로 상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 주요 요소의 위치, 크기, 각도 등을 변형(S306)시키는 제3단계와,

상기 변형된 영상 데이터를 모니터에 표시(S307)하는 제4단계로 구성될 수 있다.

또한 상기 T2S 프로그램(S308)은 T2S 데이터베이스로부터 그 문자를 검색(S309)하는 제1단계와,

상기 검색 결과에 따라 음성 데이터를 메모리에 로드(S309)하는 제2단계와,

기본 데이터베이스로부터 그 회원의 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소의 증감분을 메모리에 로드하는 제3단계와,

상기 제2단계의 음성 데이터를 상기 제3단계의 증감분에 의하여 변형시켜서 최종 음성 데이터를 만드는 제4단계와,

상기 최종 음성 데이터를 스피커를 통하여 출력(S12)하는 제5단계로 구성될 수 있다.

그리고 상기 립싱크 프로그램(S310)은 립싱크 데이터베이스로부터 그 문자의 모음을 검색(S310)하는 제1단계와,

상기 검색 결과에 따라 영상 데이터의 입 모양의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S310)하는 제2단계와,

상기 공식에 의하여 실제로 상기 영상 데이터의 입 모양에 있어서 위치, 크기, 각도 등을 변형(S311)시키는 제3단계와,

상기 변형된 영상 데이터를 모니터에 표시(S312)하는 제4단계로 구성될 수 있다.

또한, 상기의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 컴퓨터 프로그램으로서,

문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,

텍스트를 저장하는 제6단계와,

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장되는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

그리고 본 발명의 제2 발명은 적어도 각 지역별로 분할된 서버(220∼225)들을 총괄하는 공급자의 컴퓨터(200)와, 상기 공급자의 컴퓨터(200) 산하의 어느 부분에 연결되어 게임 내용을 각종 유무선 경로를 통하여 수신 매체에 보낼 수 있는 방송국(250)과, 상기 서버(220∼225)에 연결되는 회원 컴퓨터(230)와, 회원의 얼굴의 입체 영상을 취득할 수 있는 영상획득 수단과, 회원의 음성 데이터를 취득할 수 있는 음성획득 수단으로 구성된 하드웨어에서 동작하는 이메일 방법에 있어서,

먼저 회원인 송신자측에서 다른 회원인 수신자측으로 이메일 텍스트 데이터를 보내는 제1단계와,

수신자측에서 이메일을 여는 제2단계와,

동영상 프레임이 표시되는 제3단계와,

상기 이메일 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 이메일 방법이다.

또한 본 발명의 제3 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 채팅 방법에 있어서,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 채팅창이 표시되는 제1단계와,

상기 채팅창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,

송신측과 수신측의 채팅이 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 채팅 방법이다.

그리고 본 발명의 제4 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 외국어 학습 방법에 있어서,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 외국어 입력이 가능한 대화창이 표시되는 제1단계와,

상기 대화창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 외국어용 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,

송신측과 수신측의 대화가 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 외국어 학습 방법이다.

그리고 본 발명의 제5 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 온라인 게임 방법에 있어서,

먼저 회원인지 확인(S401)하고 회원이 아닌 것으로 확인되면 회원가입(S402)프로그램을 구동시키는 제1단계와,

회원으로 확인되면 게임 내용을 방송하는 방송국, 프로파일을 보고 게임 상대방을 결정하는 광장, 시합을 하거나 이메일 등의 부수 서비스를 제공하는 주점, 무기 구입이나 패션쇼 등의 서비스를 제공하는 상점, 게임 지식을 배우는 수련원, 게임 지식과 외국어를 배우는 유학원, 상위 등급자들의 프로파일을 보여주는 전시관 중의 어느 하나 이상의 서브 메뉴를 가지는 메인 메뉴(S403)로 들어가는 제2단계와,

상기 메인 메뉴에서 방송국(S404), 광장(S406), 주점(S408), 상점(S410), 수련원(S412), 유학원(S414), 전시관(S416)의 서브 메뉴 중의 하나를 선택하면 그 하부 구동 프로그램(S405, S407, S409, S411, S413, S415, S417)으로 분기하는 제3단계와,

상기 하부 구동 프로그램에서는 회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되어야 하는 서비스에 있어서는 제1항의 방법이 적용되어 그 회원의 목소리로 립싱크되면서 감정표현된 이미지가 표시되는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법이다.

여기서 상기 회원가입(S401) 프로그램은 적어도

영상획득 수단에 의하여 얼굴 이미지를 획득하고, 음성획득 수단에 의하여음성 샘플을 획득(S501)하는 제1단계와,

상기 영상 및 음성 데이터를 아이디와 함께 공급자 컴퓨터(200)에 마련되어 있는 기본 데이터베이스에 저장(S502)하는 제2단계로 구성됨이 바람직하다.

또한 상기 방송국(S404) 메뉴에 해당하는 하부 구동 프로그램은

수신 매체 및 채널을 선택(S601)하는 제1단계와,

현재 수신(S602)하고자 하는 매체가 단방향 매체(S603)가 아닌 경우에는 채널의 변경(S607) 여부를 지속적으로 감시하면서 게임 내용 화면을 송신(S606)하는 제2단계로 구성됨이 바람직하다.

그리고 상기 광장(S406) 메뉴에 해당하는 하부 구동 프로그램은

공급자 컴퓨터(200)에 연결되어 있는 모든 서버(220∼225)와 상기 서버에 접속되어 있는 모든 회원들에 대하여 얼굴 이미지와 인사말 텍스트를 포함하는 프로파일을 상위 노드부터 하위 노드에 이르기까지 일목요연하게 보여(S701)주는 제1단계와,

상기 프로파일 중의 인사말 텍스트를 듣도록 선택하면 제1항의 방법이 적용되어 동영상과 음성이 출력(S702)되는 제2단계와,

상대방을 최종적으로 선택(S703)하면 시합(S704) 화면으로 진입하는 제3단계로 구성됨이 바람직하다.

또한 상기 주점(S408) 메뉴에 해당하는 하부 구동 프로그램은

1층부터 3층(S802, S805, S809)까지 구분하여 하부 메뉴를 구성하되,

1층(S802)을 선택한 경우에는 시합(S804)을 하기 위하여 등급을 노출하지 않는(S803) 상대방을 선택하도록 하고,

2층(S805)을 선택한 경우에는 시합(S807)을 하기 위하여 등급이 알려진(S806) 상대방을 선택하되, 시합 후에는 자신의 등급이 그 시합의 결과에 따라 조정(S808)되도록 하며,

3층(S809)을 선택한 경우에는 다시 서브 메뉴로서 채팅(S810), 동아리(S812), 토론(S814), 정보검색, 도박, 카드게임 중의 어느 하나 이상을 구비하고, 상기 서브 메뉴가 선택되면 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.

그리고 상기 상점(S410) 메뉴에 해당하는 하부 구동 프로그램은

1층부터 3층(S901, S903, S905)까지 구분하여 하부 메뉴를 구성하되,

1층(S901)을 선택한 경우에는 시합에 필요한 무기, 에네르기, 소도구, 액세서리 등을 구매하는 가게(S902) 프로그램을 구동하고,

2층(S903)을 선택한 경우에는 회원의 패션, 무기 등을 공개하는 패션쇼(S904) 프로그램을 구동하며,

3층(S905)을 선택한 경우에는 패션이나 무기를 회원끼리 사고 팔 수 있는 시장(S906) 프로그램을 구동하되,

상기 각 층의 하부 메뉴에서 상대방과의 대화시에는 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.

또한 상기 수련원(S412) 메뉴에 해당하는 하부 구동 프로그램은

1실(S1001)과 2실(S1006)로 구분하여 하부 메뉴를 구성하되,

1실(S1001)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 훈련(S1002)과정이나 사이트의 직원이 교육하는 교육자 훈련(S1004)과정 중에서 택일하도록 하는 제1단계와,

프로그램 훈련과정인 경우에는 컴퓨터 프로그램에 의한 진행(S1003)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1005)하는 제2단계로 구성하고,

2실(S1006)을 선택한 경우에는 회원 중의 게임 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1007)하는 제1단계와,

상기 명단의 회원 중 1인을 선택(S1008)하는 제2단계와,

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1009)하는 제3단계로 구성하되,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 제1항의 방법이 적용(S1005, S1009)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.

그리고 상기 유학원(S414) 메뉴에 해당하는 하부 구동 프로그램은 언어를 선택(S1101)한 후

1실(S1102)과 2실(S1107)로 구분하여 하부 메뉴를 구성하되,

1실(S1102)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 유학(S1103)과정이나 사이트의 직원이 교육하는 교육자 유학(S1105)과정 중에서 택일하도록 하는 제1단계와,

프로그램 훈련과정인 경우에는 언어 학습 컴퓨터 프로그램에 의한진행(S1104)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1106)하는 제2단계로 구성하고,

2실(S1107)을 선택한 경우에는 회원 중의 게임 및 어학 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1108)하는 제1단계와,

상기 명단의 회원 중 1인을 선택(S1109)하는 제2단계와,

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1110)하는 제3단계로 구성하되,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 외국어의 입출력이 가능한 제1항의 방법이 적용(S1104, S1110)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.

또한 상기 전시관(S416) 메뉴에 해당하는 하부 구동 프로그램은

미리 정해진 기준에 의하여 회원을 영웅, 챔피언으로 분류하여 일반적인 프로파일 외에 게임 기록까지 표시(S1201)하는 제1단계와,

그 후 데모(S1202), 영웅지정 시합(S1204) 및 챔피언급 재시청(S1206)의 3가지 중 하나 이상으로 하부 메뉴를 구성하는 제2단계로 구성하되,

상기 프로파일에서 선택된 사람에 대하여 데모(S1202) 메뉴를 선택한 경우에는 미리 정해진 시간 동안의 짧은 게임 데모를 동영상으로 표시(S1203)하고,

상기 프로파일에서 선택된 영웅에 대하여 영웅지정 시합(S1204) 메뉴를 선택한 경우에는 시합(S1205) 화면으로 변환하며,

상기 프로파일에서 선택된 챔피언에 대하여 챔피언급 재시청(S1206) 메뉴를선택한 경우에는 과거의 시합을 재시청(S1207)할 수 있는 화면으로 변환하되,

상기 프로파일의 표시에 있어서는 제1항의 방법이 적용(S1201)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.

이하 상기와 같은 본 발명의 제1 내지 제5 발명의 구성에 대하여 보다 상세히 설명한다.

본 발명의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되며, 온라인임을 필요로 하지 않는다. 반면에 본 발명의 제2 내지 제5 발명은 온라인임을 필요로 하므로 도 2에 도시된 바와 같이 적어도 각 지역별로 분할된 서버(220∼225)들을 총괄하는 공급자의 컴퓨터(200)와, 상기 공급자의 컴퓨터(200) 산하의 어느 부분에 연결되어 게임 내용을 각종 유무선 경로를 통하여 수신 매체에 보낼 수 있는 방송국(250)과, 상기 서버(220∼225)에 연결되는 회원 컴퓨터(230)와, 회원의 얼굴의 입체 영상을 취득할 수 있는 영상획득 수단과, 회원의 음성 데이터를 취득할 수 있는 음성획득 수단으로 구성된 하드웨어에서 동작한다.

이를 상세히 설명하면, 상기 공급자의 컴퓨터(200)에 각 지역 총판 컴퓨터(210∼213)가 네트워크로 연결되고, 상기 각 지역 총판 컴퓨터(210∼213)에 그 각 지역의 서버(220∼225)가 네트워크로 연결되며, 상기 각 지역의 서버(220∼225)에 인터넷 등의 네트워크를 통하여 각 회원 컴퓨터(230)가 연결되는 구조의 하드웨어적 통신망 구성을 통하여 구현된다. 상기 각 컴퓨터는 최소한 데이터를 처리할 수 있는 중앙처리장치(CPU)와, 프로그램 및 데이터가 로드 및 저장되어 실행되고 검색될 수 있는 메모리 또는 저장장치와, 데이터 및 프로그램의 입출력을 위한 모니터와 키보드, 마우스 입력장치를 가지고 있다. 그리고 회원 컴퓨터(230)에는 이에 더하여 사운드 카드 및 스피커를 추가로 구비하여야 한다.

상기와 같은 기본적인 하드웨어 구성에 더하여 회원 가입을 위해서는 추가적으로 회원가입 서버(241, 242)가 네트워크를 통하여 연결되어 있어야 한다. 상기 회원가입 서버(241, 242)는 회원의 얼굴 이미지를 3차원으로 입력할 수 있는 3D 스캐너와, 회원의 음성 표본을 추출하여 저장하기 위한 음성 샘플링 기기를 구비하고 있어야 한다. 여기서 상기 3D 스캐너와 음성 샘플링 기기는 공지의 기술이므로 이에 대한 상세한 설명은 생략한다.

도 2에 있어서는 상기 회원가입 서버(241, 242)를 각 지역 총판 컴퓨터(210∼213)의 산하에 1개씩 도시하였으나, 여러개가 연결될 수도 있고, 각 서버(220∼225)마다 연결되도록 구성할 수도 있다. 또한 기술의 발전과 장비의 저가화에 힘입어 상기 3D 스캐너와 음성 샘플링 기기의 보급이 개인 사용자들의 수준까지 이루어지게 되면 상기 기기는 회원 컴퓨터(230)에 연결되도록 구성될 수도 있고, 이때는 상기 회원가입 서버(241, 242)는 불필요하게 된다.

또한 상기와 같은 기본적인 하드웨어 구성에 더하여 게임 내용의 방송을 위해서는 추가적으로 방송국(250)이 네트워크를 통하여 연결되어 있어야 한다. 상기 방송국(250)은 동영상으로 이미 저장되어 있는 게임 데이터 또는 현재 진행중인 게임 화면을 동영상화하여 유무선 방송 및 전송 경로를 통하여 공중파TV, 케이블TV등의 단방향 수신 매체 또는 컴퓨터, PCS, 핸드폰, PDA 등의 양방향 수신 매체에 데이터를 보낼 수 있는 장비이다. 그리고 상기 방송국(250)의 구체적인 구성은 종래의 유무선 공중파 방송국이나 인터넷 방송국의 구성과 동일하므로 상세한 설명은 생략한다.

그리고 도 2에서는 상기 방송국(250)이 공급자(200)의 산하에 하나만 설치되어 있는 것으로 도시되어 있으나, 그 갯수는 여러개일 수 있고, 각 나라와 지역마다 방송방식이 다를 수도 있으므로 각 지역 총판 컴퓨터(210∼213)의 산하에 1개씩 설치할 수도 있고, 또는 서비스의 단위를 더욱 세분화하여 서버(220∼225)마다 연결되도록 구성할 수도 있다. 이렇게 어느 곳에 방송국(250)을 설치하더라도 무방한 것은 이들 각 컴퓨터의 데이터를 취합하여 체계적으로 정리하여 저장하는 게임 동영상의 데이터베이스가 공급자(200)의 컴퓨터에 저장된다고 한다면, 네트워크의 어느 곳에서도 일목요연하게 억세스할 수 있기 때문이다.

상기와 같은 하드웨어 구성을 이용한 본 발명 중 먼저 컴퓨터 프로그램을 이용하여 문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법에 관한 제1 발명에 대한 상세한 구성 및 동작을 도 3의 순서도를 참조하여 먼저 설명하기로 한다.

우선 종래부터 컴퓨터의 게임 분야와는 별도로 독자적으로 발전하여 온 분야로서 컴퓨터에 저장되어 있는 텍스트를 스피치로 변환하는 프로그램의 분야가 있다. 이런 프로그램은 도스 시절부터 개발되어 출현하기 시작하여 지금은 이러한종류의 프로그램은 텍스트 투 스피치(Text to Speech) 프로그램(이하 'T2S 프로그램')으로 널리 알려져 있다.

이러한 T2S 프로그램은 기본적으로 텍스트로부터 한 문자, 음절 또는 한 어절을 추출하여 내고, 이 문자, 음절 또는 어절에 해당되는 소리 데이터를 미리 저장되어 있는 T2S 데이터베이스로부터 추출하여 그 음성 데이터를 스피커를 통하여 발성하게 하는 것이다. 이하 상기 추출 및 처리의 단위가 문자, 음절 또는 어절이라도 모두 기본적인 처리의 플로우는 동일하므로, 설명의 편의를 위하여 추출 및 처리의 기본 단위가 문자인 경우로 한정하여 설명하기로 한다.

여기서 상기 T2S 데이터베이스의 구성에 있어서 필수 필드는 적어도,

기본적 처리단위(문자단위로 처리되는 경우에는 문자);

이에 해당하는 음성 데이터;

등을 포함하도록 구성함이 바람직하다.

이러한 T2S 프로그램의 처리 순서를 보면, 먼저 텍스트를 메모리 또는 저장장치에 저장한다. 상기 저장은 회원 가입시에 미리 저장시키는 텍스트나 게임 프로그램 등에서 나레이션을 위한 데이터의 하나로서 게임 프로그램과 합체되어 저장시키는 경우, 또는 이메일을 위하여 저장시키는 경우 등을 상정하는 것이지만, 이 외에도 채팅시와 같이 실시간으로 텍스트를 작성한 후 전송하기 위하여 순간적으로 저장하는 경우도 포함하는 개념이다.

그 후 T2S 프로그램에서 처리하기 위하여 상기 저장되어 있는 텍스트를 메모리에 로드한다. 그리고 그 텍스트 중의 첫 문자를 검출한 후 이 문자를 키워드로하여 T2S 데이터베이스를 검색한다. 물론 각 문자와 이에 대응되는 음성 데이터는 미리 T2S 데이터베이스에 체계적으로 저장되어 있어야 한다. 그 검색 결과에 따라 해당 음성 데이터를 메모리에 로드하여 그대로 스피커를 통하여 출력한다. 그 후 다음 문자를 검출하면서 텍스트의 끝까지 상기 과정을 반복하는 것이다.

그런데, 본 발명에 있어서는 상기와 같은 종래의 T2S 프로그램의 음성 데이터에 자신의 음성 데이터의 특징을 결합하여 출력하도록 구성되어 있다. 상기 결합 과정은 다음과 같다.

사람의 음성 데이터는 사람마다 독특한 성문을 가지고 있고, 기타 전체적인 주파수와 음색, 거칠기 등도 다르다. 이러한 각 사람의 고유의 음성 데이터의 특징을 구성하는 요소는 디지털화되면서 수치로 데이터화할 수 있음은 공지의 사실이다.

따라서 먼저 본 발명의 제1 발명 프로그램의 기동시 또는 회원 가입시에 음성을 샘플링한 후 저장한다. 만일 이 프로그램의 사용자가 여러 사람일 경우에는 이 샘플링 데이터들을 각 사람마다 저장함으로써 기본 데이터베이스를 구축할 수 있다. 이하 사용자가 여러 사람인 경우를 가정하여 기본 데이터베이스에 음성 샘플 데이터가 저장된 것으로 하여 설명한다. 상기 기본 데이터베이스의 필수 필드는 적어도,

아이디;

음성 데이터(바이너리);

성문 증감분;

음색 증감분;

거칠기 증감분;

평균 주파수 증감분;

등을 포함하도록 구성함이 바람직하다.

그 후 상기 기본 데이터베이스에서 자기 음성 데이터의 성문, 전체적 평균 주파수, 음색, 거칠기 등의 요소, 즉 자신의 음성 특색에 대한 데이터를 미리 정해져 있는 기준치와 대비하여 증감분을 구한 후 이 증감분도 또한 상기 기본 데이터베이스에 저장한다. 상기에서 말하는 기준치는 T2S 데이터베이스에 저장되어 있는 각 문자에 해당하는 음성 데이터의 성문, 전체적 주파수, 음색, 거칠기 등의 요소의 수치가 될 수 있다.

그 후 T2S 프로그램이 작동하면 상기 회원의 음성 데이터의 각 요소의 증감분의 수치를 음성의 기본 데이터베이스로부터 추출하여 메모리에 로드한다. 그 후 T2S 프로그램에서 어떤 특정의 문자에 대하여 스피커를 통하여 발음을 하게 될 때 상기 증감분을 고려하여 각 요소의 수치를 조정함으로써 회원 본인의 목소리가 스피커를 통하여 시뮬레이션되어 출력되는 것이다.

한편, 본 발명은 상기의 T2S 프로그램을 포함하여 구성될 뿐만 아니라, 이에 더하여 립싱크 프로그램 및 감정표현 프로그램을 함께 구비하고 있다.

상기 립싱크 프로그램은 상기 T2S 프로그램에 의하여 각 문자가 추출된 경우에 이 각 문자의 모음을 조사함으로써 용이하게 구현될 수 있다. 즉 모음별로 입 모양의 이미지 또는 그 변형 공식을 모아 놓음으로써 립싱크 데이터베이스를 구축할 수 있다. 그런데 입 모양의 이미지를 그대로 비트맵으로 모아서 데이터베이스를 구축한 경우에는 실제로 사람마다 입 크기 등이 다르기 때문에 적용하기 매우 곤란하다. 따라서 기본 데이터의 입 모양을 변형하기 위한 공식만을 립싱크 데이터베이스로 저장하는 방법이 더욱 바람직하다.

상기 립싱크 데이터베이스를 구성함에 있어서 필수 필드는 적어도,

모음(입 모양을 변경할 필요가 있는 모음의 종류);

그 모음에서의 입 모양 변형에 필요한 입술의 간격, 두께, 가로길이, 세로길이, 상향 볼록 정도, 하향 볼록 정도, 입가의 주름, 턱 위치 등의 공식;

등을 포함하도록 구성할 필요가 있다.

예컨대 도 16에 도시된 바와 같이 모음을 아, 에, 이, 오, 우로 크게 5가지로 분류하였다면, 모든 기타의 모음도 이 5가지의 데이터 범주 중의 하나로 통일시킴으로써, 립싱크 데이터베이스를 간략히 만들 수도 있다. 즉 이 경우에는 예컨대 "위"는 "이" 모음의 입모양을 따르도록 지정해두면 된다. 도 16에 의하면 각 모음에 있어서 입 모양을 어떻게 수치화하여 변형할 것인가에 관하여 많은 알고리즘이 있을 수 있다는 것을 알 수 있다.

또한 상기 각종 공식의 예를 들면,

'아' 모음의 경우에는 입술의 간격 = 100, 두께 = 90, 가로 = 90, 세로 = 100, 상향 볼록 = 100, 하향 볼록 = 20, 주름 = 0, 턱 = 100으로 설정하고,

'이' 모음의 경우에는 입술의 간격 = 70, 두께 = 80, 가로 = 98, 세로 = 20, 상향 볼록 = 20, 하향 볼록 = 10, 주름 = 10, 턱 = 20으로 설정하였다고 가정하자.

그 후 실제로 각 문자를 T2S 프로그램에 의하여 발음할 때 그 모음에 해당되는 입모양 이미지 데이터를 로드하여 이를 얼굴 이미지 데이터와 합성함으로써, 또는 기본 입 모양을 변형시키는 공식을 로드하여 이를 기본 얼굴 이미지 데이터에 적용하여 변형시킴으로써 용이하게 립싱크 기능을 구현할 수 있다.

이하 예컨대 텍스트가 '하이'인 경우를 예로서 상세히 설명하기로 한다.

이때 각 문자는 '하'와 '이'가 될 것이고, 이는 각각 '아' 모음과 '이' 모음에 해당되므로 상기 립싱크 데이터베이스가 검색되면 상기 예로 든 변경 공식이 메모리에 로드된다.

한편 기본 얼굴 이미지 데이터의 입 모양 부분의 이미지만을 따로 분리하여 메모리에 로드한 후, 먼저 '아' 모음 모양을 만든다. 이때, 입술의 간격 = 100이므로 입 모양의 입술의 내측 테두리 내부의 세로 길이를 내부 가로 길이와 동일한 길이, 즉 100%로 만들고, 입술의 두께 = 90이므로 기본 입술 이미지의 입술 두께의 90% 두께로 조정하며, 가로 = 90, 세로 = 100이므로 입술의 전체적인 가로길이, 세로길이를 기본 입술 이미지의 가로길이, 세로길이의 각각 90%, 100%로 조정하고, 상향 볼록 = 100, 하향 볼록 = 20이므로 입술 내측 테수리의 윤곽이 위로는 전체적으로 큰 아치모양, 아래로는 작은 아치모양을 이루도록 변형하고, 주름 = 0이므로 입술 가장자리 끝의 주름 이미지는 생성하지 않도록 하고, 턱 = 100이므로 입 모양이 벌어짐에 의하여 턱 선이 아래로 더욱 크게 이동하도록 조정한다. 그리고 끝으로 상기 각 이미지의 경계선과 그 내부의 색깔은 기본 얼굴 이미지에서 원래 입술 이미지가 있던 부근에 대응하여 비례적으로 크기 및 색깔의 전이를 자연스럽게 하여 부드럽게 처리하여야 한다. 이렇게 변형된 입술 이미지가 완성되면 기본 얼굴 이미지에 합성한다. 그 후 모니터에 표시하면 된다. 이때 T2S 프로그램에 의하여 '아'라는 음성 데이터도 스피커를 통하여 출력된다.

그리고 감정표현 프로그램은 미리 정해진 기능문자에 의하여 자기의 감정을 기본 얼굴 이미지에 나타내는 프로그램이다.

먼저 미리 선정된 기쁨, 슬픔, 화남, 용서, 즐거움, 슬픔 등 희노애락의 감정을 선정하고, 이들을 대표하는 기능문자를 정의하여 감정표현 데이터베이스에 저장한다. 그리고 이들 각각의 감정을 표현할 때 가장 감정 표현이 잘 나타나는 인체의 부위, 즉 예컨대 눈섭, 눈, 입 등의 각도와 위치, 굵기 등의 변형 공식을 저장함으로써 감정표현 데이터베이스를 만들 수 있다.

여기서 상기 감정표현 데이터베이스를 구성함에 있어서 필수 필드는 적어도,

기능문자(예컨대 기쁜 감정을 대표하기 위하여 '기쁘다'라는 문자열 또는 특정 컨트롤 문자를 할당할 수 있다);

이 기능문자에 해당되는 적어도 눈썹, 눈, 입 모양의 크기, 위치, 각도 등의 변형 공식;

을 포함하여 구성함이 바람직하다.

또한 상기 각종 변형의 기준이 되는 데이터는 회원가입시 입력하여 저장되어 있는 기본 얼굴 이미지 데이터의 각 요소의 위치 및 크기 등이 되는 것이 바람직하다.

상기 감정을 대표하는 기능문자가 텍스트에서 검출된 경우에는 그 기능문자를 감정표현 데이터베이스에서 검색한다. 그리고 그 검색 결과에 따라 감정표현을 위한 얼굴 변형 공식을 추출하여 메모리에 로드한다. 그 후 상기 공식을 얼굴 이미지 데이터에 적용하여 변형된 얼굴 이미지를 만들고, 이를 모니터에 출력함으로써 감정표현을 할 수 있다. 이러한 과정은 상기 립싱크 프로그램의 과정과 매우 유사하므로 상세한 실시예나 설명을 생략한다.

다만 예컨대, 도 15a에 도시된 바와 같이 자신의 얼굴 이미지가 '무표정'일 때 입력되어 기본 데이터베이스에 저장되어 있는 경우에, 이와 대비하여 화가 났을 경우('화났다')에는 도 15b에 도시된 바와 같이 양측 눈섭이 중심위치를 기준으로 회전하여 외측 부분이 더 높게 치켜 올라가도록 표현하여야 하므로 양측 눈섭의 외측 선단의 좌표를 예컨대 20% 증가시키고, 이와 반대로 내측 선단의 좌표는 예컨대 20% 감소시키면서, 눈섭의 굵기를 10% 감소시키는 공식을 저장하게 되는 것이다. 상기와 같은 감정의 표현은 도 15c의 즐거움('즐겁다'), 도 15d의 슬픔('슬프다') 등에 있어서도 동일한 요령으로 적용된다. 즉 기본 이미지를 기준으로 얼굴 이미지의 각 중요 부위(눈썹, 눈, 입 등)를 얼마 만큼 변형할 것인가를 수치화하여 저장하고 이를 적용하면 되는 것이다.

상기와 같은 T2S, 립싱크, 감정표현 등의 각종 프로그램은 각각 독립적으로 작용하게 되지만, 전체로서는 결국 하나의 동영상과 하나의 음성 데이터를 출력하기 위한 것이므로 모두 종합적으로 작용한다. 그리고 상기 T2S, 립싱크, 감정표현 등의 각종 프로그램은 그 실시예를 나타낸 것에 불과하므로 이에 본 발명의 기술적 사상이 한정되는 것은 아니라고 해석되어야 한다. 따라서 본 발명의 기술적 사상을유지하는 상태에서도 얼마든지 동일성의 범위 내에서 변형 실시가 가능하며, 이러한 실시는 본 발명의 범위에 속하는 것으로 해석되어야 한다.

상기와 같은 제1 발명의 방법은 이메일, 채팅, 외국어 학습 및 온라인 게임에도 응용될 수 있다.

그런데, 상기 제1 발명의 방법을 적용하는 경우에 있어서, 일단 저장된 텍스트를 대상으로 하고, 그 저장시킨 사람은 통신상에서 배제되어 일방향성 통신이 되는 경우와, 실시간으로 계속적으로 텍스트를 주고 받는 상황에서 양측 사람이 모두 현시점에서 통신라인상에 존재하는 경우의 양방향성 통신이 되는 경우로 구분할 수 있다. 이는 동영상 화면의 창의 갯수와, 채팅 창이 열리는지 여부와 관계가 있으며, 전자의 경우에 대표적인 것으로는 이메일의 경우를 들 수 있고, 후자의 경우에 대표적인 것으로는 채팅을 들 수 있다.

먼저 본 발명의 제2 발명인 이메일의 경우에 본 발명의 제1 발명의 방법을 적용하면 송신자측에서 이메일 데이터를 보내면 수신자측에서 이를 열어볼 경우에 수신자측에서만 액션이 발생하는 단방향 구조의 서비스이다. 따라서 수신자측에서 이메일을 열게 되면 먼저 동영상 프레임이 표시된다. 그리고 텍스트 프레임도 따로 표시되도록 구성할 수 있다.

상기 동영상 프레임이 표시된 후에는 텍스트를 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리된다.

다음으로 본 발명의 제3 발명인 채팅의 경우에 본 발명의 제1 발명의 방법을 적용하면 도 14b에 도시된 바와 같이 동영상 프레임이 2개 표시되고, 이와는 별도로 필수적으로 채팅창이 표시되어야 한다. 즉 채팅의 경우는 양방향 통신의 구조이다.

상기 채팅창에 텍스트를 입력하고 전송을 하면 상대방의 모니터에는 제1 발명의 방법이 구동되면서 동영상이 립싱크, 감정표현하면서 움직이면서 음성을 출력하고, 이를 반복하면서 텍스트 끝까지 처리한다. 그 후 상대방이 다시 텍스트를 응답하면 이번에는 회원의 모니터에 상기와 같은 수순을 거쳐 처리가 되고, 표시된다. 이러한 과정이 서로 계속되면서 채팅이 이루어진다.

그리고 본 발명의 제4 발명인 외국어 학습에 있어서는 본 발명의 제1 발명의 방법을 적용하면 상기 채팅의 경우와 유사하게 구성할 수 있으므로 상세한 설명은 생략한다. 다만, 상기 T2S 데이터베이스나 대화창, 립싱크 데이터베이스, 감정표현 데이터베이스 등의 구성에 있어서 외국어로 입출력이 가능하고, 그 입출력된 데이터의 처리가 가능하도록 구성하여야 한다는 점이 다를 뿐이다.

한편 본 발명의 제5 발명으로서 본 발명의 제1 발명의 방법을 적용하면서 상기 각 구성요소들을 종합하여 온라인 게임 사이트를 구성하는 것도 가능하다. 이 경우에는 도 4에 도시된 바와 같이 회원인지를 판단한 후 회원이면 서버(220∼225)의 메모리에 로드되어 구동되고 있는 프로그램에 의하여 메인 메뉴로 들어가게 되는데, 상기 화면에는 총 7개의 하부 메뉴를 예시하고 있다. 여기서 실시예에 있어서는 그 중 일부만 구비하여도 무방하다.

이때 상기 회원 가입을 위해서는 도5에 도시된 바와 같이 먼저 3D 스캔 및 음성 샘플링을 행하고, 가입비를 납부하면 공급자의 컴퓨터(200)의 저장장치에 마련되는 데이터베이스에 등록이 된다. 이때 상기 영상 및 음성은 물론이고, 상기 영상의 중요한 인체 부분, 예컨대 눈섭, 눈, 입 등의 위치, 크기, 각도 등의 데이터가 추출되어 함께 저장되고, 음성의 경우에는 톤, 주파수, 음색, 거칠기 등의 데이터가 기본값과 비교되어 저장된다. 상기 회원 가입 단계는 회원가입 서버(241, 242)를 이용하도록 구성하고 있으나, 이는 3D 스캔 및 음성 샘플링을 위한 장비가 널리 보급되면 회원의 컴퓨터(230)에서 실행할 수도 있다.

상기 회원가입시의 등록 데이터베이스에는 상기의 사항 이외에도 출신지, 아이디, 이름, 이메일주소, 상기 얼굴 이미지 데이터가 결합할 기성품 3D 몸체, 자기소개용 텍스트, 등급획득날짜, 데모시합 데이터, 방송 수신채널 및 수신매체 등의 데이터도 함께 저장되고 관리되어야 한다.

만일 게임 내용의 방송 메뉴가 선택되면 도 6에 도시된 바와 같이 먼저 수신 매체 및 채널을 선택하여 입력하고 다음으로 넘어가면 지금 수신할지 여부를 선택하게 된다. 여기서 수신을 선택하면 상기 매체가 유무선 공중파 매체인 단방향 매체인지 여부를 판단하고, 단방향 매체라면 단순히 송신하기만 하면 된다. 그러나 단방향 매체가 아니라 컴퓨터, PCS, PDA 등의 양방향 매체라면 수신 도중에 채널을 변경할 수 있으므로 채널 변경에 관한 정보가 입력되는지 여부를 계속 추적하면서 송신하게 된다.

한편 게임의 상대방을 선택하고 시합을 직접 하게 되는 화면은 도 7에 도시된 바와 같이 먼저 공급자 컴퓨터(200) 이하에 접속되어 있는 모든 단계의 접속 서버(220∼225) 및 그 서버에 접속되어 있는 각 회원의 컴퓨터(230)와 그 회원의 프로파일을 일목요연하게 표시한다. 그 표시 방법은 상위 노드부터 하위 노드의 순으로 계속 클릭하여 들어가서 선택할 수 있도록 함이 바람직하다.

그리고 도 13은 상기 단계의 실시예를 나타내는 도면인데, 도 13a는 모니터에 나타나는 프로파일의 내용의 예시도이고, 도 13b는 상기 예시 프로파일 중의 1인의 인사말을 클릭한 경우에 나타나는 화면의 예시이다. 여기서 "날 건드리지..."에는 "화났다"라는 기능문자가 있어서, 이를 감정표현 프로그램이 감지하여 얼굴 이미지의 눈섭, 눈 및 입 모양 등이 적절히 변형되었고, 그 후 "랄랄라"에는 "즐겁다"라는 기능문자가 있어서, 이에 의하여 다시 얼굴 이미지의 각 요소가 변형됨을 알 수 있다.

즉, 최종적으로 선택하는 화면이 나타나면 그 화면은 그 서버에 접속하고 있는 각 회원의 3D 얼굴 스캔 이미지와, 자기소개의 텍스트, 채팅 가능 여부 등의 프로파일이 상세히 열거된다. 여기서 어느 특정인의 자기소개 텍스트를 클릭 등의 방법으로 지정하면 그 회원의 3D 얼굴 스캔 이미지에 감정표현, 립싱크가 되면서 그 회원의 목소리로 실시간으로 모니터에 음성 및 동영상 출력된다. 따라서 감정적 교류가 원활해진다. 상기와 같은 동작은 이메일에 본 발명의 제1 발명의 방법을 적용한 경우와 동일하므로 상세한 설명은 생략한다.

여기서 시합의 결과 점수가 어느 정도 이상이 되어야 챔피언 또는 톱10에 속하는 상대방과 시합을 할 수 있도록 설정할 수도 있다. 이와 반대로 자기가 챔피언또는 톱10에 속하는 경우에는 자기보다 하위의 상대방을 선택하여 시합을 할 수 있도록 설정할 수도 있다. 그리고 챔피언 또는 톱10에 속하는 회원은 시합 중이 아니라면 시간을 지체하는 만큼 감점시키도록 구성할 수도 있다.

이렇게 여러 사람의 소개를 시청한 후에 실제 게임을 할 상대방을 선정한 경우에 클릭 등의 방법으로 최종 선택을 하면, 게임의 화면으로 전환된다. 이때 게임의 종류나 방법은 어떠한 것이 되어도 무방하며, 게임 도중의 채팅에 있어서는 상기 채팅에 관한 내용에서 설명한 바와 같이 처리되고, 게임 도중의 회원의 얼굴이 클로즈업되면서 미리 정해진 텍스트를 음성출력하는 화면이 있는 경우에도 제1 발명의 방법이 이메일의 경우와 마찬가지로 적용될 수 있다.

상기 게임의 결과 승급을 하기 위해서는 컴퓨터 프로그램에 의하여 동작하도록 구성되어 있는 상대방과 반드시 시합을 하여 등급을 결정하도록 구성할 수도 있다. 그리고 상기 게임의 도중에도 다른 메뉴로 옮기지 않은 상태에서 이메일이나 메신저 프로그램에 의한 메시지를 송신할 수 있도록 구성할 수 있다.

또한 상기 게임 도중에 휴식을 위하여 도 8에 도시된 바와 같이 채팅, 동아리, 토론, 정보검색, 도박, 카드게임 등의 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들은 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수 있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.

상기 메뉴의 구성은 도 14a에 도시된 바와 같이 주점과 같은 모양의 3층 건물을 모니터에 표시하고, 각 층별로 예컨대 1층에는 신분 또는 등급이 노출되지 않는 회원들의 캐릭터를 표시하고, 2층에는 신분 또는 등급이 노출된 회원들의 캐릭터를 표시한 후, 이들 중의 아무나와 시합을 할 수 있도록 하고, 1층의 회원과 시합을 하는 경우에는 자신의 등급에 영향을 미치지 않도록 하고, 2층의 회원과 시합을 하는 경우에는 자신의 등급에 영향을 미치도록 구성할 수도 있다.

또한 3층에는 채팅, 동아리, 토론, 정보검색, 도박, 카드게임 등의 메뉴를 구성할 수도 있고, 이들 메뉴를 클릭 등의 방법으로 선택하면 상기 각 해당 프로그램이 구동되어 해당 서비스를 제공할 수 있도록 구성할 수 있다. 상기 각 프로그램은 공지의 프로그램이므로 상세한 설명을 생략한다.

그리고 상기 게임 도중에 도 9에 도시된 바와 같이 각종 도구의 구매, 패션쇼, 매수, 매도의 시장 등의 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들도 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수 있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.

상기 메뉴의 구성은 상점과 같은 모양의 3층 건물을 모니터에 표시하고, 각 층별로 예컨대 1층에는 무기, 에네르기, 소도구, 갑옷, 헤어, 액세서리 등을 구매할 수 있는 가게를 표시하고, 2층에는 각 회원이 자신의 패션이나 무기를 공개하는 패션쇼를 표시하며, 3층에는 상기 패션이나 무기를 사거나 팔 회원들이 모여서 거래를 할 수 있는 시장을 표시한 후, 상기 각 층을 클릭 등의 방법으로 선택하면 다시 화면이 변경되어 상점의 내부, 패션쇼의 장소, 시장 내부를 나타내는 화면이 되도록 구성하고, 물건의 거래 등의 경우에 있어서 의사소통시에 제1 발명이 적용되도록 구성할 수도 있다. 상기 패션쇼의 경우에는 챔피언 등의 복장이 패션쇼에서 공개되는 경우에 이를 모방하려는 심리를 자극함으로써 보다 원활한 게임 참여를 유도하기 위한 것이다.

여기서 회원가입시 3D 스캔하였던 얼굴 이미지의 데이터를 성형하여 눈, 코, 입, 귀, 머리카락, 얼굴 윤곽, 피부 등을 변형시키는 이른바 성형외과 메뉴를 설치할 수도 있다.

그 과정은 먼저 회원가입시 3D 스캔하였던 얼굴 이미지의 데이터를 메모리에 로드하는 제1단계와,

상기 데이터의 눈, 코, 입, 귀, 머리카락, 얼굴 윤곽, 피부 등을 그래픽 툴을 이용하여 변형시키는 제2단계와,

상기 변형된 이미지를 원래 데이터와 합성함으로써 성형수술된 최종 이미지를 원래의 기본 데이터베이스에 저장하는 제3단계로 구성된다.

한편, 상기 게임과는 별도의 메뉴에 의하여 도 10에 도시된 바와 같이 게임에 초보인 회원이 게임 요령 등을 전수받을 수 있는 수련원 서비스를 제공할 수 있고, 도 11에 도시된 바와 같이 게임 내용에 대하여 외국어로 대화를 주고 받으면서 외국어 및 게임에 대한 내용을 배울 수 있는 유학원 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들도 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.

구체적인 실시예로서는 상기 수련원과 유학원은 각각 1실 및 2실로 구분하여 구성하고, 상기 1실에는 다시 컴퓨터 프로그램에 의하여 진행되는 자동 프로그램 훈련과정과, 게임 사이트에서 지정한 사람과의 대화에 의하여 진행되는 교육자 훈련과정이 마련되도록 구성할 수 있다. 이때 상기 두가지 훈련과정에 모두 본 발명의 제1 발명이 적용될 수 있는데, 자동 프로그램 훈련과정에 있어서는 이메일과 같은 구성이, 교육자 훈련과정에 있어서는 채팅과 같은 구성이 되므로 상세한 설명은 생략한다.

또한 2실에는 회원 중에서 게임 실력이 일정한 수준 이상인 자들의 일반적인 프로파일, 등급 및 보수를 게시하여 놓는다. 그러면 회원이 그 중에서 특정인을 선택하게 되고, 보수를 지급하며, 그 선택된 자로부터 게임 지식을 전수받게 된다. 상기 게임 지식의 전수 과정은 상기 교육자 훈련과정과 동일한 절차 및 방법에 의하여 진행된다.

상기 교육자 훈련과정이나 선택 훈련과정은 유학원에 있어서는 외국어 실력이 일정한 수준 이상인 자들이 교육이나 훈련을 담당하도록 미리 선발과정을 거치도록 구성하여야 한다. 이러한 선발 과정은 오프라인으로 실행하도록 구성할 수도 있다.

그리고 상기 게임과는 별도의 메뉴에 의하여 도 12에 도시된 바와 같이 과거 게임의 실적에 의하여 상위 그룹의 회원들의 프로파일을 제공하고 데모 게임을 보여주며, 이들을 지정하여 게임을 할 수도 있고, 유명한 게임을 다시 시청할 수 있는 전시관 서비스를 제공할 수 있는데, 여기에도 상기 프로파일의 제공에 있어서는 상기 제1 발명의 방법이 이용될 수 있다. 이는 단방향성 통신이므로 이메일 서비스와 유사하게 처리되도록 구성될 수 있다. 따라서 이러한 구성 및 동작에 대해서는 상기 이메일에 관한 설명에서 이미 상세히 설명되었으므로 반복을 피하기로 한다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상기와 같은 본 발명을 적용하면 이메일, 채팅, 외국어 학습, 온라인 게임 등에 텍스트만 입력하면 상대방측에는 그 송신한 회원의 얼굴과 목소리로 립싱크가 되면서 실시간으로 음성이 출력되므로 현실감 충족과 익명성 배제의 매우 탁월한 효과가 있으며, 게임 내용의 방송에 있어서도 양방향 통신수단 및 매체까지 포함함으로써 회원이 시청하고자 하는 게임을 채널을 바꿔가며 시청할 수 있으므로 회원의 채널선택권이 보장되어 만족감이 매우 증대되고, 온라인 게임에 있어서도 각종 서비스를 함께 받을 수 있고, 회원 프로파일의 제공시에도 보다 현장감 있는 정보를 제공할 뿐만 아니라, 상대방 선택화면에 있어서도 다른 서버에 접속한 회원들 중에서도 선택할 수 있도록 배려함으로써 보다 다양한 사람과 겨룰 수 있어서 도전의식을 함양시키게 되어 관련 분야의 시장 확대 및 회원 활성화의 매우 고무적인효과가 있다.

Claims

중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 방법으로서,

모든 문자에 대하여 문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,

미리 정해진 감정표현을 나타내는 기능문자에 일대일로 대응하여 해당 감정표현시 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 감정표현 데이터베이스로 저장하는 제2단계와,

미리 정해진 모음에 대하여 립싱크시 입 모양의 위치, 크기, 각도를 변형할 공식을 립싱크 데이터베이스로 저장하는 제3단계와,

회원의 입체적 영상을 획득하여 저장하고, 회원의 음성을 샘플링하여 획득하여 기본 데이터베이스로 저장하는 제4단계와,

상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 위치, 크기, 각도 등의 주요 요소를 추출하여 저장하고, 상기 음성 데이터에 있어서 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소를 미리 정해진 기준치와 비교하여 증감분을 결정하여 기본 데이터베이스로 저장하는 제5단계와,

음성출력 및 감정표현을 위한 텍스트를 저장하는 제6단계와,

상기 텍스트를 메모리에 로드(S301)하여 첫 문자를 획득(S302)하여 기능문자인지 여부를 판단(S303)하고, 상기 문자가 기능문자이면 얼굴 이미지에 감정을 표현하기 위한 감정표현 프로그램으로 분기(S304)하고, 기능문자가 아니면 텍스트를 스피치로 변환하기 위한 T2S 프로그램(S308) 및 얼굴 이미지에 현재 발음되는 모음과 동일한 입모양을 표현하기 위한 립싱크 프로그램(S310)을 구동하는 제7단계와,

텍스트의 끝(S314)까지 상기 제7단계를 반복하도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법.
제1항에 있어서, 상기 감정표현 프로그램(S304)은 감정표현 데이터베이스로부터 그 기능문자를 검색(S305)하는 제1단계와,

상기 검색 결과에 따라 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S305)하는 제2단계와,

상기 공식에 의하여 실제로 상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 주요 요소의 위치, 크기, 각도 등을 변형(S306)시키는 제3단계와,

상기 변형된 영상 데이터를 모니터에 표시(S307)하는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법.
제1항에 있어서, 상기 T2S 프로그램(S308)은 T2S 데이터베이스로부터 그 문자를 검색(S309)하는 제1단계와,

상기 검색 결과에 따라 음성 데이터를 메모리에 로드(S309)하는 제2단계와,

기본 데이터베이스로부터 그 회원의 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소의 증감분을 메모리에 로드하는 제3단계와,

상기 제2단계의 음성 데이터를 상기 제3단계의 증감분에 의하여 변형시켜서 최종 음성 데이터를 만드는 제4단계와,

상기 최종 음성 데이터를 스피커를 통하여 출력(S12)하는 제5단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법.
제1항에 있어서, 상기 립싱크 프로그램(S310)은 립싱크 데이터베이스로부터 그 문자의 모음을 검색(S310)하는 제1단계와,

상기 검색 결과에 따라 영상 데이터의 입 모양의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S310)하는 제2단계와,

상기 공식에 의하여 실제로 상기 영상 데이터의 입 모양에 있어서 위치, 크기, 각도 등을 변형(S311)시키는 제3단계와,

상기 변형된 영상 데이터를 모니터에 표시(S312)하는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법.
중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 컴퓨터 프로그램으로서,

문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,

미리 정해진 감정표현을 나타내는 기능문자에 일대일로 대응하여 해당 감정표현시 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 감정표현 데이터베이스로 저장하는 제2단계와,

미리 정해진 모음에 대하여 립싱크시 입 모양의 위치, 크기, 각도를 변형할 공식을 립싱크 데이터베이스로 저장하는 제3단계와,

회원의 입체적 영상을 획득하여 저장하고, 회원의 음성을 샘플링하여 획득하여 기본 데이터베이스로 저장하는 제4단계와,

상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 위치, 크기, 각도 등의 주요 요소를 추출하여 저장하고, 상기 음성 데이터에 있어서 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소를 미리 정해진 기준치와 비교하여 증감분을 결정하여 기본 데이터베이스로 저장하는 제5단계와,

텍스트를 저장하는 제6단계와,

상기 텍스트를 메모리에 로드하여 첫 문자를 획득하여 기능문자인지 여부를판단하고, 상기 문자가 기능문자이면 감정표현 프로그램으로 분기하고, 기능문자가 아니면 T2S 프로그램 및 립싱크 프로그램을 구동하는 제7단계와,

텍스트의 끝까지 상기 제7단계를 반복하도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장되는 컴퓨터로 읽을 수 있는 기록매체.
적어도 각 지역별로 분할된 서버(220∼225)들을 총괄하는 공급자의 컴퓨터(200)와, 상기 공급자의 컴퓨터(200) 산하의 어느 부분에 연결되어 게임 내용을 각종 유무선 경로를 통하여 수신 매체에 보낼 수 있는 방송국(250)과, 상기 서버(220∼225)에 연결되는 회원 컴퓨터(230)와, 회원의 얼굴의 입체 영상을 취득할 수 있는 영상획득 수단과, 회원의 음성 데이터를 취득할 수 있는 음성획득 수단으로 구성된 하드웨어에서 동작하는 이메일 방법에 있어서,

먼저 회원인 송신자측에서 다른 회원인 수신자측으로 이메일 텍스트 데이터를 보내는 제1단계와,

수신자측에서 이메일을 여는 제2단계와,

동영상 프레임이 표시되는 제3단계와,

상기 이메일 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 이메일 방법.
제6항의 하드웨어 구성에서 동작하는 채팅 방법에 있어서,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 채팅창이 표시되는 제1단계와,

상기 채팅창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,

송신측과 수신측의 채팅이 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는채팅 방법.
제6항의 하드웨어 구성에서 동작하는 외국어 학습 방법에 있어서,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 외국어 입력이 가능한 대화창이 표시되는 제1단계와,

상기 대화창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 외국어용 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,

송신측과 수신측의 대화가 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 외국어 학습 방법.
제6항의 하드웨어 구성에서 동작하는 온라인 게임 방법에 있어서,

먼저 회원인지 확인(S401)하고 회원이 아닌 것으로 확인되면 회원가입(S402) 프로그램을 구동시키는 제1단계와,

회원으로 확인되면 게임 내용을 방송하는 방송국, 프로파일을 보고 게임 상대방을 결정하는 광장, 시합을 하거나 이메일 등의 부수 서비스를 제공하는 주점, 무기 구입이나 패션쇼 등의 서비스를 제공하는 상점, 게임 지식을 배우는 수련원, 게임 지식과 외국어를 배우는 유학원, 상위 등급자들의 프로파일을 보여주는 전시관 중의 어느 하나 이상의 서브 메뉴를 가지는 메인 메뉴(S403)로 들어가는 제2단계와,

상기 메인 메뉴에서 방송국(S404), 광장(S406), 주점(S408), 상점(S410), 수련원(S412), 유학원(S414), 전시관(S416)의 서브 메뉴 중의 하나를 선택하면 그 하부 구동 프로그램(S405, S407, S409, S411, S413, S415, S417)으로 분기하는 제3단계와,

상기 하부 구동 프로그램에서는 회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되어야 하는 서비스에 있어서는 제1항의 방법이 적용되어 그 회원의 목소리로 립싱크되면서 감정표현된 이미지가 표시되는 제4단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 회원가입(S401) 프로그램은 적어도

영상획득 수단에 의하여 얼굴 이미지를 획득하고, 음성획득 수단에 의하여음성 샘플을 획득(S501)하는 제1단계와,

상기 영상 및 음성 데이터를 아이디와 함께 공급자 컴퓨터(200)에 마련되어 있는 기본 데이터베이스에 저장(S502)하는 제2단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 방송국(S404) 메뉴에 해당하는 하부 구동 프로그램은

수신 매체 및 채널을 선택(S601)하는 제1단계와,

현재 수신(S602)하고자 하는 매체가 단방향 매체(S603)가 아닌 경우에는 채널의 변경(S607) 여부를 지속적으로 감시하면서 게임 내용 화면을 송신(S606)하는 제2단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 광장(S406) 메뉴에 해당하는 하부 구동 프로그램은

공급자 컴퓨터(200)에 연결되어 있는 모든 서버(220∼225)와 상기 서버에 접속되어 있는 모든 회원들에 대하여 얼굴 이미지와 인사말 텍스트를 포함하는 프로파일을 상위 노드부터 하위 노드에 이르기까지 일목요연하게 보여(S701)주는 제1단계와,

상기 프로파일 중의 인사말 텍스트를 듣도록 선택하면 제1항의 방법이 적용되어 동영상과 음성이 출력(S702)되는 제2단계와,

상대방을 최종적으로 선택(S703)하면 시합(S704) 화면으로 진입하는 제3단계로 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 주점(S408) 메뉴에 해당하는 하부 구동 프로그램은

1층부터 3층(S802, S805, S809)까지 구분하여 하부 메뉴를 구성하되,

1층(S802)을 선택한 경우에는 시합(S804)을 하기 위하여 등급을 노출하지 않는(S803) 상대방을 선택하도록 하고,

2층(S805)을 선택한 경우에는 시합(S807)을 하기 위하여 등급이 알려진(S806) 상대방을 선택하되, 시합 후에는 자신의 등급이 그 시합의 결과에 따라 조정(S808)되도록 하며,

3층(S809)을 선택한 경우에는 다시 서브 메뉴로서 채팅(S810), 동아리(S812), 토론(S814), 정보검색, 도박, 카드게임 중의 어느 하나 이상을 구비하고, 상기 서브 메뉴가 선택되면 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 상점(S410) 메뉴에 해당하는 하부 구동 프로그램은

1층부터 3층(S901, S903, S905)까지 구분하여 하부 메뉴를 구성하되,

1층(S901)을 선택한 경우에는 시합에 필요한 무기, 에네르기, 소도구, 액세서리 등을 구매하는 가게(S902) 프로그램을 구동하고,

2층(S903)을 선택한 경우에는 회원의 패션, 무기 등을 공개하는 패션쇼(S904) 프로그램을 구동하며,

3층(S905)을 선택한 경우에는 패션이나 무기를 회원끼리 사고 팔 수 있는 시장(S906) 프로그램을 구동하되,

상기 각 층의 하부 메뉴에서 상대방과의 대화시에는 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 수련원(S412) 메뉴에 해당하는 하부 구동 프로그램은

1실(S1001)과 2실(S1006)로 구분하여 하부 메뉴를 구성하되,

1실(S1001)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 훈련(S1002)과정이나 사이트의 직원이 교육하는 교육자 훈련(S1004)과정 중에서 택일하도록 하는 제1단계와,

프로그램 훈련과정인 경우에는 컴퓨터 프로그램에 의한 진행(S1003)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1005)하는 제2단계로 구성하고,

2실(S1006)을 선택한 경우에는 회원 중의 게임 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1007)하는 제1단계와,

상기 명단의 회원 중 1인을 선택(S1008)하는 제2단계와,

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1009)하는 제3단계로 구성하되,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 제1항의 방법이 적용(S1005, S1009)되어 동영상 및 음성이 출력되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 유학원(S414) 메뉴에 해당하는 하부 구동 프로그램은 언어를 선택(S1101)한 후

1실(S1102)과 2실(S1107)로 구분하여 하부 메뉴를 구성하되,

1실(S1102)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 유학(S1103)과정이나 사이트의 직원이 교육하는 교육자 유학(S1105)과정 중에서 택일하도록 하는 제1단계와,

프로그램 훈련과정인 경우에는 언어 학습 컴퓨터 프로그램에 의한 진행(S1104)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1106)하는 제2단계로 구성하고,

2실(S1107)을 선택한 경우에는 회원 중의 게임 및 어학 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1108)하는 제1단계와,

상기 명단의 회원 중 1인을 선택(S1109)하는 제2단계와,

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1110)하는 제3단계로 구성하되,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 외국어의 입출력이 가능한 제1항의 방법이 적용(S1104, S1110)되어 동영상 및 음성이 출력되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.
제9항에 있어서, 상기 전시관(S416) 메뉴에 해당하는 하부 구동 프로그램은

미리 정해진 기준에 의하여 회원을 영웅, 챔피언으로 분류하여 일반적인 프로파일 외에 게임 기록까지 표시(S1201)하는 제1단계와,

그 후 데모(S1202), 영웅지정 시합(S1204) 및 챔피언급 재시청(S1206)의 3가지 중 하나 이상으로 하부 메뉴를 구성하는 제2단계로 구성하되,

상기 프로파일에서 선택된 사람에 대하여 데모(S1202) 메뉴를 선택한 경우에는 미리 정해진 시간 동안의 짧은 게임 데모를 동영상으로 표시(S1203)하고,

상기 프로파일에서 선택된 영웅에 대하여 영웅지정 시합(S1204) 메뉴를 선택한 경우에는 시합(S1205) 화면으로 변환하며,

상기 프로파일에서 선택된 챔피언에 대하여 챔피언급 재시청(S1206) 메뉴를 선택한 경우에는 과거의 시합을 재시청(S1207)할 수 있는 화면으로 변환하되,

상기 프로파일의 표시에 있어서는 제1항의 방법이 적용(S1201)되어 동영상 및 음성이 출력되도록 구성됨을 특징으로 하는

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법.