KR101179465B1 - 상대방의 감정을 전달하는 영상통화 시스템 및 방법 - Google Patents

상대방의 감정을 전달하는 영상통화 시스템 및 방법 Download PDF

Info

Publication number
KR101179465B1
KR101179465B1 KR1020090083725A KR20090083725A KR101179465B1 KR 101179465 B1 KR101179465 B1 KR 101179465B1 KR 1020090083725 A KR1020090083725 A KR 1020090083725A KR 20090083725 A KR20090083725 A KR 20090083725A KR 101179465 B1 KR101179465 B1 KR 101179465B1
Authority
KR
South Korea
Prior art keywords
avatar
terminal
video call
party
counterpart
Prior art date
Application number
KR1020090083725A
Other languages
English (en)
Other versions
KR20110025719A (ko
Inventor
홍상우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090083725A priority Critical patent/KR101179465B1/ko
Publication of KR20110025719A publication Critical patent/KR20110025719A/ko
Application granted granted Critical
Publication of KR101179465B1 publication Critical patent/KR101179465B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 상대방의 감정을 전달하는 영상통화 시스템 및 방법에 관한 것으로, 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 파악하고, 파악한 감정상태에 따라 아바타의 상태나 동작을 제어하여 사용자에게 전달하기 위한 것이다. 본 발명에 따르면 사용자 단말기가 상대방 단말기와 영상통화를 개시하면, 상대방에 대응하는 아바타와 상대방 단말기로부터 수신한 영상통화 데이터를 함께 출력한다. 사용자 단말기가 수신한 영상통화 데이터를 분석하여 상대방이 취하는 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 판단하고, 판단한 감정상태에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다. 이때 사용자는 아바타 설정 모드에서 자신이 좋아하거나 관심 있는 분야의 아바타와, 아바타를 동작시키는 아바타 실행코드를 선택하여 설정할 수 있다. 따라서 영상통화 단말기는 영상통화 중 상대방의 감정상태에 대응하게 아바타를 동작시킴으로써, 사용자는 화면에 출력되는 아바타를 통하여 상대방의 감정상태를 쉽게 알 수 있다.
영상통화, 표정, 감정, 감성, 아바타

Description

상대방의 감정을 전달하는 영상통화 시스템 및 방법{Video call system and method for delivering feeling of far end talker}
본 발명은 영상통화기술에 관한 것으로, 더욱 상세하게는 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태를 아바타를 이용하여 사용자에게 정확히 전달할 수 있는 상대방의 감정을 전달하는 영상통화 시스템 및 방법에 관한 것이다.
음성통화 위주의 통화패턴에서 고속정보통신이 현실화되면서 통신단말기를 통한 영상통화기술이 주목을 받고 있다. 또한 영상통화가 가능한 통신단말기(이하, ‘영상통화 단말기’라 함)의 보급이 확대되면서 영상통화의 빈도수가 날로 증가하고 있는 추세이다.
영상통화 단말기는 영상통화 중 상대방의 영상을 화면에 표시하고, 상대방의 음성을 출력하기 때문에, 단순히 음성만으로 통화를 하는 것에 비해서 영상통화자 간에 서로의 감정상태를 쉽게 교환할 수 있다.
하지만 여전히 사용자는 영상통화 중 상대방의 감정상태를 표정이나 목소리만으로 전달받으므로, 상대방의 다양한 감정상태를 정확히 영상통화 단말기를 통하 여 사용자에게 전달하는 데는 한계가 있다. 그리고 현재의 영상통화는 단순히 상대방의 영상을 보면서 통화를 수행하는 데 그치고 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대하는 데도 한계가 있다.
따라서 본 발명의 목적은 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 파악하고, 파악한 감정상태에 따라 아바타의 상태나 동작을 제어하여 상대방의 감정상태를 사용자에게 전달하는 영상통화 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상통화자의 흥미를 유발시켜 영상통화의 사용을 확대할 수 있는 상대방의 감정을 전달하는 영상통화 시스템 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 통신망 및 아바타 제공서버를 포함하여 구성되는 상대방의 감정을 전달하는 영상통화 시스템을 제공한다. 상기 통신망은 발신 단말기와 착신 단말기 간의 영상통화를 제어하는 한다. 상기 아바타 제공서버는 상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 제스처 및 음성 인식을 통하여 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송한다.
본 발명은 또한, 송수신부 및 제어부를 포함하여 구성되는 영상통화 시스템의 아바타 제공서버를 제공한다. 상기 송수신부는 통신망을 매개로 발신 단말기 또는 착신 단말기와 통신을 수행한다. 상기 제어부는 상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 제스처 및 음성 인식을 통하여 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송한다.
본 발명에 따른 아바타 제공서버는 상기 발신 단말기 또는 착신 단말기의 사용자에 의해 설정된 아바타와, 상기 아바타를 동작시키는 아바타 실행코드를 저장하는 데이터베이스부를 더 포함한다. 이때 상기 제어부는 상기 상대방에 대응되는 아바타를 상기 데이터베이스부에서 호출하여 상기 발신 단말기 또는 착신 단말기로 전송하고, 상기 판단한 감정상태에 대응하는 상기 아바타 실행코드를 상기 데이터베이스부에서 추출하여 상기 아바타를 수신한 단말기로 전송한다.
본 발명은 또한, 통신부, 카메라부, 출력부 및 단말제어부를 포함하여 구성되는 상대방의 감정을 전달하는 영상통화 단말기를 제공한다. 상기 통신부는 상대방 단말기와 영상통화를 수행한다. 상기 카메라부는 영상통화 중 사용자를 촬영한다. 상기 출력부는 영상통화 데이터를 출력한다. 그리고 상기 단말제어부는 상기 통신부를 통하여 상기 상대방 단말기와 영상통화를 개시하면, 상기 상대방에 대응 하는 아바타와 상기 상대방 단말기로부터 수신한 영상통화 데이터를 상기 출력부로 출력하고, 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 제스처 및 음성 인식을 통하여 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하고, 상기 생성한 아바타 실행코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다.
본 발명에 따른 영상통화 단말기는 상대방에 대응되게 설정한 아바타와, 상기 아바타를 동작시키는 아바타 실행코드를 저장하는 저장부를 더 포함한다. 이때 상기 단말제어부는 상기 상대방에 대응되는 아바타를 상기 저장부에서 호출하여 출력하고, 상기 판단한 감정상태에 대응하는 상기 아바타 실행코드를 상기 저장부에서 추출하는 것을 특징으로 하는 상대방의 감정을 전달한다.
본 발명은 또한, 통신망을 매개로 발신 단말기와 착신 단말기 간에 영상 호 채널을 설정하여 영상통화가 개시되면, 아바타 제공서버가 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하는 아바타 전송 단계, 상기 아바타 제공서버가 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하는 수신 단계, 상기 아바타 제공서버가 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 제스처 및 음성 인식을 통하여 감정상태를 판단하는 판단 단계, 상기 아바타 제공서버가 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송하는 전송 단계를 포함하는 상대방의 감정을 전달하는 영상통화 방법을 제공한다.
본 발명은 또한, 사용자 단말기가 상대방 단말기와 영상 호 채널을 설정하여 영상통화를 개시하면, 상기 상대방에 대응하는 아바타와 상기 상대방 단말기로부터 수신한 영상통화 데이터를 출력하는 출력 단계, 상기 사용자 단말기가 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 제스처 및 음성 인식을 통하여 감정상태를 판단하는 판단 단계, 상기 사용자 단말기가 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하는 생성 단계, 상기 사용자 단말기가 상기 생성한 아바타 실행코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 조절 출력 단계를 포함하는 상대방의 감정을 전달하는 영상통화 방법을 제공한다.
본 발명에 따르면, 사용자 단말기는 상대방 단말기와 영상 호 채널이 설정되면 화면에 아바타를 호출하여 수신한 상대방의 영상과 함께 출력하고, 상대방이 취하는 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 판단하고, 판단한 감정상태에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하기 때문에, 아바타를 통하여 상대방의 감정상태를 사용자에게 효과적으로 전달할 수 있다. 즉 상대방이 취하는 특정 제스처 및 음성을 통하여 상대방의 현재의 감정상태, 예컨대 기쁨, 슬픔, 놀람, 즐거움, 화남, 짜증남 등을 인식하고, 이를 아바타를 통하여 표현하기 때문에, 영상통화 시스템은 사용자가 아바타를 통하여 상대방의 감정상태를 인지하면서 영상통화를 원활하게 수행할 수 있도록 한다.
본 발명에 따른 영상통화 시스템은 상대방의 감정상태에 따라 아바타를 동작시키면서 영상통화를 수행할 수 있고, 사용자는 아바타 설정 모드에서 영상통화 중 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있다. 또한 사용자는 영상통화 단말기를 통하여 상대방의 감정상태에 대응하는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에, 사용자의 개성을 추구하면서 보다 흥미롭게 상대방과 영상통화를 사용할 수 있는 환경을 제공할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
여기서 '아바타'는 단말기 사용자의 감정상태를 대신하여 표현하는 그래픽 컨텐츠로서, 애니메이션 캐릭터, 동영상, 정지영상, UCC(User Created Contents), 이모티콘, 플래시(flash), 영상과 진동이 조합된 햅틱 컨텐츠 등을 포함한다.
본 발명의 제1 실시예에 따른 상대방의 감정을 전달하는 영상통화 시스템(100)에 대해서 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 1은 본 발명의 제1 실시예에 따른 상대방의 감정을 전달하는 영상통화 시스템(100)을 보여주는 블록도이다. 도 2는 도 1의 발신 단말기(20)의 구성을 보여주는 블록도이다.
제1 실시예에 따른 영상통화 시스템(100)은 영상통화 중 상대방이 취한 특정 제스처 및 음성에 대응하는 아바타를 출력하여 사용자에게 상대방의 감정상태를 전달한다. 즉 영상통화 중 사용자가 취하는 얼굴표정, 손동작, 머리동작 등과 같은 특정 제스처 및 음성은 상대방의 감정상태와 관련되기 때문에, 제1 실시예에 따른 영상통화 시스템(100)은 영상통화 중 상대방이 취하는 특정 제스처 및 음성을 인식하면, 특정 제스처 및 음성에 대응하는 상대방의 감정상태를 표현할 수 있는 아바타를 사용자 단말기의 화면에 출력시킴으로써 사용자에게 상대방의 감정상태를 전달할 수 있다.
제1 실시예에 따른 영상통화 시스템(100)은 통신망(10)을 매개로 연결되어 영상통화를 수행하는 영상통화 단말기(20,40)를 포함하여 구성되며, 영상통화 단말기(20,40)는 발신 단말기(20) 및 착신 단말기(40)를 포함한다.
통신망(10)은 발신 단말기(20)와 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 통신망(10)은 IP를 통하여 대용량 데이터의 송수신 서비스 및 끊김없는 데이터 서비스를 제공하는 IP망으로, IP를 기반으로 서로 다른 망을 통합한 IP망 구조인 ALL-IP망일 수 있다. 또한 통신망(10)은 유선통신망, 이동통신망, WiBro(Wireless Broadband)망, HSDPA(High-Speed Downlink Packet Access)망, 위성통신망 중에 하나일 수 있다.
통신망(10)은 발신 단말기(20)와 착신 단말기(40) 간의 영상 호 채널을 설정하며, 호제어기(14)와 위치등록기(16)를 포함하여 구성된다.
호제어기(14)는 호 및 세션처리에 관련된 기능을 담당하는 부분으로서, CSCF(Call State Control Function) 또는 MSC(Mobile Switching Center) 중에 하나일 수 있다. 특히 CSCF로 구현된 호제어기(14)는 인입호에 대한 게이트웨이로서의 기능, 호 제어 기능, SPD(Serving Profile Database) 기능, 주소 처리 기능 등을 수행한다.
위치등록기(16)는 가입자의 마스터 데이터베이스로서, 가입자와 관련된 서비스의 마스터 목록을 유지하거나 가입자의 위치정보에 대한 관리를 수행함으로써 엑세스 수단을 추적하는 역할을 담당한다. 위치등록기(16)는 가입자가 가입한 부가서비스 가입정보를 저장한다. 위치등록기(16)로는 HLR(Home Location Register) 또는 All-IP망에서 가입자 정보 관리를 수행하는 HSS(Home Subscriber Server) 중에 하나일 수 있다.
그리고 발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 매개로 설정된 영상 호 채널을 통하여 서로 간에 영상통화를 수행한다. 영상통화 단말기(20,40)는 상대방 단말기와 영상통화를 개시하면, 상대방에 대응하는 아바타와 상대방 단말기로부터 수신한 영상통화 데이터를 출력한다. 이때 영상통화 단말기(20,40)는 통신망(10)을 통하여 영상통화가 가능한 유무선 통신단말기로서, 이동통신단말기, 유선통신단말기, 인터넷전화기 등을 포함한다.
이와 같이 영상통화 단말기(20,40)는 상대방 단말기로부터 수신한 상대방 영상과 함께, 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태에 따라 동작하는 아바타를 출력하기 때문에, 사용자는 아바타를 통하여 상대방의 감정상태를 알 수 있다.
제1 실시예에 따른 영상통화 시스템(100)의 발신 단말기(20) 및 착신 단말기(40)는 동일한 구성을 갖기 때문에, 도 2에 도시된 발신 단말기(20)의 구성을 중심으로 설명하면 다음과 같다. 발신 단말기(20)는 통신부(21), 카메라부(24), 출력 부(25,26) 및 단말제어부(27)를 포함하며, 그 외 입력부(22) 및 저장부(23)를 더 포함할 수 있다.
통신부(21)는 통신망(10)을 매개로 착신 단말기(40)와의 영상통화를 위한 데이터를 송수신한다. 통신부(21)는 단말제어부(27)의 제어에 따라 착신 단말기(40)로부터 영상통화 데이터를 수신하고, 사용자의 영상통화 데이터를 착신 단말기(40)로 전송한다. 통신부(21)는 현재 생성되어 있는 영상 호 채널을 통하여 아바타 데이터를 송수신하거나, 별도의 서비스 채널 예를 들면, SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 채널을 일시적으로 생성하여 아바타 데이터를 송수신할 수 있다.
입력부(22)는 발신 단말기(20)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 단말제어부(27)에 전달한다. 사용자는 입력부(22)를 통해 영상통화 요청 신호를 입력할 수 있다. 입력부(22)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
저장부(23)는 발신 단말기(20)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 저장부(23)는 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태에 따라 아바타를 동작시키는 아바타 실행프로그램을 저장한다. 저장부(23)는 상대방에 대응되게 설정한 아바타와, 아바타를 동작시키는 아바타 실행코드를 저장한다. 이때 저장부(23)는 상 대방의 단말정보에 매칭하여 아바타를 저장할 수 있다. 아바타는 사용자의 선택 신호에 따라 상대방의 단말정보에 매칭하여 설정된 아바타와, 디폴트로 설정된 일반 아바타를 포함한다. 디폴트로 설정된 일반 아바타는 사용자가 설정한 상대방 이외의 사람과 영상통화를 수행할 경우에 사용될 수 있다. 이러한 저장부(23)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.
프로그램 영역은 발신 단말기(20)를 부팅시키는 운영체제(OS, Operating System), 영상통화를 위한 카메라부(24) 조작 및 오디오 수집을 위한 응용 프로그램, 발신 단말기(20)의 기타 옵션(options) 기능 예컨대, 소리 재생 기능, 이미지 또는 동영상 재생 기능 등에 필요한 응용 프로그램 등을 저장한다. 발신 단말기(20)는 사용자 요청에 상응하여 상기한 각 기능을 활성화하는 경우, 단말제어부(27)의 제어 하에 해당 응용 프로그램들을 이용하여 각 기능을 제공하게 된다. 특히, 프로그램 영역은 아바타를 지원하는 아바타 실행프로그램을 포함할 수 있다. 아바타 실행프로그램은 영상통화가 실행되는 경우, 단말제어부(27)에 로드되어 활성화될 수 있는 응용 프로그램이다. 이러한 아바타 실행프로그램은 착신 단말기(40)로부터 수신한 영상통화 데이터에서 상대방의 제스처 및 음성 인식을 수행하는 루틴, 제스처 및 음성 인식으로 수집된 인식 값을 기 설정된 기준 파라미터들과 비교하는 루틴, 기 설정된 기준 파라미터를 기반으로 아바타 실행코드를 생성하는 루틴, 생성된 아바타 실행코드를 아바타에 적용하는 루틴을 포함할 수 있다. 아바타 실행프로그램은 기준 파라미터들에 대하여 아바타 실행코드들을 매칭한 테이블을 이용할 수 있다.
데이터 영역은 발신 단말기(20)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 영상통화 시, 사용자가 녹화한 데이터, 카메라부(25)가 수집한 영상 중 사용자가 저장하고자 하는 데이터, 발신 단말기(20)가 제공하는 다양한 옵션 기능과 관련한 사용자 데이터들 예컨대, 동영상과, 폰 북 데이터와, 오디오 데이터 및 해당 컨텐츠 또는 사용자 데이터들에 대응하는 정보들 등을 저장할 수 있다. 특히, 데이터 영역은 일정 형태의 동작과 상태를 이미지로 출력할 수 있는 아바타 구현을 위한 다양한 아바타 데이터를 저장할 수 있다. 단말기 사용자는 폰 북 데이터 저장 시에 특정 전화번호에 대응하는 아바타를 설정할 수 있다. 특정 전화번호에 링크된 아바타가 존재하며, 해당 전화번호를 가진 상대방 단말기와 영상통화를 수행하는 경우, 아바타는 단말제어부(27)에 의하여 로드되어 표시부(25)에 출력될 수 있다. 아바타는 아바타 실행코드에 따라 다양한 상태 또는 다양한 동작을 포함하는 애니메이션을 수행할 수 있다. 예를 들면, 아바타가 사람 형상으로 제작된 경우, 특정 아바타 실행코드에 따라 우는 모습, 웃는 모습, 화난 모습, 좌절하는 모습, 게으름을 피우는 모습 등 다양한 애니메이션을 연출할 수 있다. 이러한 아바타의 연출 형태를 위한 아바타 실행코드는 아바타의 설계자 또는 사용자의 설정 조작 등을 통하여 삭제되거나 추가될 수 있다. 여기서 우는 모습, 웃는 모습, 화난 모습 등 다양한 표정이나 상태를 나타내는 연출은 각 아바타의 형태에 따라 그 모양이 달라질 수 있으며, 이 또한 아바타 설계자 또는 사용자의 설정 조작에 의하여 변경될 수 있다.
이때 특정 제스처는 상대방이 취하는 제스처 중 상대방의 감정상태와 관련된 제스처로서, 상대방이 취하는 얼굴표정, 손동작, 머리동작, 팔동작, 다리동작 및 이들의 조합 중에 적어도 하나의 제스처를 포함한다. 예컨대 상대방이 고개를 좌우로 흔드는 특정 제스처를 취하는 경우, 거부, 싫음 등과 같은 부정적인 감정상태를 표현하고자 할 때 취하는 제스처이다. 상대방이 고개를 상하로 흔드는 특정 제스처를 취하는 경우, 승낙, 좋음 등과 같은 긍정적인 감정상태를 표현하고자 할 때 취하는 제스처이다. 상대방이 양 팔 또는 양 손을 사용하여 하트 모양의 제스처를 취하는 경우, 상대방이 사용자를 사용하는 감정상태를 표현하고자 할 때 취하는 제스처이다.
특정 음성은 상대방이 출력하는 음성 중 상대방의 감정상태와 관련된 음성으로, 음성에 포함된 단어, 어구, 음성톤의 높낮이 및 이들의 조합 중에 적어도 하나의 정보를 포함하는 음성이다. 단말제어부(27)는 상대방의 감정을 표현하는 단어나 어구의 포함 여부와, 음성 톤의 높낮이로부터 상대방의 음성 중 특정 음성을 인식한다. 예컨대 상대방이 영상통화 시 "싫어, 싫거든, 기분 나뻐" 등과 같은 부정적인 단어나 어구를 사용하는 경우, 거부, 싫음 등과 같은 부정적인 감정상태를 표현하고자 할 때이다. 상대방이 "좋아, 좋은데, 허락할게" 등과 같은 긍정적인 단어나 어구를 포함시켜 영상통화를 하는 경우, 승낙, 좋음 등과 같은 긍정적인 감정상태를 표현하고자 할 때이다.
아바타는 상대방(객체)이 취한 특정 제스처 및 음성에 대응하는 설정된 행동 방식으로 동작할 수 있다. 예컨대, 상대방이 고개를 좌우로 흔들고 부정적인 단어나 어구를 사용하는 경우, 아바타는 상대방의 부정적인 감정상태를 설정된 표정이 나 행동을 통하여 표현한다. 또는 아바타는 상대방이 취한 특정 제스처에 대응하는 행동 방식으로 동작할 수 있다. 예컨대, 상대방이 고개를 좌우로 흔들고 부정적인 단어나 어구를 사용하는 경우, 아바타 또한 상대방의 제스처와 동일하게 고개를 좌우로 흔드는 동작을 수행한다.
그리고 사용자가 아바타를 설정할 때, 특정 제스처 및 음성에 따른 상대방의 감정상태를 그대로 표현하는 아바타를 설정할 수도 있고, 정반대로 표현하는 아바타를 설정할 수 있다.
카메라부(24)는 통신부(21)를 통해 전송하기 위한 사용자(발신자)의 영상데이터를 획득한다. 즉 카메라부(24)는 입력부(22)를 통한 영상통화의 승낙에 따라 사용자의 영상을 촬영하여 영상데이터를 획득한다. 이때 카메라부(24)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상데이터를 획득하며, 획득된 영상데이터를 통신부(21)나 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다. 또한 영상처리부는 통신부(21)를 통해 입력되는 상대방(착신자)의 영상데이터를 처리하여 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다.
출력부(25,26)는 표시부(25)와 음원처리부(26)를 포함한다. 출력부(25,26)는 진동을 발생시키는 진동발생부를 더 포함할 수 있다. 출력부(25,26)은 발신 단말기(40)로부터 수신한 영상통화 데이터를 출력하며, 발신 단말기(40)로 전송할 영상 데이터를 출력할 수도 있다.
표시부(25)는 발신 단말기(20)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(23)에 저장된 정보를 표시한다. 표시부(25)는 단말제어부(27)의 제어에 따라 상대방의 영상 또는 아바타를 표시한다. 표시부(25)로는 LCD(Liquid Crystal Display)나 터치 스크린이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.
음원처리부(26)는 단말제어부(27)의 제어에 따라 마이크(MIC)로 입력되는 음성을 디저털화하여 음성 데이터를 획득하고, 통신부(21)를 통해 수신된 음성 데이터를 복조하여 스피커(SPK)를 통해 출력한다.
그리고 단말제어부(27)는 발신 단말기(20)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 특히 단말제어부(27)는 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태를 판단하고, 판단한 감정상태에 따른 아바타 출력을 제어한다.
단말제어부(27)는 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 아바타 및 아바타 실행코드는 일반, 날씨, 스포츠(골프, 농구, 야구 등) 등 사용자의 관심분야나 취미 등에 따라 다양하게 분류되어 제공될 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.
예컨대 상대방의 특정 제스처 및 음성에 따라 매핑된 아바타 실행코드는 아 바타를 표1과 같이 동작시킬 수 있다. 이때 감정상태는 기쁨, 슬픔, 놀람으로 한정하여 설명하였지만 이에 한정되는 것은 아니다. 또한 각각의 감정상태에 따른 아바타의 동작 또한 이에 한정되는 것은 아니다.
기쁨 슬픔 놀람
일반 아바타가 웃음 아바타가 울음을
터트림		 아바타가 눈을
크게 뜸
날씨 아바타가 화창한
날씨에 산책함		 아바타가 비를 맞음 아바타 머리 위로
번개가 침
골프 아바타가 퍼팅한 공이
홀컵에 들어가 좋아함		 아바타의 티샷이 물에
빠져 울음을 터트림		 티샷이 홀인원되어
아바타가 깜짝 놀람
농구 아바타가 삼점 슛에
성공함		 아바타가 공을
빼앗김		 아바타의 슛이
블락슛을 당함
한편 별도로 아바타 실행코드를 설정하지 않는 경우, 단말제어부(27)는 디폴트로 설정된 아바타 실행코드를 사용할 수 있다. 예컨대 일반 항목이 디폴트로 설정될 수 있다.
단말제어부(27)는 착신 단말기(40)와 영상통화를 개시하면, 착신 단말기(40)의 사용자에 대응하는 아바타와, 착신 단말기(40)로부터 수신한 영상통화 데이터를 출력한다. 단말제어부(27)는 수신한 영상통화 데이터에서 상대방의 제스처 및 음성 인식을 통하여 상대방의 감정상태를 판단한다. 단말제어부(27)는 판단한 감정상태에 대응하는 아바타 실행코드를 생성한다. 그리고 단말제어부(27)는 생성한 아바타 실행코드에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다.
이때 단말제어부(27)는 아바타를 저장부(23)에서 호출하거나 발신 단말기(40)로부터 수신하여 표시부(25)에 표시한다. 착신 단말기(40)와 영상통화를 개시하면, 단말제어부(27)는 상대방에 대응하는 아바타가 저장부(23)에 설정되어 있는 지를 확인한다. 확인 결과 설정되어 있으면, 단말제어부(40)는 설정된 아바타를 호출한다. 확인 결과 미설정되어 있으면, 단말제어부(27)는 저장부(23)에 저장된 일반 아바타를 호출하거나 발신 단말기(40)로 아바타를 요청하여 수신할 수 있다. 그리고 단말제어부(27)는 호출하거나 수신한 아바타를 표시부(25)에 표시한다. 단말제어부(27)는 착신 단말기(40)로부터 아바타를 요청하여 수신할 때, 현재 설정된 영상 호 채널을 이용할 수도 있고, 데이터 통신 채널 또는 메시지 서비스 채널을 영상 호 채널과는 독립적으로 새로 설정할 수도 있다.
단말제어부(27)는 수신한 영상통화 데이터의 영상 데이터에서 상대방의 제스처를 인식하고, 수신한 영상통화 데이터의 음성 데이터에서 상대방의 음성을 인식한다. 즉 단말제어부(27)는 수신한 영상 데이터에서 상대방 영상을 추출하고, 추출한 상대방 영상에서 관심영역을 추적하여 객체의 제스처를 인식한다. 이때 단말제어부(27)는 수신한 영상의 배경에서 상대방(객체) 영상을 추출하고, 추출한 상대방 영상에서 관심영역을 추출하여 추적하기 위해서, 예컨대 PCA(principal component analysis)를 통해 adaboost를 이용할 수 있다. 여기서 adaboost는 객체의 형태 및 관심영역을 추출하기 위한 학습 알고리듬으로, Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.
관심영역은 얼굴, 양 손, 양 팔 중에 적어도 하나를 포함한다. 단말제어부(27)는 수신한 음성 데이터에서 상대방의 감정을 표현하는 단어나 어구의 포함 여부와, 음성 톤의 높낮이로부터 상대방의 음성을 인식한다.
단말제어부(27)는 제스처 및 음성 인식으로 수집된 인식 값을 기준으로 상대방의 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교한다. 단말제어부(27)는 비교 결과에 따라 수집된 인식 값에 대응하는 기준 파라미터를 결정한다. 그리고 단말제어부(27)는 결정된 기준 파라미터를 기반으로 아바타 실행코드를 생성한다. 이때 기준 파라미터는 판단된 감정상태가 기쁨, 슬픔, 놀람, 즐거움, 화남, 짜증남 등으로 인식하도록 하는 기준 값에 해당된다. 단말제어부(27)가 제스처 및 음성 중 제스처 및 음성 인식으로 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 경우, 해당 제스처 및 음성은 특정 제스처 및 음성에 해당된다. 한편 단말제어부(27)는 비교 결과 수집된 인식 값에 대응하는 기준 파라미터가 없는 경우, 기준 파라미터를 결정하지 않고 아바타의 현재 출력 상태를 유지한다.
그리고 단말제어부(27)는 상대방 영상과 아바타를 표시부(25)에 출력할 때, 상대방 영상에 중첩하여 표시하거나 PIP(Picture In Picture) 형태로 출력할 수 있다.
이와 같이 제1 실시예에 따른 영상통화 시스템(100)의 영상통화 단말기(20,40)는 상대방 단말기와 영상 호 채널이 설정되면 화면에 아바타를 호출하여 수신한 상대방의 영상과 함께 출력하고, 상대방의 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 판단하고, 판단한 감정상태에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하기 때문에, 아바타를 통하여 상대방의 감정상태를 사용자에게 효과적으로 전달할 수 있다.
제1 실시예에 따른 영상통화 시스템(100)에서 상대방의 감정을 전달하는 영상통화 방법에 대해서 도 1 내지 도 5를 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 제1 실시예에 따른 상대방의 감정을 전달하는 영상통화 방법에 따른 흐름도이다. 도 4는 도 3의 아바타 표시 단계에 따른 상세 흐름도이다. 그리고 도 5는 도 3의 감정상태 판단 단계에 따른 상세 흐름도이다.
먼저 S51단계에서 발신 단말기(20)가 영상 호를 발신하면, S53단계에서 통신망(10)은 이를 수신하여 착신 단말기(40)로 영상 호 착신을 요청한다. 즉, 발신 단말기(20)가 영상 호를 발신하면, 호제어기(14)는 위치등록기(16)로 발신 및 착신 단말기(20,40)의 가입자 정보(위치 정보 및 부가 서비스 정보)를 요청한다. 호제어기(14)는 수신한 가입자 정보를 토대로 라우팅 정보를 획득한다. 호제어기(14)는 획득한 라우팅 정보를 이용하여 착신 단말기(40)로 영상 호 착신을 요청한다.
한편 S51단계를 수행하기 전에, 발신 단말기(20)는 입력부(22)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.
다음으로 S55단계에서 착신 단말기(40)가 영상 호에 대한 수락을 통신망(10)으로 전송하면, S57단계에서 통신망(10)은 발신 단말기(20)와 착신 단말기(40) 간에 영상통화를 위한 영상 호 채널을 설정한다. 즉 호제어기(14)는 착신 단말기(40)를 페이징하여 착신을 요청하고, 착신 단말기(40)가 착신 요청에 대하여 호를 수락하면, 호제어기(14)는 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 채널을 설정한다.
이와 같이 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 채널이 설정된 후, S59단계에서 설정된 영상 호 채널을 통해 발신 단말기(20)와 착신 단말기(40) 간에 영상통화 데이터를 교환하면서 영상통화를 수행하게 된다. 즉 발신 단말기(20)와 착신 단말기(40)는 서로 자신의 영상이 포함된 영상 데이터를 교환하면서 음성통화를 수행한다.
S59단계에 따라 영상통화가 개시되면, S70단계에서 발신 단말기(20)는 착신 단말기(40)의 사용자(상대방)에 대응하는 아바타를 표시부(25)에 표시한다. S70단계를 도 4를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S71단계에서 발신 단말기(20)는 상대방에 대응되게 아바타가 저장부(23)에 설정되어 있는 지를 확인한다. S71단계의 확인 결과 설정되어 있으면, S72단계에서 발신 단말기(20)는 설정된 아바타를 저장부(23)에서 호출한다.
S71단계의 확인 결과 설정되어 있지 않으면, S73단계에서 발신 단말기(20)는 아바타 요청 신호가 입력되는 지의 여부를 다시 판단한다. S73단계의 판단 결과 입력되지 않은 경우, S74단계에서 발신 단말기(20)는 저장부(23)에 저장된 일반 아바타를 호출한다. S73단계의 판단 결과 입력된 경우, S75단계에서 발신 단말기(20)는 착신 단말기(40)로 아바타를 요청하여 수신한다. 이때 착신 단말기(40)에서 전송하는 아바타는 현재 설정된 영상 호 경로를 통하여 발신 단말기(20)로 전송되거나, 별도의 메시지 서비스 채널 또는 데이터 통신 채널을 통하여 발신 단말기(20)로 전송될 수 있다.
그리고 S76단계에서 발신 단말기(20)는 호출하거나 수신한 아바타와, 착신 단말기(40)로부터 수신한 영상데이터를 함께 표시부(23)에 표시한다. 이때 발신 단말기(20)는 영상데이터와 아바타를 표시부(25)에 표시할 때, 영상데이터와 아바타를 중첩하여 표시하거나 PIP 형태로 표시할 수 있다.
한편 제1 실시예에서는 S71단계의 확인 결과 설정되어 있지 않으면, 사용자 입력에 따라 S73단계 내지 S75단계를 수행하는 예를 개시하였지만 이에 한정되는 것은 아니다. 예컨대 S71단계의 확인 결과 설정되어 있지 않으면, S74단계에서 발신 단말기(20)는 저장부(23)에 저장된 일반 아바타를 호출할 수 있다. 또는 S71단계의 확인 결과 설정되어 있지 않으면, S75단계에서 발신 단말기(20)는 착신 단말기(40)로 아바타를 요청하여 수신할 수 있다.
다음으로 S80단계에서 발신 단말기(20)는 수신한 영상통화 데이터에서 상대방이 취하는 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태를 판단한다. S80단계를 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S81단계에서 발신 단말기(20)는 수신한 영상통화 데이터에서 상대방의 제스처 및 음성을 인식한다. 다음으로 S83단계에서 발신 단말기(20)는 제스처 및 음성 인식으로 수집된 인식 값과 기 설정된 기준 파라미터들을 비교한다. 그리고 S85단계에서 발신 단말기(20)는 수집된 인식 값에 따른 기준 파라미터를 결정한다.
다음으로 S91단계에서 발신 단말기(20)는 판단한 감정상태에 따른 아바타 실행코드를 생성한다. 즉 발신 단말기(20)는 결정된 기준 파라미터를 기반으로 아바타 실행코드를 생성한다. 예컨대 발신 단말기(20)는 결정된 기준 파라미터에 매핑된 아바타 실행코드를 저장부(23)에서 추출하여 생성할 수 있다.
그리고 S97단계에서 발신 단말기(20)는 생성한 아바타 실행코드에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다. 예컨대 아바타는 화면에 표시될 때, 상대방 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 발신 단말기(20)의 사용자는 출력되는 아바타를 통하여 착신 단말기(40) 사용자의 감정상태를 쉽게 알 수 있다.
한편 단말제어부(27)는 S83단계의 비교 결과 수집된 인식 값에 대응하는 기준 파라미터가 없는 경우, 기준 파라미터를 결정하지 않고 아바타의 현재 출력 상태를 유지할 수 있다.
제1 실시예에 따른 영상통화 방법에서는 발신 단말기(20)에 아바타를 표시하여 착신 단말기(40) 사용자의 감정상태를 발신 단말기(20) 사용자에게 전달하는 예를 개시하였지만, 반대로 착신 단말기(20)에 아바타를 표시하여 발신 단말기(20) 사용자의 감정상태를 착신 단말기(40) 사용자에게 전달할 수도 있다.
한편 제1 실시예에 따른 영상통화 시스템(100)은 발신 단말기(20) 또는 착신 단말기(40)가 저장부(23)에 저장된 아바타를 호출하여 출력하고, 판단된 상대방의 감정상태에 대응되게 아바타의 상태 및 동작을 조절하여 출력시키는 예를 개시하였지만 이에 한정되는 것은 아니다. 즉 도 6에 도시된 바와 같이, 발신 단말기(20) 또는 착신단말기(40)는 상대방에 대응하는 아바타를 아바타 제공서버(30)를 통하여 수신하여 출력할 수 있다.
본 발명의 제2 실시예에 따른 영상통화 시스템(200)은, 도 6에 도시된 바와 같이, 통신망(10)을 매개로 연결된 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40)를 포함하여 구성된다.
발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 매개로 서로 간에 영상통화를 수행한다. 발신 단말기(20) 또는 착신 단말기(40)는 통신망(10)을 통하여 아바타 제공서버(30)로부터 수신한 상대방에 대응하는 아바타를 출력하고, 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태에 대응하는 아바타 실행코드를 수신하여 아바타의 상태 및 동작 중에 적어도 하나를 조절하여 출력한다.
통신망(10)은 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 특히 발신 단말기(20)로부터 영상 호를 수신하면, 통신망(10)은 발신 단말기(20)와 착신 단말기(30) 간의 영상통화를 위한 영상 호 채널을 설정한다. 설정된 영상 호 채널을 통하여 영상통화가 개시되면, 통신망(10)은 아바타 및 아바타 실행코드를 아바타 제공서버(30)로부터 수신하여 영상통화 단말기(20,40)로 전송한다. 이때 통신망(10)은 아바타 및 아바타 실행코드를 현재 설정된 영상 호 채널을 이용하거나, 설정된 영상 호 채널과는 독립적으로 새로 설정되는 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 영상통화 단말기(20,40)로 전송한다.
그리고 아바타 제공서버(30)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(30)와 통신을 수행한다. 영상통화가 개시되면, 아바타 제공서버(30)는 통신망(10)을 통하여 발신 단말기(20) 또는 착신 단말기(40)로 상대방에 대응하는 아바타를 전송한다. 아바타 제공서버(30)는 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 수신한 영상통화 데이터에서 상대방이 취하는 특정 제스처 및 음성 인식을 통해 파악한 상대방의 감정상태를 판단하고, 판단한 감정상태에 따른 아바타 실행코드를 생성하여 아바타를 수신한 단말기로 전송한다. 이때 아바타를 수신한 단말기는 수신한 아바타 실행코드에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다.
특히 제2 실시예에 따른 아바타 제공서버(30)는 송수신부(31), 데이터베이스부(33) 및 제어부(35)를 포함하여 구성된다.
송수신부(31)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(40)와 통신을 수행한다. 송수신부(31)는 제어부(35)의 제어에 따라 통신망(10)으로부터 아바타 요청을 수신하고, 통신망(10)으로 요청한 아바타를 전송한다. 그리고 송수신부(31)는 제어부(35)의 제어에 따라 통신망(10)으로 아바타 실행코드를 전송한다.
데이터베이스부(33)는 영상통화 단말기(20,40)의 사용자에 의해 설정된 아바타와, 아바타를 동작시키는 아바타 실행코드를 저장한다. 사용자는 상대방에 대응되게 아바타를 설정할 수 있다. 아바타는 사용자의 선택 신호에 따라 상대방의 단말정보에 매칭하여 설정된 아바타와, 디폴트로 설정된 일반 아바타를 포함한다. 디폴트로 설정된 일반 아바타는 사용자가 설정한 상대방 이외의 사람과 영상통화를 수행할 경우에 사용될 수 있다.
그리고 제어부(35)는 아바타 제공서버(30)의 전반적인 제어 동작을 수행한다. 특히 제어부(35)는 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통해 상대방의 감정상태를 판단하고, 판단한 감정상태에 따른 사용자 단말기로의 아바타 출력을 제어한다.
제어부(35)는 아바타 설정 모드에서, 영상통화 단말기(20,40)를 통한 사용자의 선택 신호에 따라 상대방에 대응하는 아바타를 설정하고, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 이때 제어부(35)에 의한 아바타 및 아바타 실행코드의 설정은 도 2의 단말제어부(23)에 의한 설정 방식과 동일한 방식으로 수행될 수 있기 때문에, 상세한 설명은 생략한다.
제어부(35)는 통신망(10)을 매개로 발신 단말기(20)와 착신 단말기(40) 간에 영상통화가 개시되면, 통신망(10)을 통하여 발신 단말기(20) 또는 착신 단말기(40)로 상대방에 대응하는 아바타를 전송한다. 제어부(35)는 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 수신한 영상통화 데이터에서 상대방의 특정 제스처 및 음성 인식을 통하여 감정상태를 판단한다. 그리고 제어부(35)는 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 아바타를 수신한 단말기로 전송한다.
이때 제어부(35)는 아바타를 데이터베이스부(33)에서 호출하거나 상대방 단말기로부터 수신하여 사용자 단말기로 전송한다. 즉 영상통화가 개시되면, 제어부(35)는 상대방에 대응하는 아바타가 데이터베이스부(33)에 설정되어 있는 지를 확인한다. 확인 결과 설정되어 있으면, 제어부(35)는 설정된 아바타를 호출한다. 확인 결과 미설정되어 있으면, 제어부(35)는 데이터베이스부(33)에 저장된 일반 아바타를 호출하거나 상대방 단말기로 아바타를 요청하여 수신할 수 있다. 그리고 제어부(35)는 호출하거나 수신한 아바타를 사용자 단말기로 전송한다. 이때 제어부(35)는 상대방 단말기로부터 아바타를 요청하여 수신할 때, 현재 설정된 영상 호 채널을 이용할 수도 있고, 데이터 통신 채널 또는 메시지 서비스 채널을 영상 호 채널과는 독립적으로 새로 설정할 수도 있다. 제어부(35)는 상대방 단말기로부터 수신한 아바타를 상대방의 전화번호에 매칭하여 데이터베이스부(33)에 저장할 수 있다.
제어부(35)는 수신한 영상통화 데이터의 영상 데이터에서 상대방의 제스처를 인식하고, 수신한 영상통화 데이터의 음성 데이터에서 상대방의 음성을 인식한다. 즉 제어부(35)는 수신한 영상 데이터에서 상대방 영상을 추출하고, 추출한 상대방 영상에서 관심영역을 추적하여 객체의 제스처를 인식한다. 이때 관심영역은 얼굴, 양 손, 양 팔 중에 적어도 하나를 포함한다. 제어부(35)는 수신한 음성 데이터에서 상대방의 감정을 표현하는 단어나 어구의 포함 여부와, 음성 톤의 높낮이로부터 상대방의 음성을 인식한다.
제어부(35)는 제스처 및 음성 인식으로 수집된 인식 값을 기준으로 상대방의 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교한다. 제어부(35)는 비교 결과에 따라 수집된 인식 값에 대응하는 기준 파라미터를 결정한다. 그리고 제어부(35)는 결정된 기준 파라미터를 기반으로 아바타 실행코드를 생성한다. 이때 기준 파라미터는 판단된 감정상태가 기쁨, 슬픔, 즐거움, 화남, 짜증남 등으로 인식하도록 하는 기준 값에 해당된다.
그리고 제어부(35)는 생성한 아바타 실행코드를 현재 설정된 영상 호 채널, 별도의 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 사용자 단말기로 전송한다.
이와 같이 제2 실시예에 따른 영상통화 시스템(200)의 아바타 제공서버(30)는 영상 호 채널이 설정되면 영상통화 단말기(20,40)로 상대방에 대응하는 아바타를 전송하고, 상대방의 제스처 및 음성 인식을 통하여 상대방의 감정상태를 판단하고, 판단한 감정상태에 대응하는 아바타 실행코드를 아바타를 수신한 단말기로 전송한다. 그리고 아바타를 수신한 단말기는 아바타 실행코드에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하기 때문에, 아바타를 통하여 상대방의 감정상태를 사용자에게 효과적으로 전달할 수 있다.
제2 실시예에 따른 영상통화 시스템(200)에서 상대방의 감정을 전달하기 위한 영상통화 방법에 대해서 도 6 및 도 7을 참조하여 설명하면 다음과 같다. 여기서 도 7은 본 발명의 제2 실시예에 따른 상대방의 감정을 전달하기 위한 영상통화 방법에 따른 흐름도이다.
먼저 S51단계 내지 S59단계까지는 도 3의 감정 전달 방법과 동일하게 진행되기 때문에 상세한 설명은 생략하고, S59단계 이후부터 설명하면 다음과 같다. 한편 S51단계를 수행하기 전에, 아바타 제공서버(30)는 발신 단말기(20)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.
S59단계에 따라 영상통화가 개시되면, S61단계에서 통신망(10)은 발신 단말기(20)로 전송할 아바타를 아바타 제공서버(30)로 요청한다. 다음으로 S63단계에서 아바타 제공서버(30)는 데이터베이스부(33)에서 발신 단말기(20) 또는 착신 단말기(40) 사용자에 의해 설정된 아바타를 추출하여 통신망(10)으로 전송한다. 이때 아바타는 착신 단말기(40) 사용자에 대응되게 설정된 아바타일 수 있다. 아바타 제공서버(30)는 아바타를 현재 설정된 영상 호 경로, 별도의 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 전송할 수 있다.
다음으로 S65단계에서 통신망(10)은 수신한 상대방의 영상통화 데이터와 아바타를 발신 단말기(20)로 전송한다. 이어서 S76단계에서 발신 단말기(20)는 수신한 아바타와 영상통화 데이터를 출력한다.
한편 S67단계에서 통신망(10)은 착신 단말기(40)로부터 수신한 영상통화 데이터를 아바타 제공서버(30)로 전송한다.
다음으로 S80단계에서 아바타 제공서버(30)는 수신한 영상통화 데이터에서 상대방의 감정상태를 판단한다. S80단계를 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S81단계에서 아바타 제공서버(30)는 수신한 영상통화 데이터에서 상대방의 제스처 및 음성을 인식한다. 다음으로 S83단계에서 아바타 제공서버(30)는 제스처 및 음성 인식으로 수집된 인식 값과 기 설정된 기준 파라미터들을 비교한다. 그리고 S85 단계에서 아바타 제공서버(30)는 수집된 인식 값에 따른 기준 파라미터를 결정함으로써, 사용자의 감정상태를 판단한다.
다음으로 S91단계에서 아바타 제공서버(30)는 판단한 감정상태, 즉 결정된 기준 파라미터를 기반으로 아바타 실행코드를 생성한다. 예컨대 아바타 제공서버(30)는 결정된 기준 파라미터에 매핑된 아바타 실행코드를 데이터베이스부(33)에서 추출하여 생성할 수 있다.
다음으로 S93단계에서 아바타 제공서버(30)는 생성한 아바타 실행코드를 통신망(10)으로 전송한다. 이어서 S95단계에서 통신망(10)은 수신한 아바타 실행코드를 발신 단말기(20)로 전달한다.
그리고 S97단계에서 발신 단말기(20)는 생성한 아바타 실행코드에 따라 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다. 예컨대 아바타는 화면에 표시될 때, 상대방 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 발신 단말기(20)의 사용자는 출력되는 아바타를 통하여 착신 단말기(40) 사용자의 감정상태를 쉽게 알 수 있다.
한편 제2 실시예에 따른 영상통화 방법에서는 아바타 제공서버(30)가 발신 단말기(20)로 착신 단말기(40) 사용자의 감정상태를 표현하는 아바타를 제공하는 예를 개시하였지만, 반대로 착신 단말기(40)로 발신 단말기(20) 사용자의 감정상태를 표현하는 아바타를 제공할 수도 있다. 또는 착신 및 발신 단말기에 상대방의 감정상태를 표현하는 아바타를 각각 제공할 수도 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 상대방의 감정을 전달하는 영상통화 시스템 및 방법에 관한 것으로, 영상통화 중 상대방이 취하는 특정 제스처 및 음성 인식을 통하여 상대방의 감정상태를 파악하고, 파악한 감정상태에 기반으로 아바타의 상태나 동작 등을 제어하여 출력함으로써, 단말기 사용자는 영상통화를 수행하면서 상대방의 감정상태를 아바타를 통하여 빠르고 정확하게 인식할 수 있다. 또한 사용자는 영상통화 중 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있고, 또한 사용자는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에 사용자의 개성을 추구하면서 보다 흥미롭게 영상통화를 사용할 수 있는 환경을 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 상대방의 감정을 전달하는 영상통화 시스템을 보여주는 블록도이다.
도 2는 도 1의 발신 단말기의 구성을 보여주는 블록도이다.
도 3은 본 발명의 제1 실시예에 따른 상대방의 감정을 전달하는 영상통화 방법에 따른 흐름도이다.
도 4는 도 3의 아바타 표시 단계에 따른 상세 흐름도이다.
도 5는 도 3의 감정상태 판단 단계에 따른 상세 흐름도이다.
도 6은 본 발명의 제2 실시예에 따른 상대방의 감정을 전달하는 영상통화 시스템을 보여주는 블록도이다.
도 7은 본 발명의 제2 실시예에 따른 상대방의 감정을 전달하는 영상통화 방법에 따른 흐름도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 통신망
20 : 발신 단말기
30 : 아바타 제공서버
40 : 착신 단말기
100, 200 : 영상통화 시스템

Claims (21)

  1. 발신 단말기와 착신 단말기 간의 영상통화를 제어하는 통신망;
    상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 특정 제스처 및 상기 상대방이 출력하는 음성 중 음성의 높낮이와 감정을 표현하는 특정 단어 또는 특정 어구 중 어느 하나의 조합을 기초로 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송하는 아바타 제공서버;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 시스템.
  2. 통신망을 매개로 발신 단말기 또는 착신 단말기와 통신을 수행하는 송수신부;
    상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하고, 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 특정 제스처 및 상기 상대방이 출력하는 음성 중 음성의 높낮이와 감정을 표현하는 특정 단어 또는 특정 어구 중 어느 하나의 조합을 기초로 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송하는 제어부;
    를 포함하는 것을 특징으로 하는 영상통화 시스템의 아바타 제공서버.
  3. 제2항에 있어서,
    상기 발신 단말기 또는 착신 단말기의 사용자에 의해 설정된 아바타와, 상기 아바타를 동작시키는 아바타 실행코드를 저장하는 데이터베이스부;
    를 더 포함하며,
    상기 제어부는 상기 상대방에 대응되는 아바타를 상기 데이터베이스부에서 호출하여 상기 발신 단말기 또는 착신 단말기로 전송하고, 상기 판단한 감정상태에 대응하는 상기 아바타 실행코드를 상기 데이터베이스부에서 추출하여 상기 아바타를 수신한 단말기로 전송하는 것을 특징으로 하는 영상통화 시스템의 아바타 제공서버.
  4. 상대방 단말기와 영상통화를 수행하는 통신부;
    영상통화 중 사용자를 촬영하는 카메라부;
    영상통화 데이터를 출력하는 출력부;
    상기 통신부를 통하여 상기 상대방 단말기와 영상통화를 개시하면, 상기 상대방에 대응하는 아바타와 상기 상대방 단말기로부터 수신한 영상통화 데이터를 상기 출력부로 출력하고, 상기 상대방이 취하는 특정 제스처 및 상기 상대방이 출력하는 음성 중 음성의 높낮이와 감정을 표현하는 특정 단어 또는 특정 어구 중 어느 하나의 조합을 기초로 감정상태를 판단하고, 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하고, 상기 생성한 아바타 실행코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 단말제어부;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 단말기.
  5. 제4항에 있어서,
    상대방에 대응되게 설정한 아바타와, 상기 아바타를 동작시키는 아바타 실행코드를 저장하는 저장부;를 더 포함하며,
    상기 단말제어부는 상기 상대방에 대응되는 아바타를 상기 저장부에서 호출하여 출력하고, 상기 판단한 감정상태에 대응하는 상기 아바타 실행코드를 상기 저장부에서 추출하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 단말기.
  6. 통신망을 매개로 발신 단말기와 착신 단말기 간에 영상 호 채널을 설정하여 영상통화가 개시되면, 아바타 제공서버가 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하는 아바타 전송 단계;
    상기 아바타 제공서버가 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상통화 데이터를 수신하는 수신 단계;
    상기 아바타 제공서버가 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 특정 제스처 및 상기 상대방이 출력하는 음성 중 음성의 높낮이와 감정을 표현하는 특정 단어 또는 특정 어구 중 어느 하나의 조합을 기초로 감정상태를 판단하는 판단 단계;
    상기 아바타 제공서버가 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하여 상기 아바타를 수신한 단말기로 전송하는 전송 단계;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  7. 제6항에 있어서, 상기 아바타 전송 단계는,
    상기 아바타 제공서버가 상기 아바타를 데이터베이스부에서 호출하거나 상기 상대방 단말기로부터 수신하여 상기 발신 단말기 또는 착신 단말기로 전송하는 것을 특징으로 상대방의 감정을 전달하는 영상통화 방법.
  8. 제6항에 있어서, 상기 판단 단계는,
    상기 아바타 제공서버가 상기 수신한 영상통화 데이터의 영상 데이터에서 상기 상대방의 제스처를 인식하고, 상기 수신한 영상통화 데이터의 음성 데이터에서 상기 상대방의 음성을 인식하는 단계;
    상기 아바타 제공서버가 상기 제스처 및 음성 인식으로 수집된 인식 값을 기준으로 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교하는 단계;
    상기 아바타 제공서버가 상기 비교 결과에 따라 상기 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 단계;를 포함하며,
    상기 전송 단계에서 상기 아바타 제공서버가 상기 결정된 기준 파라미터를 기반으로 상기 아바타 실행코드를 생성하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  9. 제6항에 있어서, 상기 판단 단계는,
    상기 아바타 제공서버가 상기 수신한 영상통화 데이터의 영상 데이터에서 상기 상대방의 제스처를 인식하고, 상기 수신한 영상통화 데이터의 음성 데이터에서 상기 상대방의 음성을 인식하는 단계;
    상기 아바타 제공서버가 상기 제스처 및 음성 인식으로 수집된 인식 값을 기준으로 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교하는 단계;
    상기 아바타 제공서버가 상기 비교 결과에 따라 상기 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 단계;를 포함하며,
    상기 전송 단계에서 상기 아바타 제공서버가 상기 아바타 실행코드를 상기 설정된 영상 호 채널, 데이터 통신 채널 및 메시지 서비스 채널 중 적어도 하나를 통하여 전송하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  10. 제6항에 있어서, 상기 아바타 전송 단계 이전에 수행되는,
    상기 아바타 제공서버가 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  11. 사용자 단말기가 상대방 단말기와 영상 호 채널을 설정하여 영상통화를 개시하면, 상기 상대방에 대응하는 아바타와 상기 상대방 단말기로부터 수신한 영상통화 데이터를 출력하는 출력 단계;
    상기 사용자 단말기가 상기 수신한 영상통화 데이터에서 상기 상대방이 취하는 특정 제스처 및 상기 상대방이 출력하는 음성 중 음성의 높낮이와 감정을 표현하는 특정 단어 또는 특정 어구 중 어느 하나의 조합을 기초로 감정상태를 판단하는 판단 단계;
    상기 사용자 단말기가 상기 판단한 감정상태에 대응하는 아바타 실행코드를 생성하는 생성 단계;
    상기 사용자 단말기가 상기 생성한 아바타 실행코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 조절 출력 단계;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  12. 제11항에 있어서, 상기 판단 단계에서,
    상기 사용자 단말기가 상기 수신한 영상통화 데이터의 영상 데이터에서 상기 상대방의 제스처를 인식하고, 상기 수신한 영상통화 데이터의 음성 데이터에서 상기 상대방의 음성을 인식하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  13. 제12항에 있어서, 상기 판단 단계는,
    상기 사용자 단말기가 제스처 및 음성 인식으로 수집된 인식 값을 기준으로 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교하는 단계;
    상기 사용자 단말기가 상기 비교 결과에 따라 상기 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 단계;를 포함하며,
    상기 생성 단계에서 상기 사용자 단말기가 상기 결정된 기준 파라미터를 기반으로 상기 아바타 실행코드를 생성하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  14. 제11항에 있어서, 상기 출력 단계는,
    상기 사용자 단말기가 상기 상대방 단말기와 영상통화를 개시하면, 상기 상대방에 대응하는 아바타가 저장부에 설정되어 있는 지를 판단하는 단계;
    상기 판단 결과 설정되어 있으면 상기 사용자 단말기가 상기 설정된 아바타를 호출하고, 상기 판단 결과 설정되어 있지 않으면 상기 사용자 단말기가 상기 저장부에서 일반 아바타를 호출하는 단계;
    상기 사용자 단말기가 상기 호출한 아바타와 상기 수신한 영상 데이터를 함께 출력하는 단계;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  15. 제11항에 있어서, 상기 출력 단계는,
    상기 사용자 단말기가 상기 상대방 단말기와 영상통화를 개시하면, 상기 상대방에 대응하는 아바타가 저장부에 설정되어 있는 지를 판단하는 단계;
    상기 판단 결과 설정되어 있으면 상기 사용자 단말기가 상기 설정된 아바타 를 호출하고, 상기 판단 결과 설정되어 있지 않으면 상기 사용자가 단말기가 상기 상대방 단말기로 상기 아바타를 요청하여 수신하는 단계;
    상기 사용자 단말기가 상기 아바타와 상기 수신한 영상 데이터를 함께 출력하는 단계;
    를 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  16. 제15항에 있어서, 상기 아바타를 요청하여 수신하는 단계에서,
    상기 사용자 단말기가 상기 상대방 단말기로부터 상기 아바타를 상기 설정된 영상 호 경로 또는 메시지 서비스 채널을 통하여 수신하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  17. 제15항에 있어서, 상기 출력 단계는,
    상기 사용자 단말기가 상기 수신한 아바타를 상기 상대방 단말기의 전화번호와 연결하는 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  18. 제11항에 있어서, 상기 출력 단계 또는 조절 출력 단계에서,
    상기 아바타는 상기 수신한 영상 데이터에 중첩되어 표시되거나 PIP(Picture In Picture) 형태로 출력되는 것을 특징으로 하는 상대방의 감정을 전달하는 영상 통화 방법.
  19. 제11항에 있어서, 상기 출력 단계 이전에 수행되는,
    상기 사용자 단말기가 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 상대방의 감정을 전달하는 영상통화 방법.
  20. 제6항 내지 제19항 중 어느 한 항에 있어서,
    상기 아바타는 상대방 감정상태를 대신하여 표현하는 그래픽 컨텐츠로서, 애니메이션 캐릭터, 동영상, 정지영상, UCC(User Created Contents), 이모티콘, 플래시(flash), 영상과 진동이 조합된 햅틱 컨텐츠 중에 하나를 포함하는 것을 특징으로 하는 영상통화 중 상대방의 감정을 전달하는 영상통화 방법.
  21. 제20항에 있어서,
    상기 특정 제스처는 상기 상대방의 감정상태와 관련된 얼굴표정, 손동작, 머리동작, 팔동작, 다리동작 및 이들의 조합 중에 적어도 하나의 제스처를 포함하는 것을 특징으로 하는 영상통화 중 상대방의 감정을 전달하는 영상통화 방법.
KR1020090083725A 2009-09-05 2009-09-05 상대방의 감정을 전달하는 영상통화 시스템 및 방법 KR101179465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090083725A KR101179465B1 (ko) 2009-09-05 2009-09-05 상대방의 감정을 전달하는 영상통화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090083725A KR101179465B1 (ko) 2009-09-05 2009-09-05 상대방의 감정을 전달하는 영상통화 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110025719A KR20110025719A (ko) 2011-03-11
KR101179465B1 true KR101179465B1 (ko) 2012-09-07

Family

ID=43933141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090083725A KR101179465B1 (ko) 2009-09-05 2009-09-05 상대방의 감정을 전달하는 영상통화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101179465B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987806B1 (ko) * 2012-11-08 2019-06-11 삼성전자주식회사 단말 장치 및 그 제어 방법
KR101449856B1 (ko) * 2013-06-18 2014-10-13 경희대학교 산학협력단 전화 통화의 사용자 감정 판단 방법
KR20210109202A (ko) * 2020-02-27 2021-09-06 삼성전자주식회사 제스쳐 입력에 대응하는 시각적 효과를 제공하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR20110025719A (ko) 2011-03-11

Similar Documents

Publication Publication Date Title
KR101189053B1 (ko) 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
KR101170338B1 (ko) 화상 통화 방법 및 시스템
US7486969B2 (en) Transmitting portable terminal
US9402057B2 (en) Interactive avatars for telecommunication systems
KR101533065B1 (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
CN106817349B (zh) 一种在通信过程中使通信界面产生动画效果的方法及装置
KR101205189B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
KR20210060196A (ko) 아바타 메시지 서비스를 제공하는 서버, 방법 및 사용자 단말
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN106649712B (zh) 输入表情信息的方法及装置
KR20110020131A (ko) 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
KR101179465B1 (ko) 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR101274471B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
CN112669416A (zh) 客服服务***、方法、装置、电子设备及存储介质
CN114374880B (zh) 联合直播方法、装置、电子设备及计算机可读存储介质
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
CN111292743B (zh) 语音交互方法及装置、电子设备
KR100736541B1 (ko) 개인 캐릭터의 온라인 통합 시스템
KR101189052B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
CN113050791A (zh) 交互方法、装置、电子设备及存储介质
CN112700783A (zh) 通讯的变声方法、终端设备和存储介质
JP2015115926A (ja) 携帯端末装置、読唇通信方法、及びプログラム
KR102380557B1 (ko) 인공지능 서비스를 인터페이싱하는 장치 및 방법
US20230351142A1 (en) Relationship graphs for artificial intelligence character models

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 7