KR20110012491A - 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 - Google Patents
영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 Download PDFInfo
- Publication number
- KR20110012491A KR20110012491A KR1020090070225A KR20090070225A KR20110012491A KR 20110012491 A KR20110012491 A KR 20110012491A KR 1020090070225 A KR1020090070225 A KR 1020090070225A KR 20090070225 A KR20090070225 A KR 20090070225A KR 20110012491 A KR20110012491 A KR 20110012491A
- Authority
- KR
- South Korea
- Prior art keywords
- message
- avatar
- terminal
- image data
- gesture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 38
- 239000000284 extract Substances 0.000 claims abstract description 24
- 230000002996 emotional effect Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 4
- 230000008451 emotion Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법에 관한 것으로서, 제1 단말이 카메라로부터 획득된 영상데이터를 분석하여 분석결과로부터 사용자의 제스처를 인식하고, 인식된 사용자의 제스처에 대응하는 아바타를 추출한 후 작성된 메시지와 추출된 아바타로 생성된 아바타 메시지를 제2 단말로 전송함으로써, 아바타를 이용하여 자신의 감정상태를 상대방에게 알릴 수 있는 효과가 있다.
영상데이터, 아바타, 메시지, 메시지전송, 감정상태, 문자메시지
Description
본 발명은 아바타를 이용한 메시지 전송 기술에 관한 것으로서, 보다 구체적으로, 제1 단말이 작성된 메시지와, 획득된 영상데이터로부터 인식되는 제스처에 대응하여 추출된 아바타를 이용하여 생성된 아바타 메시지를 제2 단말로 전송하는 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법에 관한 것이다.
이동통신 기술의 발전으로 인하여 단말이기를 이용해 시간과 장소에 방해받지 않고 음성 통화, 화상 통화 및 메시지를 이용한 대화 등 상대방과의 의사전달이 가능하게 되었다.
특히, 메시지를 이용한 상대방과의 대화는 음성 통화, 화상 통화보다 장소 등의 환경적인 요인에 대한 제약이 적어서 사용자들이 주로 사용하는 서비스이다.
그러나 음성 통화, 화상 통화의 경우 상대방의 목소리 또는 얼굴을 확인할 수 있기 때문에 타인의 감정을 고려하지 못함으로 인한 오해가 발생하는 일이 적지 만, 단문메시지, 장문메시지, 모바일 메신저를 이용한 메시지의 경우는 통화와는 달리 상대방의 목소리 또는 얼굴을 확인할 수 없기 때문에 타인의 감정을 고려하지 못함으로 인한 오해가 빈번하게 발생한다.
따라서 사용자들은 자신의 감정을 타인에게 표현할 수 있는 한글, 영문, 특수기호의 조합을 이용한 이모티콘 등을 메시지에 포함하여 타인에게 전송하지만, 이모티콘 등으로는 자신의 감정을 명확하게 전달하기 어렵고, 상대방 역시 사용자의 감정을 명확하게 확인할 수 없는 문제점이 존재한다.
이러한 종래의 문제점을 해결하기 위하여, 본 발명의 목적은 단말 사용자가 메시지 작성 시 사용자의 감정상태를 나타낼 수 있는 아바타를 메시지에 포함시켜 작성한 후 이를 타 단말로 전송하는 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 아바타가 포함된 메시지를 작성할 때, 카메라로부터 획득된 영상데이터를 분석하여 영상데이터 분석결과에 따라 아바타를 선택한 후 선택된 아바타와 작성된 메시지를 결합하여 전송하는 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법을 제공하기 위한 것이다.
이러한 목적을 달성하기 위하여, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템은 제1 단말 및 제2 단말과 연결되어 상기 각 단말 사이의 메시지 전송을 주관하는 메시지서버, 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 관리서버를 포함하는 것을 특징으로 한다.
아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 관리서버는 제1 단말, 제2 단말 및 메시지서버와 통신을 수행하는 송수신부, 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 제2 단말로 상기 아바타 메시지를 전송한 이후에 상기 제2 단말로부터 응답메시지 및 영상데이터가 수신되면 상기 영상데이터로부터 상기 제2 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 응답메시지와 결합하여 생성된 아바타 메시지를 상기 제1 단말로 전송하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 수신된 영상데이터를 분석하여 상기 영상데이터에 포함된 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 한다.
또한, 다수의 아바타를 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 단말은 메시지서버와 통신을 수행하는 통신부, 아바타 메시지에 포함할 메시지를 작성하고, 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고, 상기 작성된 메시지와 상기 추출된 아바타로 생성된 상기 아바타 메시지를 상기 메시지서버를 통해 제2 단말로 전송하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상데이터를 분석한 후 상기 영상데이터에 포함된 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포 함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 작성된 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 것을 특징으로 한다.
또한, 다수의 아바타를 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법은 관리서버가 제1 단말로부터 메시지 및 영상데이터를 수신하는 단계, 상기 관리서버가 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식하는 단계, 상기 관리서버가 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계, 상기 관리서버가 상기 메시지와 상기 아바타를 결합하여 아바타 메시지를 생성하는 단계, 상기 관리서버가 상기 아바타 메시지를 제2 단말로 전송하는 단계를 포함하는 것을 특징으로 한다.
아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법은 제1 단말이 아바타 메시지에 포함할 메시지를 작성하는 단계, 상기 제1 단말이 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식하는 단계, 상기 제1 단말이 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계, 상기 제1 단말이 상기 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 단계, 상기 제1 단말이 상기 아바타 메시지를 메시지서버를 통해 제2 단말로 전송하는 단계를 포함하는 것을 특징으로 한다.
이와 같이, 본 발명은 단말 사용자가 메시지 작성 시 사용자의 감정상태를 나타낼 수 있는 아바타를 메시지에 포함시켜 작성한 후 이를 타 단말로 전송함으로써, 아바타를 통해 상대방의 감정상태를 확인할 수 있고, 상대방과의 오해발생을 최소화할 수 있는 효과가 있다.
또한, 본 발명은 아바타가 포함된 메시지를 작성할 때, 카메라로부터 획득된 영상데이터를 분석하여 영상데이터 분석결과에 따라 아바타를 선택한 후 선택된 아바타와 작성된 메시지를 결합하여 전송함으로써, 사용자의 제스처에 따른 아바타를 이용하여 감정상태를 나타내는 것을 보다 수월하게 수행할 수 있는 효과가 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.
이하, 본 발명의 실시예에서 단말은 사용자에게 편의를 제공하기 위한 이동통신단말기, 개인정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone) 등의 무선단말일 수 있고, 개인용 컴퓨터(Personal Computer), 노트북 등의 유선단말일 수도 있다.
도 1은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도이다. 도 2는 도 1에 도시된 단말의 주요 구성을 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 영상데이터 및 아바타를 이용한 메시지 전송 시스템(100)은 제1 단말(10), 제2 단말(20), 메시지서버(30)를 포함한다.
제1 단말(10)은 아바타 메시지 작성메뉴에 진입하여 제2 단말(20)로 전송하고자 하는 메시지를 작성하고, 제1 단말(10)은 제1 단말(10)에 설치된 카메라를 활성화하여 영상데이터를 획득한다.
제1 단말(10)은 획득된 영상데이터를 분석하여, 영상데이터에 포함된 사용자의 제스처를 인식한다. 제1 단말(10)은 인식된 제스처에 따라 제스처에 대응되는 아바타를 추출하고, 작성된 메시지와 추출된 아바타를 결합하여 아바타 메시지(이하, 제1 메시지라 함)를 생성한다.
그리고 제1 단말(10)은 메시지서버(30)를 통해 생성된 제1 메시지를 제2 단말(20)로 전송한다. 이때, 제1 메시지는 문자메시지, 멀티미디어 메시지, 모바일 메신저를 이용한 메시지에 제1 단말(10)에 대한 발신자의 감정상태를 표시하는 아바타가 포함된 메시지를 의미한다.
아울러, 제1 단말(10)은 제2 단말(20)로부터 제1 메시지에 대한 답장인 제2 메시지가 수신되면 이를 출력하고 제2 메시지에 대한 답장작성이 선택되지 않으면 대기화면을 출력한다. 반대로, 제2 메시지에 대한 답장작성이 선택되면 제1 단말(10)은 제2 메시지에 대한 답장인 아바타 메시지를 작성한다.
제2 단말(20)은 제1 단말(10)에서 작성되어 메시지서버(30)를 통해 수신된 제1 메시지를 출력하고, 제1 메시지에 대한 답장작성을 위한 신호가 입력되면 제1 메시지에 대한 응답메시지를 작성하고, 제2 단말(20)에 설치된 카메라로부터 획득 된 영상데이터를 분석하여 제스처를 인식하고 이에 대응하는 아바타를 추출하여 추출된 아바타와 응답메시지를 제1 단말(10)로 전송한다.
이때, 제2 단말(20)은 설명의 편의를 위해 아바타 메시지를 작성하는 것으로 설명하고 있으나, 반드시 이에 한정되는 것은 아니며, 아바타가 포함되지 않은 메시지를 작성하여 제1 단말(10)로 전송할 수 있다.
이를 위해, 제2 단말(20)은 통신부(21), 입력부(22), 출력부(23), 카메라(24), 제1 저장부(25), 제1 제어부(26)를 포함한다.
통신부(21)는 제1 단말(10), 메시지서버(30)와의 통신을 수행한다. 통신부(21)는 메시지서버(30)를 통해 제1 단말(10)로부터 제1 메시지를 수신하고, 메시지서버(30)를 통해 제1 단말(10)로 제1 메시지의 답장인 제2 메시지를 전송한다.
입력부(22)는 제2 단말(20)의 동작을 제어하기 위하여 착신자로부터 입력된 키에 대응하는 신호를 제1 제어부(26)로 전송한다. 입력부(22)는 통상적인 키패드로 구성될 수 있고, 터치스크린, 터치패드 또는 스크롤 휠 등으로 구성될 수 있다.
특히, 입력부(22)는 제1 단말(10)로부터 수신된 제1 메시지에 대한 답장작성 신호를 입력받아 제1 제어부(26)로 제공하고, 착신자로부터 응답메시지를 입력받아 제1 제어부(26)로 제공한다.
출력부(23)는 제1 제어부(26)의 제어에 의해 제2 단말(20)에서 이루어지는 일련의 동작상태와 동작결과 및 다수의 정보를 표시한다. 이때, 출력부(23)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등의 디스플레이 장치, 스피커, 제2 단말(20)에 호가 착신되었을 경우 진동알림을 발생하기 위 한 진동센서를 포함하는 출력장치로 구성될 수 있다. 아울러, 출력부(23)가 터치스크린 등으로 구성될 경우 이는 입력부(22) 및 디스플레이 장치의 기능을 동시에 수행할 수 있다.
특히, 출력부(23)는 제1 제어부(26)의 제어에 의해 제1 단말(10)로부터 수신된 제1 메시지를 출력하고, 제1 메시지에 대한 응답메시지, 카메라(24)로부터 획득되는 영상데이터 등을 출력한다.
카메라(24)는 제1 제어부(26)의 제어에 의해 활성화되어 피사체에 대한 영상데이터를 획득한다. 카메라(24)는 피사체의 광 신호를 아날로그 신호로 변환하는 이미지 센서 및 아날로그 신호를 디지털 신호로 변환하는 신호처리부(미도시)를 포함한다. 즉, 카메라(24)는 렌즈를 통해 수집한 광 신호를 디지털 신호로 변환하여 영상데이터를 생성하고 이를 제1 제어부(26)로 제공한다.
제1 저장부(25)는 제1 제어부(26)의 제어에 의해 제2 단말(20)을 제어하기 위한 프로그램 등을 저장한다.
특히, 제1 저장부(25)는 카메라(24)로부터 획득된 영상데이터를 분석하기 위한 프로그램 및 분석된 영상데이터로부터 인식된 감정상태에 따라 추출할 수 있는 다수의 아바타를 감정상태와 매핑하여 저장한다.
예컨대, 제1 저장부(25)는 분석된 영상데이터에서 인식된 착신자의 표정, 손동작 등의 제스처가 즐거움을 나타내면 웃는 표정의 아바타 또는 뛰는 상태의 아바타를 추출하도록 착신자의 제스처와 아바타를 매핑 테이블로 저장한다.
제1 제어부(26)는 제2 단말(20)에서 이루어지는 전반적인 동작에 대한 제어 를 담당한다.
특히, 제1 제어부(26)는 통신부(21)를 통해 제1 단말(10)로부터 수신된 제1 메시지를 출력하도록 출력부(23)를 제어한다. 제1 제어부(26)는 입력부(22)로부터 출력된 제1 메시지에 대한 답장작성이 선택되면 응답메시지를 작성할 수 있는 화면을 출력부(23)에 출력한다.
제1 제어부(26)는 입력부(22)의 입력에 따라 응답메시지를 작성하고, 제1 제어부(26)는 카메라(24)를 활성화시켜 카메라(24)로부터 영상데이터를 획득한다.
제1 제어부(26)는 제1 저장부(25)에 저장된 영상데이터 분석 프로그램을 구동하여 획득된 영상데이터의 분석을 수행한다. 제1 제어부(26)는 영상데이터를 분석결과에 따라 착신자의 제스처를 인식한 후, 인식된 제스처에 매핑된 아바타를 추출한다.
제1 제어부(26)는 추출된 아바타와 작성된 응답메시지를 결합하여 제1 메시지에 대한 답장인 제2 메시지를 생성하고, 이를 제1 단말(10)로 전송하도록 통신부(21)를 제어한다.
이때, 제1 제어부(26)는 영상데이터를 분석할 때 영상데이터를 구성하는 다수의 프레임별로 착신자의 표정, 손동작 등의 제스처를 확인할 수 있는 좌표값을 확인한다. 그리고 제1 제어부(26)는 프레임별로 확인된 좌표값의 변화로부터 착신자의 제스처를 확인할 수 있다.
예를 들어, 제1 제어부(26)는 영상데이터에 착신자의 얼굴이 포함된 상태이면 착신자의 얼굴에서 입술, 눈썹, 눈꼬리 등 착신자의 표정을 확인할 수 있는 부 위의 특징점의 좌표값을 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 표정을 확인할 수 있다. 확인된 착신자의 표정이 즐거움을 나타내는 제스처이면 아바타를 웃는 표정으로 수정하거나, 뛰는 상태로 수정한다.
또한, 제1 제어부(26)는 영상데이터의 분석결과 영상데이터에 착신자의 손이 포함된 상태이면 착신자의 손에서 손가락의 움직임의 확인할 수 있는 특징점의 좌표값를 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 손동작을 확인할 수 있다. 확인된 착신자의 손동작이 즐거움을 나타내는 제스처이면 이에 대응되는 웃는 표정의 아바타를 추출하거나 뛰는 상태의 아바타를 추출할 수 있다.
반대로, 제1 제어부(26)는 입력부(22)로부터 제1 메시지에 대한 답장작성이선택되지 않으면 출력부(23)에 대기화면을 출력한다.
메시지서버(30)는 제1 단말(10)로부터 수신되는 제1 메시지를 제2 단말(20)로 전송하고, 제2 단말(20)로부터 수신되는 제2 메시지를 제1 단말(10)로 전송한다.
도 3은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도이다.
도 3을 참조하면, S61단계에서 제1 단말(10)은 아바타 메시지 작성메뉴에 진입하고, S63단계에서 제1 단말(10)은 외부의 입력에 따라 아바타 메시지에 포함할 메시지를 작성한다. S65단계에서 제1 단말(10)은 설치된 카메라를 활성화한다.
S67단계에서 제1 단말(10)은 카메라에서 획득된 영상데이터를 분석하고, S69단계에서 제1 단말(10)은 분석된 영상데이터에서 추출된 제스처를 인식한 후 S71단 계에서 제1 단말(10)은 추출된 제스처에 대응하는 아바타를 추출한다.
이후, S73단계에서 제1 단말(10)은 추출된 아바타와 S63단계에서 작성된 메시지를 결합하여 아바타 메시지인 제1 메시지를 생성하고, S75단계에서 제1 단말(10)은 생성된 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다.
S77단계에서 제2 단말(20)은 제1 단말(10)로부터 수신된 제1 메시지를 출력한다. 그리고 S79단계에서 제2 단말(20)은 수신된 제1 메시지에 대한 답장작성이 선택되면 S81단계로 진행하고, 답장작성이 선택되지 않으면 S101단계로 진행하여 대기화면을 출력한다.
이어서, S81단계에서 제2 단말(20)은 제1 메시지에 대한 응답메시지를 작성하고, S83단계에서 제2 단말(20)은 카메라(24)를 활성화한다.
S85단계에서 제2 단말(20)은 카메라(24)에서 획득된 영상데이터를 분석하고 S87단계에서 제2 단말(20)은 분석된 영상데이터에 포함된 착신자의 제스처를 인식한다.
이후, S89단계에서 제2 단말(20)은 인식된 제스처에 매핑되어 저장된 아바타를 추출하고 S91단계로 진행하고, S81단계에서 작성된 응답메시지와 추출된 아바타를 결합하여 제2 메시지를 생성한다.
S93단계에서 제2 단말(20)은 메시지서버(30)를 통해 생성된 제2 메시지를 제1 단말(10)로 전송한다.
S95단계에서 제1 단말(10)은 제2 단말(20)로부터 수신된 제2 메시지를 출력하고 S97단계에서 제2 단말(20)로부터 수신된 제2 메시지에 대한 답장전송이 선택 되면 S63단계로 회귀한다.
반대로, S97단계에서 제2 단말(20)로부터 수신된 제2 메시지에 대한 답장전송이 선택되지 않으면 제1 단말(10)은 S99단계로 진행하여 대기화면을 출력한다.
도 4는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도이다.
도 4를 참조하면, 영상데이터 및 아바타를 이용한 메시지 전송 시스템(200)은 제1 단말(10), 제2 단말(20), 메시지서버(30), 관리서버(40), 통신망(50)을 포함한다.
제1 단말(10)은 아바타 메시지 작성메뉴에 진입하여 발신자의 입력에 따라 제2 단말(20)로 전송하고자 하는 메시지를 작성하고, 설치된 카메라를 활성화하여 영상데이터를 획득한다.
제1 단말(10)은 관리서버(40)에서 영상데이터를 분석하고, 분석결과에 대응하는 아바타를 추출한 후 메시지와 결합하여 생성된 아바타 메시지(이하, 제1 메시지라 함)를 제2 단말(20)로 전송하도록 작성된 메시지와 영상데이터를 관리서버(40)로 전송한다.
제2 단말(20)은 관리서버(40)에서 수신된 제1 메시지를 출력하고, 착신자로부터 제1 메시지에 대한 답장작성신호가 입력되지 않으면 대기화면을 출력한다.
반대로, 제2 단말(20)은 제1 메시지에 대한 답장작성신호가 입력되면 제1 메시지에 대한 답장인 응답메시지를 작성하고, 카메라를 활성화하여 획득된 영상데이터를 관리서버(40)로 전송한다.
이는 관리서버(40)에서 영상데이터의 분석결과에 대응하는 아바타를 추출하고, 응답메시지와 결합하여 제2 메시지를 생성한 후 제1 단말(10)로 전송하도록 하기 위함이다.
메시지서버(30)는 도 1에서 설명한 메시지서버(30)와 동일한 기능을 수행하므로 상세한 설명을 생략한다.
관리서버(40)는 제1 단말(10)로부터 수신된 영상데이터로부터 인식된 발신자의 제스처에 대응하는 아바타를 추출하고, 제1 단말(10)로부터 수신된 메시지와 아바타를 결합하여 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다. 그리고 관리서버(40)는 제2 단말(20)로부터 수신된 영상데이터로부터 인식된 착신자의 제스처에 대응하는 아바타를 추출하고, 제2 단말(20)로부터 수신된 응답메시지와 아바타를 결합하여 생성된 제1 메시지에 대한 답장인 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다.
이를 위해, 관리서버(40)는 송수신부(41), 제2 저장부(42), 제2 제어부(43)를 포함한다.
송수신부(41)는 제1 단말(10), 제2 단말(20), 메시지서버(30)와의 통신을 수행한다.
제2 저장부(42)는 제2 제어부(43)의 제어에 의해 관리서버(40)를 제어하기 위한 프로그램 등을 저장한다.
특히, 제2 저장부(42)는 제1 단말(10), 제2 단말(20)로부터 수신된 영상데이터를 분석하기 위한 프로그램을 저장하고, 영상데이터로부터 인식된 제스처에 대응 되는 다수의 아바타를 저장한다.
제2 제어부(43)는 관리서버(40)에서 이루어지는 전반적인 동작에 대한 제어를 담당한다.
특히, 제2 제어부(43)는 제1 단말(10)로부터 메시지와 영상데이터가 수신되면 수신된 영상데이터를 분석하여 영상데이터에 포함된 발신자의 제스처를 인식하고, 인식된 제스처에 대응하는 아바타를 추출한다.
제2 제어부(43)는 추출된 아바타와 메시지를 결합하여 제1 메시지를 생성하고, 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다.
제2 제어부(43)는 제1 메시지를 제2 단말(20)로 전송한 이후에 메시지서버(30)를 통해 제2 단말(20)로부터 제1 메시지에 대한 응답메시지와 영상데이터가 수신되면 제1 메시지에 대한 답장인 제2 메시지를 생성한다.
이때, 제2 제어부(43)는 제2 단말(20)로부터 수신된 영상데이터를 분석하여 영상데이터에 포함된 발신자의 제스처를 인식하고, 인식된 제스처에 대응하는 아바타를 추출한다. 그리고 제2 제어부(43)는 추출된 제스처와 응답메시지를 결합하여 제2 메시지를 생성한다.
그리고 제2 제어부(43)는 생성된 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다.
보다 구체적으로, 제2 제어부(43)는 영상데이터를 분석하여 영상데이터에 포함된 착신자의 제스처를 추출한다. 제2 제어부(43)는 영상데이터를 구성하는 다수의 프레임으로부터 착신자의 표정, 손동작 등의 제스처를 확인할 수 있는 좌표값을 확인한다. 그리고 제2 제어부(43)는 프레임별로 확인된 좌표값의 변화로부터 착신자의 제스처를 인식할 수 있다.
예를 들어, 제2 제어부(43)는 영상데이터에 착신자의 얼굴이 포함된 상태이면 착신자의 얼굴에서 입술, 눈썹, 눈꼬리 등 착신자의 표정을 확인할 수 있는 부위의 특징점의 좌표값을 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 표정을 확인할 수 있다. 확인된 착신자의 표정이 즐거움을 나타내는 제스처이면 웃는 표정의 아바타를 추출하거나, 뛰는 상태의 아바타를 추출한다.
또한, 제2 제어부(43)는 영상데이터에 착신자의 손이 포함된 상태이면 착신자의 손에서 손가락의 움직임의 확인할 수 있는 특징점의 좌표값를 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 손동작을 확인할 수 있다. 확인된 착신자의 손동작이 즐거움을 나타내는 제스처이면 웃는 표정의 아바타를 추출하거나, 뛰는 상태의 아바타를 추출한다.
그리고 제2 제어부(43)는 생성된 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다.
통신망(50)은 제1 단말(10), 제2 단말(20), 메시지서버(30)와 관리서버(40)사이의 통신로를 연결하여 통신이 가능하게 한다.
도 5는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도이다.
도 5를 참조하면, S111단계에서 제1 단말(10)은 아바타 메시지 작성메뉴로 진입하고, S113단계에서 제1 단말(10)은 아바타 메시지에 포함할 메시지를 작성한 다.
S115단계에서 제1 단말(10)은 제1 단말(10)에 설치된 카메라를 활성화하여 영상데이터를 획득하고 S117단계에서 제1 단말(10)은 작성된 메시지와 획득된 영상데이터를 관리서버(40)로 전송한다.
이어서, S119단계에서 관리서버(40)는 수신된 영상데이터를 분석하고, S121단계에서 관리서버(40)는 분석된 영상데이터에 포함된 발신자의 제스처를 인식한다.
S123단계에서 관리서버(40)는 인식된 제스처에 대응되는 아바타를 추출하고 S125단계에서 관리서버(40)는 추출된 아바타와 작성된 메시지를 결합하여 제1 메시지를 생성한 후 S127단계에서 관리서버(40)는 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다.
이후, S129단계에서 제1 메시지를 수신한 제2 단말(20)은 제1 메시지를 출력하고, S131단계에서 제2 단말(20)은 외부로부터 제1 메시지에 대한 답장작성이 입력되면 S133단계로 진행하고, 답장작성이 입력되지 않으면 S159단계로 진행하여 대기화면을 출력한다.
S133단계에서 제2 단말(20)은 외부의 입력에 의해 제1 메시지에 대한 답장인 제2 메시지에 포함될 응답메시지를 작성하고, S135단계에서 제2 단말(20)에 설치된 카메라를 활성화하여 영상데이터를 획득한다.
S137단계에서 제2 단말(20)은 작성된 응답메시지와 획득된 영상데이터를 관리서버(40)로 전송한다.
이어서, S139단계에서 관리서버(40)는 수신된 영상데이터를 분석하고, S141단계에서 관리서버(40)는 분석된 영상데이터에 포함된 발신자의 제스처를 인식한다.
S143단계에서 관리서버(40)는 인식된 제스처에 대응되는 아바타를 추출하고 S145단계에서 관리서버(40)는 추출된 아바타와 작성된 응답메시지를 결합하여 제2 메시지를 생성한 후 S147단계에서 관리서버(40)는 생성된 제2 메시지를 메시지서버(30)로 전송한다. 그리고 S149단계에서 메시지서버(30)는 수신된 제2 메시지를 제2 단말(20)로 전송한다.
이후, S151단계에서 제1 단말(10)은 수신된 제2 메시지를 출력하고, S153단계에서 제1 단말(10)은 외부로부터 제2 메시지에 대한 답장작성이 선택되면 S113단계로 진행하여 상기의 단계들을 재수행하고, 답장작성이 선택되지 않으면 제1 단말(10)은 S155단계로 진행하여 대기화면을 출력한다.
이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
본 발명은 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법에 관한 것으로, 제1 단말이 제2 단말로 전송하고자 하는 메시지 작성 시에 카메라를 통해 획득된 영상데이터로부터 인식된 사용자의 제스처에 대응되는 아바타를 메시지에 포함한 후 제2 단말로 전송함으로써, 자신의 감정을 아바타에 적용하여 상대방에게 효과적으로 감정상태를 전달할 수 있다.
도 1은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도
도 2는 도 1에 도시된 단말의 주요 구성을 나타낸 블록도
도 3은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도
도 4는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도
도 5는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도
<도면의 주요부분에 대한 설명>
10: 제1 단말 20: 제2 단말
21: 통신부 2: 입력부
23: 출력부 4: 카메라
25: 제1 저장부 26: 제1 제어부
30: 메시지서버 100, 200: 메시지 전송 시스템
Claims (11)
- 제1 단말 및 제2 단말과 연결되어 상기 각 단말 사이의 메시지 전송을 주관하는 메시지서버;상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 관리서버;를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 시스템.
- 제1 단말, 제2 단말 및 메시지서버와 통신을 수행하는 송수신부;상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 제어부;를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버.
- 제2항에 있어서,상기 제어부는상기 제2 단말로 상기 아바타 메시지를 전송한 이후에 상기 제2 단말로부터 응답메시지 및 영상데이터가 수신되면 상기 영상데이터로부터 상기 제2 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 응답메시지와 결합하여 생성된 아바타 메시지를 상기 제1 단말로 전송하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버.
- 제2항 또는 제3항에 있어서,상기 제어부는상기 수신된 영상데이터를 분석하여 상기 영상데이터에 포함된 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버.
- 제2항에 있어서,다수의 아바타를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버.
- 메시지서버와 통신을 수행하는 통신부;아바타 메시지에 포함할 메시지를 작성하고, 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고, 상기 작성된 메시지와 상기 추출된 아바타로 생성된 상기 아바타 메시지를 상기 메시지서버를 통해 제2 단말로 전송하는 제어부;를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.
- 제6항에 있어서,상기 제어부는상기 영상데이터를 분석한 후 상기 영상데이터에 포함된 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.
- 제7항에 있어서,상기 제어부는상기 작성된 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.
- 제6항에 있어서,다수의 아바타를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.
- 관리서버가 제1 단말로부터 메시지 및 영상데이터를 수신하는 단계;상기 관리서버가 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식하는 단계;상기 관리서버가 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계;상기 관리서버가 상기 메시지와 상기 아바타를 결합하여 아바타 메시지를 생성하는 단계;상기 관리서버가 상기 아바타 메시지를 제2 단말로 전송하는 단계;를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 방법.
- 제1 단말이 아바타 메시지에 포함할 메시지를 작성하는 단계;상기 제1 단말이 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식하는 단계;상기 제1 단말이 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계;상기 제1 단말이 상기 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 단계;상기 제1 단말이 상기 아바타 메시지를 메시지서버를 통해 제2 단말로 전송하는 단계;를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090070225A KR20110012491A (ko) | 2009-07-30 | 2009-07-30 | 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090070225A KR20110012491A (ko) | 2009-07-30 | 2009-07-30 | 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20110012491A true KR20110012491A (ko) | 2011-02-09 |
Family
ID=43772404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090070225A KR20110012491A (ko) | 2009-07-30 | 2009-07-30 | 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20110012491A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101285076B1 (ko) * | 2011-09-09 | 2013-07-17 | 동국대학교 산학협력단 | 인간의 행동을 모방하는 가상 객체를 이용한 통신 방법 및 그 방법에 따른 통신 시스템 |
| KR101312771B1 (ko) * | 2011-12-14 | 2013-09-27 | 건국대학교 산학협력단 | 아바타를 사용한 영상 채팅 장치 및 방법 |
| US9239949B2 (en) | 2013-01-07 | 2016-01-19 | Samsung Electronics Co., Ltd. | Method for user function operation based on face recognition and mobile terminal supporting the same |
| KR20190052584A (ko) * | 2017-11-08 | 2019-05-16 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 및 서버 |
| US10554698B2 (en) | 2017-12-28 | 2020-02-04 | Hyperconnect, Inc. | Terminal and server providing video call service |
| CN116684370A (zh) * | 2016-10-24 | 2023-09-01 | 斯纳普公司 | 在电子消息中生成并显示定制化身 |
-
2009
- 2009-07-30 KR KR1020090070225A patent/KR20110012491A/ko not_active Application Discontinuation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101285076B1 (ko) * | 2011-09-09 | 2013-07-17 | 동국대학교 산학협력단 | 인간의 행동을 모방하는 가상 객체를 이용한 통신 방법 및 그 방법에 따른 통신 시스템 |
| KR101312771B1 (ko) * | 2011-12-14 | 2013-09-27 | 건국대학교 산학협력단 | 아바타를 사용한 영상 채팅 장치 및 방법 |
| US9239949B2 (en) | 2013-01-07 | 2016-01-19 | Samsung Electronics Co., Ltd. | Method for user function operation based on face recognition and mobile terminal supporting the same |
| CN116684370A (zh) * | 2016-10-24 | 2023-09-01 | 斯纳普公司 | 在电子消息中生成并显示定制化身 |
| KR20190052584A (ko) * | 2017-11-08 | 2019-05-16 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 및 서버 |
| US10554698B2 (en) | 2017-12-28 | 2020-02-04 | Hyperconnect, Inc. | Terminal and server providing video call service |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102044241B1 (ko) | 영상 통화 서비스를 제공하는 단말 | |
| US11405678B2 (en) | Live streaming interactive method, apparatus, electronic device, server and storage medium | |
| US8373799B2 (en) | Visual effects for video calls | |
| CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和*** | |
| US20100177116A1 (en) | Method and arrangement for handling non-textual information | |
| US20140351720A1 (en) | Method, user terminal and server for information exchange in communications | |
| KR20180057366A (ko) | 이동 단말기 및 그 제어방법 | |
| CN112041791B (zh) | 一种显示输入法虚拟键盘的方法及终端 | |
| CN105630846B (zh) | 头像更新方法及装置 | |
| US11699360B2 (en) | Automated real time interpreter service | |
| CN103529934A (zh) | 用于处理多个输入的方法和装置 | |
| KR102034838B1 (ko) | 영상 통화 서비스를 제공하는 단말과 서버 | |
| KR20110012491A (ko) | 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 | |
| WO2018186416A1 (ja) | 翻訳処理方法、翻訳処理プログラム、及び、記録媒体 | |
| KR20150128386A (ko) | 디스플레이 장치 및 그의 화상 통화 수행 방법 | |
| KR20150044830A (ko) | 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치 | |
| KR20180080986A (ko) | 머신 러닝 기반의 인공지능 이모티콘 서비스 제공 시스템 | |
| CN110311856A (zh) | 即时通信方法、设备及计算机可读存储介质 | |
| CN108600079B (zh) | 一种聊天记录展示方法及移动终端 | |
| KR20140116642A (ko) | 음성 인식 기반의 기능 제어 방법 및 장치 | |
| CN112764600B (zh) | 资源处理方法、装置、存储介质及计算机设备 | |
| CN115131789A (zh) | 文字识别方法、设备及存储介质 | |
| CN114630135A (zh) | 一种直播互动方法及装置 | |
| KR20180080987A (ko) | 머신 러닝 기반의 인공지능 이모티콘 서비스 제공 방법 | |
| CN111178305A (zh) | 信息显示方法及头戴式电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E601 | Decision to refuse application |