KR20120136966A - 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기 - Google Patents

비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기 Download PDF

Info

Publication number
KR20120136966A
KR20120136966A KR1020110056211A KR20110056211A KR20120136966A KR 20120136966 A KR20120136966 A KR 20120136966A KR 1020110056211 A KR1020110056211 A KR 1020110056211A KR 20110056211 A KR20110056211 A KR 20110056211A KR 20120136966 A KR20120136966 A KR 20120136966A
Authority
KR
South Korea
Prior art keywords
terminal
visual object
data
service device
visual
Prior art date
Application number
KR1020110056211A
Other languages
English (en)
Inventor
최윤정
김후종
이은복
정준용
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110056211A priority Critical patent/KR20120136966A/ko
Publication of KR20120136966A publication Critical patent/KR20120136966A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기에 관한 것으로, 각자의 사용자가 선택한 두 종류의 비주얼 객체가 연동되어 서로의 감정을 시각적으로 표현함으로써, 비주얼 객체를 이용하여 상대방과 감정을 교류하여 보다 친숙하게 서로를 표현할 수 있고, 터치 동작 또는 마이크를 통해 입력되는 사용자의 음성에 따라 비주얼 객체의 얼굴 표정을 변화하여 자연스럽고 섬세하게 비주얼 객체의 얼굴 표정을 표현할 수 있고, 현실 세계와 유사한 가상의 공간을 배경으로 제공하고, 가상의 공간에서 일어나는 다양한 의사 표현, 행동 또는 반응에 따라 자기 또는 상대방의 비주얼 객체의 동작을 변화하여 단말기 사용에 대한 새로운 흥미거리와 다양한 대화를 유도할 수 있고, 개인이 만든 비주얼 객체에 대한 어플리케이션을 온라인 상에 유통할 수 있어 적극적인 커뮤니케이션 및 마케팅 활동에 이용될 수 있다.

Description

비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기{Method for express emotion through visual object, system and terminal thereof}
본 발명은 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기에 관한 것으로, 더욱 상세하게는 각자의 사용자가 선택한 두 종류의 비주얼 객체가 연동되어 서로의 감정을 시각적으로 표현하는 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기에 관한 것이다.
이동통신망의 발달과 단말기 사양의 발전에 따라 종래의 단순한 통신장치 또는 정보 제공 장치의 범주를 벗어나 이동통신단말기는 현대인의 필수 소지품이 되었고, 토탈 엔터테인먼트 기기로 진화해 가고 있는 추세에 있다.
특히, 급속한 컴퓨터 연산 기능 및 그래픽 처리 능력의 발전과 고속 인터넷 선로의 대중화에 따라 다양한 3차원 온라인 어플리케이션이 일반화되었으며, 특정한 목적을 달성해야 하는 어플리케이션과 달리 실제 생활 공간의 3차원 구현과 이를 통한 가상현실 체험을 위한 새로운 개념의 서비스도 상용화되어 점차 규모를 넓혀가고 있다. 이러한 어플리케이션은 다양한 서비스 환경이 혼재된 특성 상 사용자들에게 흥미를 유발할 수 있는 다양한 기능을 제공하고, 실생활의 즐거움을 가상 공간에 접목하여 다양한 서비스로서 활용되고 있다.
이에 따라, 생활형 가상 현실 서비스에 대한 초기 인상이나 활용상의 만족도를 좌우하는 요소 중 하나로 아바타에 대한 사용자의 몰입성이 늘어 가고 있다. 일반적으로 사용자는 아바타가 자신과 동일하다고 느낄 수록 해당 서비스에 대한 몰입성과 충성도가 높아지게 되며 만족도 역시 높아지게 된다. 또한, 사용자의 아바타가 항상 서비스의 중심에서 표현되는 경우, 아바타의 형태, 구성의 다양성 및 액션의 자연스러움은 가상 공간 상에서 자신을 대신하는 아바타에 대한 몰입 정도를 결정하는 주요한 요인이 된다. 널리 알려진 바와 같이, 아바타는 자신의 분신 또는 화신의 의미를 가지기 때문에 자신을 유사하게 표현하거나 자신이 이상적이라 생각하는 이상형을 표현하는 것이 바람직하므로 최근 아바타 구현 방식은 실물에 근접하게 아바타의 외관을 제공하는 방식과 이상적인 외관의 기본 형태를 약간씩 변형하도록 한 외관을 제공하는 방식이 많이 개발되고 있다.
본 발명의 목적은 단말기가 어플리케이션을 실행하고, 사용자의 입력에 따라 선택되는 비주얼 객체를 화면에 표시하고, 비주얼 객체를 제어하기 위한 명령에 따라 해당되는 동작을 표현함과 동시에 해당되는 비주얼 객체 정보를 다른 단말기로 전송하여 비주얼 객체를 통한 감정을 공유할 수 있는 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 그의 단말기를 제공하고자 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 시스템은 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하고, 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 서비스장치로 전송하고, 서비스장치로부터 수신되는 비주얼 객체 정보에 따라 비주얼 객체의 동작 및 상태를 제어하는 제1단말기와, 제1단말기 및 제2단말기의 요청에 따라 어플리케이션을 제공하고, 제1단말기로부터 수신되는 동작데이터를 제2단말기로 전송하고, 제2단말기로부터 동작데이터에 연관된 피드백 데이터를 수신하고, 피드백 데이터를 통해 비주얼 객체 정보를 추출하고, 비주얼 객체 정보를 제1단말기로 전송하는 서비스장치 및 제1단말기와 비주얼 객체에 대한 데이터를 공유하고, 서비스장치로부터 동작데이터를 수신하고, 동작데이터에 연관된 피드백 데이터를 생성하고, 피드백 데이터를 서비스장치로 전송하는 제2단말기를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 단말기는 서비스장치와 어플리케이션에 대한 데이터를 송수신하는 단말통신부와, 다수의 비주얼 객체에 대한 동작을 시각적으로 표시하는 표시부 및 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하고, 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 서비스장치로 전송하고, 서비스장치로부터 수신되는 비주얼 객체 정보에 따라 비주얼 객체의 동작 및 상태를 제어하는 단말제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 비주얼 객체가 표시되는 화면에 입력되는 터치신호를 감지하고, 터치신호에 연관된 동작데이터를 추출하는 것을 특징으로 한다.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 기능버튼 중 적어도 하나를 선택하고, 기능버튼에 연관된 비주얼 객체의 동작데이터를 추출하는 것을 특징으로 한다.
또한, 본 발명에 따른 단말기에 있어서, 사용자 음성 및 주변환경에 대한 소리를 감지하는 마이크를 구비하는 오디오처리부 및 사용자의 주변환경, 동작 또는 표정을 감지하는 센서부 중 적어도 하나를 더 포함하며, 단말제어부는 오디오처리부를 통해 입력되는 신호를 감지하고, 신호에 연관된 비주얼 객체의 동작데이터를 추출하는 것을 특징으로 한다.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 서비스장치로부터 동작데이터를 수신하여 확인하고, 동작데이터에 대응하는 피드백 데이터를 서비스장치로 전송하는 것을 특징으로 한다.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 센서부를 통해 사용자의 주변환경, 동작 또는 표정을 인식하고, 인식 결과에 대한 동작데이터를 추출하고, 추출된 동작데이터에 연관된 피드백 데이터를 생성하고, 피드백 데이터를 서비스장치로 전송하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 서비스장치는 다수의 단말기와 어플리케이션 실행에 따른 데이터를 송수신하는 서비스통신부와, 어플리케이션을 실행하기 위한 데이터를 저장하는 서비스저장부 및 다수의 단말기의 요청에 따라 어플리케이션을 제공하고, 하나의 단말기로부터 수신되는 동작데이터를 다른 단말기로 전송하고, 다른 단말기로부터 동작데이터에 연관된 피드백 데이터를 수신하고, 피드백 데이터를 통해 비주얼 객체 정보를 추출하고, 비주얼 객체 정보를 하나의 단말기로 전송하도록 제어하는 서비스제어부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법은 단말기가 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하는 단계와, 단말기가 비주얼 객체를 제어하기 위한 신호를 감지하는 단계와, 단말기가 신호에 따라 해당되는 동작데이터를 추출하는 단계와, 단말기가 동작데이터를 서비스장치로 전송하는 단계와, 단말기가 서비스장치로부터 동작데이터에 연관된 비주얼 객체 정보를 수신하는 단계 및 단말기가 비주얼 객체 정보에 따라 비주얼 객체의 동작 및 상태를 제어하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법은 단말기가 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계와, 단말기가 비주얼 객체를 서비스장치에 등록하고, 다른 단말기와 비주얼 객체에 대한 데이터를 공유하는 단계와, 단말기가 서비스장치로부터 동작데이터를 수신하는 단계와, 단말기가 동작데이터를 확인하고, 동작데이터에 연관된 피드백 데이터를 생성하는 단계 및 단말기가 피드백 데이터를 서비스장치로 전송하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 과제 해결을 위한 또 다른 수단으로서, 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계와, 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 추출하는 단계 및 동작데이터를 연관된 비주얼 객체 정보에 따라 비주얼 객체의 동작 및 상태를 제어하는 단계를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.
또한, 본 발명은 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계와, 비주얼 객체에 대한 데이터를 공유하는 단계 및 동작데이터를 수신하여 확인하고, 동작데이터에 연관된 피드백 데이터를 생성하는 단계를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명에 따르면, 비주얼 객체를 이용하여 상대방과 감정 교류를 함으로써, 보다 친숙하게 서로를 표현할 수 있다.
또한, 터치 동작 또는 마이크를 통해 입력되는 사용자의 음성에 따라 비주얼 객체의 얼굴 표정을 변화하여 자연스럽고 섬세하게 표현할 수 있다.
또한, 현실 세계와 유사한 가상의 공간을 배경으로 제공하고, 가상의 공간에서 일어나는 다양한 의사 표현, 행동 또는 반응에 따라 자기 또는 상대방의 비주얼 객체의 동작을 변화하여 단말기 사용에 대한 새로운 흥미거리와 다양한 대화를 유도할 수 있다.
또한, 개인이 만든 비주얼 객체에 대한 어플리케이션을 온라인 상에 유통할 수 있어 적극적인 커뮤니케이션 및 마케팅 활동에 이용될 수 있다.
도 1은 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 시스템을 나타내는 구성도이다.
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 나타내는 블록도 이다.
도 3은 본 발명의 실시 예에 따른 서비스장치의 구성을 나타내는 블록도 이다.
도 4는 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름도이다.
도 5는 본 발명의 실시 예에 따른 제1단말기의 동작을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 제2단말기의 동작을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 서비스장치의 동작을 설명하기 위한 흐름도이다.
도 8은 본 발명의 다른 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름도이다.
도 9a 내지 도 12는 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 설명하기 위한 예시도 이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하에서는 본 발명의 실시 예에 따른 단말기는 통신망에 연결되어 비주얼 객체를 제공하는 어플리케이션을 실행하고, 어플리케이션 중 비주얼 객체의 동작에 대한 데이터를 송수신할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 또한, 단말기는 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기일 때 유리하게 활용될 수 있다.
도 1은 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 시스템을 나타내는 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 시스템(100)은 제1단말기(10), 제2단말기(20), 서비스장치(30) 및 통신망(40)을 포함한다.
본 발명의 실시 예에 따른 비주얼 객체는 사람, 동물 또는 가상의 생물 등을 가상화하여 나타낸 2D(Dimension)/3D 아바타, 이모티콘, 애니메이션과 같이 사용자정보를 시각화하여 나타낸 객체가 될 수 있다. 여기서, 사용자정보는 환경, 감정, 위치, 상태 및 동작에 따라 변경될 수 있다.
본 발명의 실시 예에 따른 제2단말기(20)는 제1단말기(10)와 서비스장치(30)를 통해 비주얼 객체를 서로 연동하여 어플리케이션을 실행하는 단말기로서, 비주얼 객체의 동작에 대한 피드백 데이터를 제1단말기(10)로 전송하는 단말기가 될 수 있다. 또한, 제1단말기(10)는 제2단말기(20)와 서비스장치(30)를 통해 비주얼 객체를 서로 연동하여 어플리케이션을 실행하는 단말기로서, 비주얼 객체의 동작에 해당되는 비주얼 객체 정보를 서비스장치(30)로부터 수신하여 비주얼 객체의 동작을 표시하는 단말기가 될 수 있다. 하지만, 상기에 제시된 제1단말기(10)와 제2단말기(20)의 동작은 설명의 편의를 위해 구분된 것일 뿐, 제시된 동작에 제한된 것이 아니다. 즉, 제1단말기(10)가 제2단말기(20)의 동작을 수행하거나, 제2단말기(20)가 제1단말기(10)의 동작을 수행할 수도 있다.
제1단말기(10)는 통신망(40)을 통해 서비스장치(30)에 접속할 수 있다. 여기서, 제1단말기(10)는 통신망(40)으로의 접속을 지원하는 프로토콜에 따라 다양한 방식으로 서비스장치(30)에 접속할 수 있다. 특히, 제1단말기(10)는 어플리케이션을 실행하고, 사용자의 입력에 따라 비주얼 객체를 선택한다. 이때, 제1단말기(10)는 비주얼 객체를 서비스장치(30)에 등록하고, 제2단말기(20)와 비주얼 객체에 대한 데이터를 공유한다.
제1단말기(10)는 선택된 비주얼 객체를 화면에 시각적으로 표시하고, 화면에 표시된 비주얼 객체를 제어하기 위한 명령에 따라 해당되는 동작을 표현한다. 그리고, 제1단말기(10)는 해당되는 동작에 상응하는 데이터를 서비스장치(30)로 전송한다. 이후, 제1단말기(10)는 서비스장치(30)로부터 제2단말기(20)로부터 생성된 피드백 데이터에 대한 비주얼 객체 정보를 수신하고, 비주얼 객체 정보에 따라 비주얼 객체를 표시할 수 있다.
제2단말기(20)는 통신망(40)을 통해 서비스장치(30)에 접속할 수 있다. 여기서, 제2단말기(20)는 통신망(40)으로의 접속을 지원하는 프로토콜에 따라 다양한 방식으로 서비스장치(30)에 접속할 수 있다. 특히, 제2단말기(20)는 서비스장치(30)로부터 비주얼 객체의 동작에 대한 데이터를 수신하고, 이를 확인하여 해당되는 데이터에 대응하는 피드백 데이터를 생성하여 서비스장치(30)로 전송한다.
서비스장치(30)는 통신망(40)을 통해 제1단말기(10)와 제2단말기(20)로 비주얼 객체에 대한 어플리케이션을 제공한다. 특히, 서비스장치(30)는 제1단말기(10)로부터 비주얼 객체의 동작에 대한 데이터를 수신하여 제2단말기(20)로 전송한다. 그리고 나서, 서비스장치(30)는 제2단말기(20)로부터 수신되는 비주얼 객체의 동작에 대한 피드백 데이터를 확인하여, 비주얼 객체 정보를 추출한다. 여기서, 서비스장치(30)는 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다.
이를 통해, 비주얼 객체를 이용하여 상대방과 감정 교류를 함으로써, 보다 친숙하게 서로를 표현할 수 있다. 또한, 터치 동작 또는 마이크를 통해 입력되는 사용자의 음성에 따라 비주얼 객체의 얼굴 표정을 변화하여 자연스럽고 섬세하게 표현할 수 있다. 또한, 현실 세계와 유사한 가상의 공간을 배경으로 제공하고, 가상의 공간에서 일어나는 다양한 의사 표현, 행동 또는 반응에 따라 자기 또는 상대방의 비주얼 객체의 동작을 변화하여 단말기 사용에 대한 새로운 흥미거리와 다양한 대화를 유도할 수 있다. 또한, 개인이 만든 비주얼 객체에 대한 어플리케이션을 온라인 상에 유통할 수 있어 적극적인 커뮤니케이션 및 마케팅 활동에 이용될 수 있다.
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 나타내는 블록도 이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 단말기(10,20)는 단말제어부(11), 입력부(12), 단말저장부(13), 오디오처리부(14), 단말통신부(15), 표시부(16), 센서부(17) 및 카메라부(18)로 구성된다. 이때, 단말제어부(11)는 비주얼 객체 제어모듈(11a), 음성인식모듈(11b) 및 동작인식모듈(11c)를 포함하고, 단말저장부(13)는 비주얼 객체 어플리케이션(13a), 비주얼 객체 DB(13b), 음성데이터 DB(13c) 및 동작데이터 DB(13d)를 포함한다.
단말제어부(11)는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예컨대, 단말제어부(11)는 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다. 단말제어부(11)는 단말기(10, 20)의 전원이 켜지면, 운영 체제를 보조 기억 장치로부터 주 기억 장치로 이동시킨 후, 운영 체제를 구동하기 위한 부팅(booting)을 수행하고, 필요한 신호 제어를 수행한다. 특히, 본 발명의 실시 예에 따른 단말제어부(11)는 어플리케이션을 실행하고, 사용자의 입력에 따라 비주얼 객체를 선택한다. 이때, 단말제어부(11)는 비주얼 객체를 서비스장치(30)에 등록하고, 다른 단말기와 비주얼 객체에 대한 데이터를 공유한다. 여기서, 비주얼 객체는 사용자의 입력에 따라 동작하는 상대방의 비주얼 객체와 상대방의 입력에 따라 동작하는 사용자의 비주얼 객체가 될 수 있다.
단말제어부(11)는 선택된 비주얼 객체를 화면에 시각적으로 표시한다. 이때, 단말제어부(11)는 비주얼 객체를 표시하는 모드에 따라 하나의 비주얼 객체가 표시되는 화면 크기를 다른 비주얼 객체가 표시되는 화면의 크기 보다 크게 입력부(12)에 표시한다. 즉, 단말제어부(11)는 사용자의 비주얼 객체와 상대방의 비주얼 객체를 선택에 따라 구분하여 크기를 조절할 수 있다.
단말제어부(11)는 화면에 표시된 비주얼 객체를 제어하기 위한 명령에 따라 해당되는 동작을 표현한다. 이때, 단말제어부(11)는 비주얼 객체가 표시되는 화면에 입력되는 터치 신호를 감지하고, 터치신호에 따라 해당되는 비주얼 객체 동작을 구분하고, 구분된 동작에 대한 데이터를 추출한다. 또한, 단말제어부(11)는 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 기능버튼 중 적어도 하나를 선택하고, 선택된 기능버튼에 대응하는 동작에 대한 데이터를 추출한다. 또한, 단말제어부(11)는 오디오처리부(14)를 통해 입력되는 신호를 감지하고, 입력 신호에 따른 동작에 대한 데이터를 추출한다. 이후, 단말제어부(11)는 해당되는 동작에 상응하는 데이터를 서비스장치(30)로 전송한다.
단말제어부(11)는 서비스장치(30)로부터 비주얼 객체의 동작에 따른 비주얼 객체 정보를 수신한다. 여기서, 단말제어부(11)는 서비스장치(30)로부터 수신된 비주얼 객체 정보를 확인하고, 해당되는 비주얼 객체의 동작에 따라 비주얼 객체를 표시할 수 있다. 이와 같은 단말제어부(11)의 기능을 보다 효과적으로 수행하기 위하여 단말기(10, 20)는 비주얼 객체 제어모듈(11a), 음성인식모듈(11b) 및 동작인식모듈(11c)를 더 포함한다. 특히, 비주얼 객체 제어모듈(11a)은 비주얼 객체를 제어하기 위한 사용자의 명령에 따라 해당되는 동작을 표현한다. 또한, 음성인식모듈(11b)은 동작데이터에 연관된 피드백 데이터를 생성하기 위하여 사용자의 음성을 인식하고, 인식된 음성을 기 저장된 음성데이터와 비교하여 해당되는 음성에 따라 사용자의 감정을 추출한다. 또한, 동작인식모듈(11c)은 동작데이터에 연관된 피드백 데이터를 생성하기 위하여 사용자의 동작 또는 표정을 인식한다. 이때, 동작인식모듈(11c)은 센서부(17) 및 카메라부(18)를 통해 감지되는 데이터를 분석하여 사용자의 동작 또는 표정을 추출한다.
또한, 단말제어부(11)는 서비스장치(30)로부터 수신되는 비주얼 객체의 동작에 대한 데이터를 확인하여, 비주얼 객체의 피드백 데이터를 생성한다. 그리고, 단말제어부(11)는 생성된 피드백 데이터를 서비스장치(30)로 전송할 수 있다.
입력부(12)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말기(10, 20)의 기능 제어와 관련하여 입력되는 신호를 단말제어부(11)로 전달한다. 또한, 입력부(12)는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력부(12)는 표시부(16)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 입력부(12)는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명의 실시 예에 따른 입력부(12)는 사용자의 조작에 따라 입력되는 어플리케이션 실행을 위한 입력 신호를 단말제어부(11)로 전달한다.
표시부(16)는 단말기(10, 20)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 표시부(16)는 단말기(10, 20)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 표시부(13)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다. 이때, 표시부(16)는 터치스크린(touch screen) 형태로 구성될 수 있고, 이와 같이, 터치스크린 형태로 형성된 경우, 입력부(12)의 기능 중 일부 또는 전부를 수행할 수 있다. 특히, 본 발명의 실시 예에 따른 표시부(16)는 어플리케이션 실행에 따른 데이터를 화면에 표시한다. 즉, 표시부(16)는 비주얼 객체를 통해 사용자정보를 시각화하여 표시한다. 또한, 표시부(16)는 비주얼 객체를 표시하는 모드에 따라 단말제어부(11)의 제어에 따라 비주얼 객체의 화면 크기를 구분하여 표시한다.
단말저장부(13)는 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 단말기(10, 20)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 단말저장부(13)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말기(10, 20)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 단말제어부(11)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명의 실시 예에 따른 프로그램 영역은 단말기(10, 20)를 부팅시키는 운영체제, 비주얼 객체를 실행하고, 비주얼 객체의 동작을 제어하는 프로그램 등을 저장한다.
또한, 데이터 영역은 단말기(10, 20)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 특히, 본 발명의 실시 예에 따른 데이터 영역은 서비스장치(30)로부터 다운로드 되는 비주얼 객체 어플리케이션(13a), 다양한 비주얼 객체에 대한 비주얼 객체 DB(31b), 동작데이터에 연관된 피드백 데이터를 생성하기 위해 감지되는 음성을 확인하는데 이용되는 음성데이터 DB(13c) 및 사용자 동작을 확인하는데 이용되는 동작데이터 DB(13d)를 저장한다. 또한, 데이터영역은 사용자의 입력에 따라 변화하는 비주얼 객체의 동작에 대한 정보를 저장한다.
오디오처리부(14)는 오디오 신호를 재생하여 출력하기 위한 스피커(SPK) 또는 마이크(MIC)로부터 입력되는 오디오 신호를 단말제어부(11)에 전달하는 기능을 수행한다. 이러한 오디오처리부(14)는 마이크를 통해 입력되는 아날로그 형식의 오디오 신호를 디지털 형식으로 변환하여 단말제어부(11)에 전달할 수 있다. 또한, 오디오처리부(14)는 단말제어부(11)로부터 출력되는 디지털 형식의 오디오 신호를 아날로그 신호로 변환하여 스피커를 통해 출력할 수 있다. 특히, 오디오처리부(14)는 마이크를 통해 사용자 음성 및 주변환경의 소리를 감지한다. 즉, 오디오처리부(14)는 단말제어부(11)의 제어에 따라 오디오 신호를 감지한다.
단말통신부(15)는 서비스장치(30)와 통신망(40)을 통해 데이터를 송수신하기 위한 기능을 수행한다. 여기서, 단말통신부(15)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함한다. 이러한 단말통신부(15)는 무선통신 모듈(미도시) 및 유선통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선망 통신 모듈, 무선랜(WLAN, Wireless Local Area Network 또는 WiFi, Wireless Fidelity 또는 WiMAX, Worldwide Interoperability for Microwave Access) 통신 모듈 및 무선팬(WPAN, Wireless Personal Area Network) 통신 모듈 중 적어도 하나를 포함할 수 있다.
무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말기(10, 20)가 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 서비스장치(30)로 전송하거나, 수신할 수 있다.
무선망 통신 모듈은 기지국을 통해 통신망(40)에 접속하여 데이터를 송수신하기 위한 것이다. 무선통신 모듈은 단말제어부(11)로부터 데이터를 수신하면, 기지국을 통해 통신망(40)에 접속하여 데이터를 서비스장치(30)에 전송할 수 있다. 또한, 무선망 통신 모듈은 기지국을 통해 통신망(40)에 접속하고, 데이터를 서비스장치(30)로부터 수신하여, 수신된 데이터를 단말제어부(11)로 제공할 수 있다.
무선랜 통신 모듈은 무선랜(WLAN), 와이파이(WiFi) 또는 와이맥스(WiMAX) 방식에 따른 통신을 수행하기 위한 것이다. 무선랜 통신 모듈은 단말제어부(11)로부터 데이터를 수신하면, 접속 포인트(AP, Access Point)를 통해 통신망(40)에 접속하여, 데이터를 서비스장치(30)로 전송할 수 있다. 또한, 무선랜 통신 모듈은 접속 포인트를 통해 통신망(40)에 접속하여 서비스장치(30)로부터 데이터를 수신하면, 수신된 데이터를 단말제어부(11)로 제공할 수 있다.
무선팬 통신 모듈은 무선 팬(WPAN) 방식에 따라 데이터를 송수신하기 위한 것으로, 무선망 통신 모듈 및 무선랜 통신 모듈에 비해 짧은 거리의 무선 통신을 수행한다. 무선팬 통신 모듈은 단말기간에 직접 데이터를 주고 받을 수도 있다. 즉, 무선팬 통신 모듈을 통해 다른 단말기와 직접 데이터를 송수신할 수 있다. 또한, 무선팬 통신 모듈은 통신망(40)에 게이트웨이(Gateway)에 직접 또는 멀티 홉(multi-hop)을 통해 연결 가능한 경우, 게이트웨이를 통해 통신망(40)에 접속하여 데이터를 송수신할 수도 있다. 이러한 무선팬 통신 모듈은 블루투스(Bluetooth), 적외선 통신(IrDA), 지그비(ZigBee) 등에 따른 통신을 예시할 수 있다.
유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 통신망(40)에 접속하여, 서비스장치(30)에 데이터를 전송하거나, 수신할 수 있다. 즉, 단말기(10, 20)는 유선통신 모듈을 이용하여 통신망(40)에 접속하며, 통신망(40)을 통해 서비스장치(30)와 데이터를 송수신할 수 있다. 특히, 본 발명의 실시 예에 따른 단말통신부(15)는 서비스장치(30)와 어플리케이션에 대한 데이터를 송수신한다. 여기서, 단말통신부(15)는 서비스장치(30)로 비주얼 객체의 동작에 대한 데이터를 전송하거나, 변화된 비주얼 객체 정보에 대한 데이터를 수신할 수 있다. 또한, 단말통신부(15)는 비주얼 객체의 동작에 대응하는 피드백 데이터를 서비스장치(30)로 전송할 수 있다.
센서부(17)는 어플리케이션 실행에 따라 동작정보를 수집하기 위하여 사용자의 동작을 감지하는 이미지센서, 광학센서, 음향센서 및 자이로센서 등과 같은 센서로 구성되며, 빛을 발광하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지하여 신호 처리부(미도시)로 전송할 수 있다. 이때, 센서부(17)는 외부 물체가 일정 감지 영역 내로 접근하는 것을 적외선을 이용하여 감지하는 적외선 센서(Infrared Sensor)를 사용할 수 있다. 여기서, 적외선 센서는 적외선을 복사하여 빛이 차단됨으로써 변화를 감지하는 능동식과, 자체에 발광부를 가지지 않고 외부로부터 받는 적외선의 변화만을 감지하는 수동식으로 구분될 수 있다. 특히, 적외선 센서가 능동식으로 구성되는 경우 적외선(IR)을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발광부(미도시)와, 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(Transister, TR)와 같은 검출기(Detector)로 이루어지는 수광부(미도시)로 구성될 수 있다. 여기서, 발광부는 단말제어부(11)의 신호에 따라 외부 임의의 물체까지 빛을 발광하는 역할을 하고, 수광부는 검출기를 통해 외부 물체로부터 반사되는 빛을 감지하는 역할을 할 수 있다. 이를 자세하게 살펴보면, 발광부는 일정 양의 적외선을 발광하고, 수광부는 물체에 반사되어 돌아오는 적외선의 양에 따라 전압의 변화를 감지할 수 있다.
센서부(17)는 적외선을 이용하여 온도, 열, 압력 또는 방사선의 세기 등의 물리량 또는 화학량을 검지하여 신호 처리가 가능한 전기량으로 변환할 수 있다. 여기서, 센서부(17)는 단말제어부(11)의 제어에 따라 활성화되며, 사용자의 움직임을 감지하여 단말제어부(11)에 해당되는 신호를 전달할 수 있다.
센서부(17)는 음향을 이용하여 전류를 통제하고, 이를 통해 주파수를 조정하는 음향센서를 포함한다. 특히, 센서부(17)는 사용자의 주변환경, 동작 또는 표정을 감지한다. 여기서, 센서부(17)는 감지되는 신호의 세기 및 방향에 따른 주변환경을 인식하고, 인식된 주변환경에 대한 데이터를 단말제어부(11)로 전달한다. 즉, 센서부(17)는 오디오처리부(14)에서 마이크를 통해 주변 오디오 신호를 수집하며, 단말제어부(11)에서 수집한 오디오 신호의 크기 등을 분석하여 주변 소음이나 상태를 인식한다.
센서부(17)는 회전축이 자유롭게 회전하여 운동상태를 측정할 수 있는 자이로센서를 포함한다. 특히, 센서부(17)는 사용자 동작에 따른 운동상태를 감지하여 해당되는 데이터를 단말제어부(11)로 전달한다.
카메라부(18)는 사용자의 영상에 대한 영상데이터를 수집한다. 이러한 카메라부(18)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(도시되지 않음)와, 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(도시되지 않음)를 구비한다. 여기서 카메라 센서는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다. 이러한 카메라부(18)는 카메라 기능을 이용하기 위한 입력 신호가 수신되는 경우에 활성화될 수 있다. 그런 다음, 카메라부(18)는 수집되는 영상 데이터를 단말제어부(11)에 전달한다. 이러한 기능을 효과적으로 수행하기 위하여, 카메라부(18)는 영상 처리부(미도시)를 구비할 수 있다. 이때, 영상 처리부는 카메라 센서에서 출력되는 영상신호를 표시하기 위한 화면데이터를 발생하는 기능을 수행한다. 이때, 영상 처리부는 카메라 센서에서 출력되는 영상신호를 프레임 단위로 처리하며, 프레임 영상데이터를 표시부(16)의 표시 특성 및 크기에 대응하여 출력한다. 또한, 영상 처리부는 영상 코덱(CODEC)을 구비하며, 표시부(16)에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서, 영상 코덱은 JPEG(Joint Photographic coding Experts Group) 코덱 또는 MPEG(Moving Picture Experts Group) 코덱 등이 될 수 있다.
도 3은 본 발명의 실시 예에 따른 서비스장치의 구성을 나타내는 블록도 이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 서비스장치(30)는 서비스제어부(31), 서비스저장부(32) 및 서비스통신부(33)를 포함한다.
서비스통신부(33)는 제1단말기(10) 및 제2단말기(20)와 어플리케이션 실행에 따른 데이터를 송수신한다. 특히, 서비스통신부(33)는 제1단말기(10)로부터 수신되는 비주얼 객체의 동작에 대한 데이터를 제2단말기(20)로 전송한다. 또한, 서비스통신부(33)는 제2단말기(20)로부터 수신되는 비주얼 객체의 동작에 대응하는 피드백 데이터에 따른 비주얼 객체 정보를 제1단말기(10)로 전송한다.
서비스저장부(32)는 비주얼 객체 어플리케이션을 실행하기 위한 모든 데이터를 저장한다.
서비스제어부(31)는 제1단말기(10) 및 제2단말기(20)의 요청에 따라 어플리케이션을 제공한다. 그리고, 서비스제어부(31)는 제1단말기(10)로부터 비주얼 객체의 동작에 대한 데이터를 수신하여 제2단말기(20)로 전송한다. 그리고, 서비스장치(30)는 제2단말기(20)로부터 수신되는 비주얼 객체의 동작에 대응하는 피드백 데이터를 확인하여 비주얼 객체 정보를 추출하고, 추출된 비주얼 객체 정보를 제1단말기(10)로 전송하도록 제어한다.
또한, 상술한 바와 같이 구성되는 서비스장치(30)는 서버 기반 컴퓨팅 기반 방식 또는 클라우드 방식으로 동작하는 하나 이상의 서버로 구현될 수 있다. 특히, 클라우드 컴퓨팅 장치를 이용하여 어플리케이션을 실행하고, 비주얼 객체의 동작 변화에 대응하는 데이터는 인터넷 상의 클라우드 컴퓨팅 장치에 영구적으로 저장될 수 있는 클라우드 컴퓨팅(Cloud Computing) 기능을 통해 제공될 수 있다. 여기서, 클라우드 컴퓨팅은 데스크톱, 태블릿 컴퓨터, 노트북, 넷북 및 스마트폰 등의 디지털 단말기에 인터넷 기술을 활용하여 가상화된 IT(Information Technology) 자원, 예를 들어, 하드웨어(서버, 스토리지, 네트워크 등), 소프트웨어(데이터베이스, 보안, 웹 서버 등), 서비스, 데이터 등을 온 디맨드(On demand) 방식으로 서비스하는 기술을 의미한다. 본 발명에 있어서, 어플리케이션 실행 중 비주얼 객체의 동작 변화에 따른 모든 데이터는 인터넷 상의 클라우드 컴퓨팅 장치에 저장되고, 단말기(10)를 통하여 언제 어디서든 이용될 수 있다.
도 4는 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름은 먼저, 제1단말기(10)와 제2단말기(20)는 통신망(40)을 통해 서비스장치(30)에 접속하여 어플리케이션의 다운로드를 요청하고, 이에 대한 데이터를 다운로드 한다(S11 내지 S17).
제1단말기(10)는 S19 단계에서 어플리케이션을 실행하고, 비주얼 객체를 선택한다. 이때, 비주얼 객체는 사용자의 입력에 따라 동작하는 상대방의 비주얼 객체와 상대방의 입력에 따라 동작하는 사용자의 비주얼 객체가 될 수 있다. 그리고, 제1단말기(10)는 S21 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록한다. 또한, 제2단말기(20)는 S23 단계에서 어플리케이션을 실행하고, 비주얼 객체를 선택한다. 그리고, 제2단말기(20)는 S25 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록한다.
각각의 비주얼 객체가 등록되면, 제1단말기(10)와 제2단말기(20)는 S27 단계에서 서비스장치(30)를 통해 비주얼 객체를 서로 연동하여 어플리케이션을 실행한다.
제1단말기(10)와 제2단말기(20)는 각각의 화면에 자신의 비주얼 객체와 상대방의 비주얼 객체를 시각적으로 표시한다(S29 내지 S31). 이때, 제1단말기(10)와 제2단말기(20)는 비주얼 객체를 표시하는 모드에 따라 하나의 비주얼 객체가 표시되는 화면 크기를 다른 비주얼 객체가 표시되는 화면의 크기 보다 크게 표시할 수 있다. 즉, 제1단말기(10)와 제2단말기(20)는 사용자의 비주얼 객체와 상대방의 비주얼 객체를 선택에 따라 구분하여 크기를 조절할 수 있다.
제1단말기(10)는 S33 단계에서 비주얼 객체의 동작을 제어하는 요청을 감지한다. 이때, 제1단말기(10)는 S35 단계에서 요청된 동작에 대한 정보를 확인하여, 비주얼 객체의 동작에 대한 데이터를 추출한다. 여기서, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 입력되는 터치 신호를 감지하고, 터치신호에 따라 해당되는 비주얼 객체의 동작을 구분하고, 구분된 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 기능버튼 중 하나를 선택하고, 선택된 기능버튼에 대응하는 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 마이크를 통해 입력되는 신호를 감지하고, 신호에 따른 동작에 대한 데이터를 표시한다. 이후, 제1단말기(10)는 S35 단계에서 해당되는 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다.
서비스장치(30)는 S37 단계에서 제1단말기(10)로부터 비주얼 객체의 동작에 대한 데이터를 제2단말기(20)로 전송한다.
제2단말기(20)는 S39 단계에서 서비스장치(30)로부터 수신된 비주얼 객체 동작에 대한 데이터를 확인한다. 그리고, 제2단말기(20)는 S39 단계에서 동작데이터에 대한 응답을 입력한다. 여기서, 제2단말기(20)는 S40 단계에서 확인된 응답에 대응하는 피드백 데이터를 생성한다. 그리고 나서, 제2단말기(20)는 S41 단계에서 생성된 피드백 데이터를 서비스장치(30)로 전송한다.
서비스장치(30)는 S43 단계에서 제2단말기(20)로부터 수신된 피드백 데이터를 확인한다. 여기서, 서비스장치(30)는 S45 단계에서 피드백 데이터를 통해 비주얼 객체 정보를 추출한다. 그리고 나서, 서비스장치(30)는 S47 단계에서 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다.
제1단말기(10)는 S49 단계에서 서비스장치(30)로부터 수신된 비주얼 객체 정보를 확인하고, 비주얼 객체 정보에 따라 비주얼 객체의 동작을 제어하여 시각적으로 표시한다.
이를 통해, 비주얼 객체를 이용하여 상대방과 감정 교류를 함으로써, 보다 친숙하게 서로를 표현할 수 있다. 또한, 터치 동작 또는 마이크를 통해 입력되는 사용자의 음성에 따라 비주얼 객체의 얼굴 표정을 변화하여 자연스럽고 섬세하게 표현할 수 있다. 또한, 현실 세계와 유사한 가상의 공간을 배경으로 제공하고, 가상의 공간에서 일어나는 다양한 의사 표현, 행동 또는 반응에 따라 자기 또는 상대방의 비주얼 객체의 동작을 변화하여 단말기 사용에 대한 새로운 흥미거리와 다양한 대화를 유도할 수 있다. 또한, 개인이 만든 비주얼 객체에 대한 어플리케이션을 온라인 상에 유통할 수 있어 적극적인 커뮤니케이션 및 마케팅 활동에 이용될 수 있다.
도 5는 본 발명의 실시 예에 따른 제1단말기의 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 제1단말기(10)는 S51 단계에서 비주얼 객체 어플리케이션을 실행한다. 여기서, 제1단말기(10)는 통신망(40)을 통해 서비스장치(30)에 접속하여 어플리케이션의 다운로드를 요청하고, 이에 대한 데이터를 다운로드 할 수 있다. 그리고, 제1단말기(10)는 S53 단계에서 비주얼 객체를 선택한다. 이때, 비주얼 객체는 사용자의 입력에 따라 동작하는 상대방의 비주얼 객체와 상대방의 입력에 따라 동작하는 사용자의 비주얼 객체가 될 수 있다.
제1단말기(10)는 S55 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록하여 제2단말기(20) 사용자와 비주얼 객체 정보를 공유한다. 비주얼 객체가 등록되면, 제1단말기(10)는 S57 단계에서 화면에 비주얼 객체를 표시한다. 이때, 제1단말기(10)는 비주얼 객체를 표시하는 모드에 따라 하나의 비주얼 객체가 표시되는 화면 크기를 다른 비주얼 객체가 표시되는 화면의 크기 보다 크게 표시할 수 있다.
제1단말기(10)는 S59 단계에서 비주얼 객체의 동작을 제어하는 요청을 감지한다. 이때, 제1단말기(10)는 S61 단계에서 요청된 동작에 대한 입력 정보를 확인한다. 여기서, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 입력되는 터치 신호를 감지하고, 터치신호에 따라 해당되는 비주얼 객체의 동작을 구분하고, 구분된 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 기능버튼 중 하나를 선택하고, 선택된 기능버튼에 대응하는 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 마이크를 통해 입력되는 신호를 감지하고, 신호에 따른 동작에 대한 데이터를 추출한다. 그리고, 제1단말기(10)는 S63 단계에서 확인된 정보에 따라 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다. 이후, 제1단말기(10)는 S65 단계에서 해당되는 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다.
제1단말기(10)는 S65 단계에서 서비스장치(30)로부터 비주얼 객체 정보가 수신되는지 확인한다. 이때, 비주얼 객체 정보가 수신되는 경우, 제1단말기(10)는 S67 단계에서 비주얼 객체 정보를 확인하고, 비주얼 객체 정보에 따라 비주얼 객체의 동작을 변화하여 시각적으로 표시한다. 한편, 비주얼 객체 정보가 수신되지 않는 경우, 제1단말기(10)는 비주얼 객체 정보의 수신을 대기하면서, 비주얼 객체를 화면에 표시한다.
도 6은 본 발명의 실시 예에 따른 제2단말기의 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 제2단말기(20)는 S71 단계에서 비주얼 객체 어플리케이션을 실행한다. 여기서, 제2단말기(20)는 통신망(40)을 통해 서비스장치(30)에 접속하여 어플리케이션의 다운로드를 요청하고, 이에 대한 데이터를 다운로드 할 수 있다. 그리고, 제2단말기(20)는 S73 단계에서 비주얼 객체를 선택한다. 이때, 비주얼 객체는 사용자의 입력에 따라 동작하는 상대방의 비주얼 객체와 상대방의 입력에 따라 동작하는 사용자의 비주얼 객체가 될 수 있다.
제2단말기(20)는 S75 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록하여 제1단말기(10) 사용자와 비주얼 객체 정보를 공유한다. 비주얼 객체가 등록되면, 제2단말기(20)와 S77 단계에서 화면에 비주얼 객체를 표시한다. 이때, 제2단말기(20)는 비주얼 객체를 표시하는 모드에 따라 하나의 비주얼 객체가 표시되는 화면 크기를 다른 비주얼 객체가 표시되는 화면의 크기 보다 크게 표시할 수 있다.
제2단말기(20)는 S79 단계에서 서비스장치(30)로부터 비주얼 객체의 동작에 대한 데이터가 수신되는지 확인한다. 이때, 비주얼 객체의 동작에 대한 데이터가 수신되는 경우, 제2단말기(20)는 S81 단계에서 서비스장치(30)로부터 수신되는 비주얼 객체의 동작에 대응하는 피드백 데이터를 생성한다. 그리고, 제2단말기(20)는 생성된 피드백 데이터를 서비스장치(30)로 전송한다.
도 7은 본 발명의 실시 예에 따른 서비스장치의 동작을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 서비스장치(30)는 S91 단계에서 제1단말기(10)와 제2단말기(20)의 요청에 따라 비주얼 객체 어플리케이션을 제공한다. 그리고, 서비스장치(30)는 S93 단계에서 제1단말기(10)와 제2단말기(20)의 선택에 따라 수신되는 비주얼 객체를 등록한다.
서비스장치(30)는 S95 단계에서 비주얼 객체의 동작에 대한 데이터가 수신되는지 확인한다. 이때, 비주얼 객체의 동작에 따른 데이터가 수신되면, 서비스장치(30)는 S97 단계에서 제1단말기(10)로부터 수신되는 비주얼 객체의 동작에 대한 데이터를 제2단말기(20)로 전송한다. 그리고 나서, 서비스장치(30)는 S99 단계에서 제2단말기(20)로부터 비주얼 객체의 동작에 대한 피드백 데이터가 수신되는지 판단한다.
피드백 데이터가 수신되면, 서비스장치(30)는 S101 단계에서 수신된 피드백 데이터를 분석하여 비주얼 객체 정보를 추출한다. 이후, 서비스장치(30)는 S103 단계에서 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다. 한편, 서비스장치(30)는 피드백 데이터가 수신되지 않으면, 피드백 데이터의 수신을 대기한다.
도 8은 본 발명의 다른 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름도이다.
도 8을 참조하면, 본 발명의 다른 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 나타내는 데이터 흐름은 먼저, 제1단말기(10)와 제2단말기(20)는 통신망(40)을 통해 서비스장치(30)에 접속하여 어플리케이션의 다운로드를 요청하고, 이에 대한 데이터를 다운로드 한다(S111 내지 S117).
제1단말기(10)는 S119 단계에서 어플리케이션을 실행하고, 비주얼 객체를 선택한다. 이때, 비주얼 객체는 사용자의 입력에 따라 동작하는 상대방의 비주얼 객체와 상대방의 입력에 따라 동작하는 사용자의 비주얼 객체가 될 수 있다. 그리고, 제1단말기(10)는 S121 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록한다. 또한, 제2단말기(20)는 S123 단계에서 어플리케이션을 실행하고, 비주얼 객체를 선택한다. 그리고, 제2단말기(20)는 S125 단계에서 선택된 비주얼 객체를 서비스장치(30)에 등록한다.
각각의 비주얼 객체가 등록되면, 제1단말기(10)와 제2단말기(20)는 S127 단계에서 서비스장치(30)를 통해 비주얼 객체를 서로 연동하여 어플리케이션을 실행한다.
제1단말기(10)와 제2단말기(20)는 각각의 화면에 자신의 비주얼 객체와 상대방의 비주얼 객체를 시각적으로 표시한다(S129 내지 S131). 이때, 제1단말기(10)와 제2단말기(20)는 비주얼 객체를 표시하는 모드에 따라 하나의 비주얼 객체가 표시되는 화면 크기를 다른 비주얼 객체가 표시되는 화면의 크기 보다 크게 표시할 수 있다. 즉, 제1단말기(10)와 제2단말기(20)는 사용자의 비주얼 객체와 상대방의 비주얼 객체를 선택에 따라 구분하여 크기를 조절할 수 있다.
제1단말기(10)는 S133 단계에서 비주얼 객체 동작을 제어하는 요청을 감지한다. 이때, 제1단말기(10)는 S135 단계에서 요청된 동작에 대한 정보를 확인하여, 비주얼 객체의 동작에 대한 데이터를 추출한다. 여기서, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 입력되는 터치 신호를 감지하고, 터치신호에 따라 해당되는 비주얼 객체의 동작을 구분하고, 구분된 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 기능버튼 중 하나를 선택하고, 선택된 기능버튼에 대응하는 동작에 대한 데이터를 추출한다. 또한, 제1단말기(10)는 마이크를 통해 입력되는 신호를 감지하고, 신호에 따른 동작에 대한 데이터를 표시한다. 이후, 제1단말기(10)는 S135 단계에서 해당되는 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다.
서비스장치(30)는 S137 단계에서 제1단말기(10)로부터 비주얼 객체의 동작에 대한 데이터를 제2단말기(20)로 전송한다.
제2단말기(20)는 S139 단계에서 서비스장치(30)로부터 수신된 비주얼 객체 동작에 대한 데이터를 확인한다. 그리고, 제2단말기(20)는 S141 단계에서 주변환경 및 사용자 동작 또는 표정을 인식한다. 즉, 제2단말기(20)는 동작데이터에 연관된 피드백 데이터를 생성하기 위하여 사용자의 음성을 인식하고, 인식된 음성을 기 저장된 음성데이터와 비교하여 해당되는 음성에 따라 사용자의 감정을 추출한다. 또한, 제2단말기(20)는 동작데이터에 연관된 피드백 데이터를 생성하기 위하여 사용자의 동작을 인식한다. 이때, 제2단말기(20)는 센서부(17) 및 카메라부(18)를 통해 감지되는 동작을 분석하여 사용자의 동작을 추출한다. 즉, 제2단말기(20)는 주변환경 및 사용자 동작 또는 표정을 지능적으로 자동 인식이 가능하다. 그리고 나서, 제2단말기(20)는 S143 단계에서 확인된 응답에 대응하는 피드백 데이터를 생성한다.
피드백 데이터가 생성되면, 제2단말기(20)는 S415 단계에서 생성된 피드백 데이터를 서비스장치(30)로 전송한다.
서비스장치(30)는 S147 단계에서 제2단말기(20)로부터 수신된 피드백 데이터를 확인한다. 여기서, 서비스장치(30)는 S149 단계에서 피드백 데이터를 통해 비주얼 객체 정보를 추출한다. 그리고 나서, 서비스장치(30)는 S151 단계에서 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다.
제1단말기(10)는 S153 단계에서 서비스장치(30)로부터 수신된 비주얼 객체 정보를 확인하고, 비주얼 객체 정보에 따라 비주얼 객체의 동작을 제어하여 시각적으로 표시한다.
도 9a 내지 도 12는 본 발명의 실시 예에 따른 비주얼 객체를 이용한 감정 표현 방법을 설명하기 위한 예시도 이다.
본 발명의 실시 예에 따른 단말기(10, 20)는 서비스장치(30)를 통해 비주얼 객체 어플리케이션을 다운로드 받아 실행한다. 그리고, 도 9a에 도시된 바와 같이, 단말기(10, 20)는 비주얼 객체(801)를 선택할 수 있는 화면을 제공한다. 이때, 특정 비주얼 객체가 선택되면, 단말기(10, 20)는 비주얼 객체를 화면에 표시한다. 여기서, 비주얼 객체는 표시하는 모드에 따라 하나의 비주얼 객체에 대한 화면 크기가 다른 하나의 비주얼 객체에 대한 화면 크기 보다 크게 표시될 수 있다. 즉, 단말기(10, 20)는 사용자의 비주얼 객체와 상대방의 비주얼 객체를 선택에 따라 구분하여 크기를 조절할 수 있다. 예를 들어, 도 9b와 도 9c에 도시된 바와 같이, 단말기(10, 20)는 사용자의 선택에 따라 상대방의 비주얼 객체(803)를 사용자의 비주얼 객체(805) 보다 상위에 화면 크기를 크게 하여 표시하거나, 사용자의 비주얼 객체(807)를 상대방의 비주얼 객체(809) 보다 상위에 화면 크기를 크게 하여 표시할 수 있다.
제1단말기(10) 및 제2단말기(20)는 각각의 비주얼 객체를 등록하고, 서비스장치(30)를 통해 비주얼 객체를 서로 연동하여 어플리케이션을 실행한다. 이때, 제1단말기(10)는 사용자의 입력에 따라 비주얼 객체의 동작을 제어하고, 연관된 동작을 화면에 표시한다. 예를 들어, 도 10에 도시된 바와 같이, 제1단말기(10)는 상대방 비주얼 객체(901)의 표정을 변화 시키기 위하여 화면에 터치 신호를 입력한다. 이때, 상대방 비주얼 객체(901)의 머리를 터치하는 경우, 제1단말기(10)는 머리를 터치한 동작에 대한 데이터를 서비스장치(30)로 전송한다. 이후, 제2단말기(20)는 서비스장치(30)로부터 머리를 터치한 동작에 대한 데이터를 수신하여 확인하고, 확인된 동작에 대한 비주얼 객체(903)의 피드백 데이터를 생성하여 서비스장치(30)로 전송한다. 다음으로, 서비스장치(30)는 수신된 피드백 데이터를 분석하여 이에 대한 비주얼 객체 정보를 추출하고, 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다. 그리고, 제1단말기(10)는 서비스장치(30)로부터 수신된 비주얼 객체 정보에 따라 웃는 표정의 비주얼 객체(905)를 표시한다. 또한, 본 발명의 실시 예에 따른 비주얼 객체는 싱글터치, 더블터치 및 플릭(Flick) 등과 같은 다양한 터치 신호에 따라 동작이 변화될 수 있다.
또한, 도 11을 참조하면, 제1단말기(10)는 상대방 비주얼 객체(1001)의 표정을 변화 시키기 위하여 마이크를 통해 사용자 음성을 입력한다. 이때, 제1단말기(10)는 사용자 음성에 해당되는 입김을 인식하고, 이에 대응하는 데이터를 추출한다. 그리고, 제1단말기(10)는 추출된 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다. 이후, 제2단말기(20)는 서비스장치(30)로부터 비주얼 객체의 동작에 대한 데이터를 수신하여 확인하고, 확인된 동작에 대한 비주얼 객체(1003)의 피드백 데이터를 생성하여 서비스장치(30)로 전송한다. 다음으로, 서비스장치(30)는 수신된 피드백 데이터를 분석하여 이에 대한 비주얼 객체 정보를 추출하고, 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다. 그리고, 제1단말기(10)는 서비스장치(30)로부터 수신된 비주얼 객체 정보에 따라 머리를 휘날리는 비주얼 객체(1005)를 표시한다.
또한, 도 12를 참조하면, 제1단말기(10)는 상대방 비주얼 객체(1103)의 표정을 변화 시키기 위한 기능버튼(1101)을 화면에 제공한다. 여기서, 기능버튼은 사용자의 입력 신호에 따라 비주얼 객체의 표정을 변화시키기 위하여 제공되는 아이콘으로, 울기, 웃기, 인상쓰기 및 화내기 등과 같은 문구가 표시된다. 이때, 제1단말기(10)는 기능버튼 중에서 사용자에 의해 선택되는 기능버튼에 대한 비주얼 객체의 동작을 표시한다. 예를 들어, 제1단말기(10)는 울기에 해당하는 기능버튼이 선택되는 경우, 우는 비주얼 객체의 동작에 대한 데이터를 서비스장치(30)로 전송한다. 이후, 제2단말기(20)는 서비스장치(30)로부터 우는 비주얼 객체의 동작에 대한 데이터를 수신하여 확인하고, 확인된 동작에 대한 비주얼 객체(1105)의 피드백 데이터를 생성하여 서비스장치(30)로 전송한다. 다음으로, 서비스장치(30)는 수신된 피드백 데이터를 분석하여 이에 대한 비주얼 객체 정보를 추출하고, 추출된 비주얼 객체 정보를 제1단말기(10)로 전송한다. 그리고, 제1단말기(10)는 서비스장치(30)로부터 수신된 비주얼 객체 정보에 따라 웃는 표정의 비주얼 객체(1107)를 표시한다.
본 발명에 따른 비주얼 객체를 이용한 감정 표현 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 이동통신 단말기, PMP, PDA, 노트북 및 MP3 플레이어와 같은 다양한 종류의 사용자 장치에서, 각자의 사용자가 선택한 두 종류의 비주얼 객체가 연동되어 서로의 감정을 시각적으로 표현한다. 이를 통해, 비주얼 객체를 이용하여 상대방과 감정 교류를 함으로써, 보다 친숙하게 서로를 표현할 수 있다. 또한, 터치 동작 또는 마이크를 통해 입력되는 사용자의 음성에 따라 비주얼 객체의 얼굴 표정을 변화하여 자연스럽고 섬세하게 비주얼 객체의 얼굴 표정을 표현할 수 있다. 또한, 현실 세계와 유사한 가상의 공간을 배경으로 제공하고, 가상의 공간에서 일어나는 다양한 의사 표현, 행동 또는 반응에 따라 자기 또는 상대방의 비주얼 객체의 동작을 변화하여 단말기 사용에 대한 새로운 흥미거리와 다양한 대화를 유도할 수 있다. 또한, 개인이 만든 비주얼 객체에 대한 어플리케이션을 온라인 상에 유통할 수 있어 적극적인 커뮤니케이션 및 마케팅 활동에 이용될 수 있다.
10: 제1단말기 11: 단말제어부 12: 입력부
13: 단말저장부 14: 오디오처리부 15: 단말통신부
16: 표시부 17: 센서부 18: 카메라부
11a: 비주얼 객체 제어모듈 11b: 음성인식모듈
11c: 동자인식모듈 13a: 비주얼 객체 어플리케이션
13b: 비주얼 객체 DB 13c: 음성데이터 DB 13d: 동작데이터 DB
20: 제2단말기 30: 서비스장치 31: 서비스제어부
32: 서비스저장부 33: 서비스통신부 40: 통신망
100: 비주얼 객체를 이용한 감정 표현 시스템

Claims (12)

  1. 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하고, 상기 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 서비스장치로 전송하고, 상기 서비스장치로부터 수신되는 비주얼 객체 정보에 따라 상기 비주얼 객체의 동작 및 상태를 제어하는 제1단말기;
    상기 제1단말기 및 제2단말기의 요청에 따라 상기 어플리케이션을 제공하고, 상기 제1단말기로부터 수신되는 동작데이터를 상기 제2단말기로 전송하고, 상기 제2단말기로부터 상기 동작데이터에 연관된 피드백 데이터를 수신하고, 상기 피드백 데이터를 통해 비주얼 객체 정보를 추출하고, 상기 비주얼 객체 정보를 상기 제1단말기로 전송하는 상기 서비스장치; 및
    상기 제1단말기와 상기 비주얼 객체에 대한 데이터를 공유하고, 상기 서비스장치로부터 상기 동작데이터를 수신하고, 상기 동작데이터에 연관된 피드백 데이터를 생성하고, 상기 피드백 데이터를 상기 서비스장치로 전송하는 상기 제2단말기;
    를 포함하는 것을 특징으로 하는 비주얼 객체를 이용한 감정 표현 시스템.
  2. 서비스장치와 어플리케이션에 대한 데이터를 송수신하는 단말통신부;
    다수의 비주얼 객체를 표시하는 표시부; 및
    상기 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하고, 상기 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 상기 서비스장치로 전송하고, 상기 서비스장치로부터 수신되는 비주얼 객체 정보에 따라 상기 비주얼 객체의 동작 및 상태를 제어하는 단말제어부;
    를 포함하는 것을 특징으로 하는 단말기.
  3. 제2항에 있어서, 상기 단말제어부는
    상기 비주얼 객체가 표시되는 화면에 입력되는 터치신호를 감지하고, 상기 터치신호에 연관된 동작데이터를 추출하는 것을 특징으로 하는 단말기.
  4. 제2항에 있어서, 상기 단말제어부는
    상기 비주얼 객체가 표시되는 화면에 기능버튼을 제공하고, 상기 기능버튼 중 적어도 하나를 선택하고, 상기 기능버튼에 연관된 상기 비주얼 객체의 동작데이터를 추출하는 것을 특징으로 하는 단말기.
  5. 제2항에 있어서,
    사용자 음성 및 주변환경에 대한 소리를 감지하는 마이크를 구비하는 오디오처리부; 및
    상기 사용자의 주변환경, 동작 또는 표정을 감지하는 센서부 중 적어도 하나를 더 포함하며,
    상기 단말제어부는 상기 오디오처리부를 통해 입력되는 신호를 감지하고, 상기 신호에 연관된 상기 비주얼 객체의 동작데이터를 추출하는 것을 특징으로 하는 단말기.
  6. 제2항에 있어서, 상기 단말제어부는
    상기 서비스장치로부터 상기 동작데이터를 수신하여 확인하고, 상기 동작데이터에 대응하는 피드백 데이터를 상기 서비스장치로 전송하는 것을 특징으로 하는 단말기.
  7. 제5항에 있어서, 상기 단말제어부는
    상기 센서부를 통해 사용자의 주변환경, 동작 또는 표정을 인식하고, 상기 인식 결과에 대한 동작데이터를 추출하고, 상기 추출된 동작데이터에 연관된 피드백 데이터를 생성하고, 상기 피드백 데이터를 상기 서비스장치로 전송하는 것을 특징으로 하는 단말기.
  8. 다수의 단말기와 어플리케이션 실행에 따른 데이터를 송수신하는 서비스통신부;
    상기 어플리케이션을 실행하기 위한 데이터를 저장하는 서비스저장부; 및
    상기 다수의 단말기의 요청에 따라 상기 어플리케이션을 제공하고, 하나의 단말기로부터 수신되는 동작데이터를 다른 단말기로 전송하고, 상기 다른 단말기로부터 상기 동작데이터에 연관된 피드백 데이터를 수신하고, 상기 피드백 데이터를 통해 비주얼 객체 정보를 추출하고, 상기 비주얼 객체 정보를 상기 하나의 단말기로 전송하도록 제어하는 서비스제어부;
    를 포함하는 것을 특징으로 하는 서비스장치.
  9. 단말기가 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 표시하는 단계;
    상기 단말기가 상기 비주얼 객체를 제어하기 위한 신호를 감지하는 단계;
    상기 단말기가 상기 신호에 따라 해당되는 동작데이터를 추출하는 단계;
    상기 단말기가 상기 동작데이터를 서비스장치로 전송하는 단계;
    상기 단말기가 상기 서비스장치로부터 상기 동작데이터에 연관된 비주얼 객체 정보를 수신하는 단계; 및
    상기 단말기가 상기 비주얼 객체 정보에 따라 상기 비주얼 객체의 동작 및 상태를 제어하는 단계;
    를 포함하는 것을 특징으로 하는 비주얼 객체를 이용한 감정 표현 방법.
  10. 단말기가 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계;
    상기 단말기가 상기 비주얼 객체를 서비스장치에 등록하고, 다른 단말기와 상기 비주얼 객체에 대한 데이터를 공유하는 단계;
    상기 단말기가 상기 서비스장치로부터 동작데이터를 수신하는 단계;
    상기 단말기가 상기 동작데이터를 확인하고, 상기 동작데이터에 연관된 피드백 데이터를 생성하는 단계; 및
    상기 단말기가 상기 피드백 데이터를 상기 서비스장치로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 비주얼 객체를 이용한 감정 표현 방법.
  11. 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계;
    상기 비주얼 객체를 제어하기 위한 신호에 따라 해당되는 동작데이터를 추출하는 단계; 및
    상기 동작데이터를 연관된 비주얼 객체 정보에 따라 상기 비주얼 객체의 동작 및 상태를 제어하는 단계;
    를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  12. 어플리케이션을 실행하고, 적어도 하나 이상의 비주얼 객체를 선택하여 화면에 시각적으로 표시하는 단계;
    상기 비주얼 객체에 대한 데이터를 공유하는 단계; 및
    동작데이터를 수신하여 확인하고, 상기 동작데이터에 연관된 피드백 데이터를 생성하는 단계;
    를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020110056211A 2011-06-10 2011-06-10 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기 KR20120136966A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110056211A KR20120136966A (ko) 2011-06-10 2011-06-10 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110056211A KR20120136966A (ko) 2011-06-10 2011-06-10 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기

Publications (1)

Publication Number Publication Date
KR20120136966A true KR20120136966A (ko) 2012-12-20

Family

ID=47904241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056211A KR20120136966A (ko) 2011-06-10 2011-06-10 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기

Country Status (1)

Country Link
KR (1) KR20120136966A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158058A (zh) * 2021-04-30 2021-07-23 南京硅基智能科技有限公司 服务信息的发送方法及装置、接收方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158058A (zh) * 2021-04-30 2021-07-23 南京硅基智能科技有限公司 服务信息的发送方法及装置、接收方法及装置

Similar Documents

Publication Publication Date Title
US20210303135A1 (en) System and method for touch-based communications
KR102044241B1 (ko) 영상 통화 서비스를 제공하는 단말
JP2018505462A (ja) アバター選択機構
US11880923B2 (en) Animated expressive icon
JP2018014708A (ja) ネットワーク接続されたデバイスのための触覚機能
US20230103517A1 (en) Trackpad on back portion of a device
WO2023122595A1 (en) Automated gif generation platform
Figueiredo et al. Overcoming poverty through digital inclusion
KR20120119244A (ko) 컨텐츠 제작 방법, 이를 위한 시스템 및 이를 위한 단말기
US20230350495A1 (en) Fingerspelling text entry
KR20120136966A (ko) 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기
WO2022212144A1 (en) User-defined contextual spaces
US20230393730A1 (en) User interface including multiple interaction zones
US11922587B2 (en) Dynamic augmented reality experience
US20230384928A1 (en) Ar-based virtual keyboard
US11893166B1 (en) User avatar movement control using an augmented reality eyewear device
US20230396572A1 (en) Contextual reply augmentation system
US20230410441A1 (en) Generating user interfaces displaying augmented reality graphics
US20230377223A1 (en) Hand-tracked text selection and modification
US20240193882A1 (en) Scaling a 3d volume in extended reality
KR20120136965A (ko) 비주얼 객체를 이용한 사용자정보 제공 방법, 시스템 및 이를 위한 단말기
WO2024044184A1 (en) External computer vision for an eyewear device
Changkun An Introduction to Recent Mobile Affective Inference Techniques: Methods, Applications and Challenges
KR20160050645A (ko) 캐릭터 기반의 단말장치 제어방법 및 이를 실행하기 위한 단말장치용 어플리케이션

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid