KR101932097B1 - 음성을 이용한 메시지 서비스 방법 및 장치 - Google Patents

Abstract

본 발명은 사용자 디바이스에서 수신 메시지의 내용을 음성 변환하여 사용자에게 출력하거나, 수신 메시지에 대한 답장 메시지를 사용자의 음성 입력에 의하여 작성할 수 있는 음성을 이용한 메시지 서비스 제공 방법 및 장치에 관한 것으로, 이러한 본 발명은 사용자 디바이스의 메시지 서비스 지원 방법에 있어서, 메시지 수신이 입력되면 메시지 수신을 알리는 팝업 창을 출력하는 과정; 팝업 창을 통해 음성 듣기 및 음성 답장 메뉴 중 어느 하나의 메뉴 선택을 입력받는 과정; 선택된 메뉴가 음성 듣기 메뉴이면 메시지 내용을 음성 변환하여 출력하는 과정; 선택된 메뉴가 음성 답장 메뉴이면 사용자로부터 입력된 음성을 텍스트로 변환하는 과정; 상기 수신 메시지의 타입에 대응하는 통신 어플리케이션을 호출하는 과정; 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하는 과정; 및 사용자의 메시지 전송에 응답하여 상기 입력된 텍스트를 전송하는 과정을 포함한다.

Description

음성을 이용한 메시지 서비스 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING MESSAGE SERVICE USING VOICE OF USER}

본 발명은 사용자 디바이스의 메시지 서비스 제공 방법 및 장치에 관한 것으로, 특히 수신된 메시지를 음성으로 변환하여 출력하고, 사용자로부터 입력된 음성을 텍스트로 변환하여 답장 메시지로 전송할 수 있는 음성을 이용한 메시지 서비스 방법 및 장치에 관한 것이다.

최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 휴대단말들이 다양하게 출시되고 있다. 이러한 휴대단말은 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말들의 영역까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 대표적으로, 휴대단말은 음성 통화, 영상 통화, SMS(Short Message Service)/MMS(Multimedia Message Service) 등과 같은 문자 메시지 전송, 전자수첩, 촬영, 이메일 송수신, 방송 재생, 동영상 재생, 인터넷, 전자상거래, 음악 재생, 일정관리, 소셜 네트워크 서비스(SNS, Social Networking Service), 친구 찾기 서비스, 메신저, 사전, 게임, 무선 랜(WLAN, Wireless Local Area Network) 링크 형성과 같이 다양한 기능들을 구비할 수 있다.

더욱이, 최근에는 장소의 제약 없이 사용자가 이동하는 중에도 무선 통신 네트워크를 경유하여 인터넷을 이용할 수 있는 무선 인터넷 서비스가 대두되고 있다. 따라서 사용자들은 음성 통화 서비스를 이용하여 언제 어디서든지 자유롭게 이동하면서 상대방과 통화할 수 있을 뿐만 아니라, 무선 인터넷 서비스를 이용하여 인터넷에 접속한 후 다양한 컨텐츠(예컨대, 게임, 채팅, 증권, 금융거래, 뉴스, 날씨, 스포츠, 교통 정보 등)를 문자, 음성, 이미지 등의 각종 형태로 제공받을 수 있게 되었다.

특히, 다수의 사용자 간에 실시간으로 메시지를 주고받을 수 있는 문자/멀티미디어 메시지 서비스, 다수의 사용자 간에 채팅을 수행하고 각종 데이터를 주고받을 수 있는 인스턴트 메시지 서비스(Instant Message service)가 각광받고 있다. 상기 인스턴트 메시지 서비스는 다수의 사용자 간에 텍스트, 음성 등으로 채팅을 수행하는 채팅 서비스, 상대방 사용자와 정지영상, 동영상, 음악 등의 각종 데이터를 주고받는 데이터 전송 서비스, 각종 정보(예를 들어 뉴스 증권, 날씨, 음악, E-Mail 등)를 제공하는 정보 제공 서비스 등을 제공하는 소프트웨어를 의미한다. 사용자는 이러한 메시지 서비스를 이용하여 이동성에 제약받지 않고 즉, 이동 중에라도 채팅 서비스, 데이터 전송 서비스, 정보 제공 서비스, SMS/MMS 메시지 전송 서비스 등을 이용하는 것이 가능하게 되었다.

그러나 사용자 디바이스를 사용할 수 있는 상황에서는 아무런 제약 없이 메시지 서비스 이용이 가능하지만, 사용자가 운전 중이거나 번잡한 거리에서 이동 중인 것과 같이 사용자 디바이스를 원활하게 조작할 수 없는 상황에서는 수신된 메시지의 확인 및 수신된 메시지에 대한 답장 메시지를 입력하는 데에 어려운 상황에 자주 직면하게 된다. 따라서 메시지 서비스를 제공함에 있어서 사용자의 안전성과 편의성을 고려한 새로운 메시지 서비스에 대한 필요성이 대두되고 있다.

본 발명의 목적은 수신된 메시지에 대한 확인 및 답장을 음성 명령에 따라 수행할 수 있는 음성을 이용한 메시지 서비스 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 다양한 메시지를 음성으로 변환해 주고, 입력된 음성 데이터를 텍스트로 변환하여 답장 메시지로 전송할 수 있는 음성을 이용한 메시지 서비스 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 메시지가 수신될 때, IME에서 음성 엔진과 연동하여 사용자 선택 메뉴에 따라 TTS 또는 STT 기능을 처리하도록 함으로써, 메시지 타입에 관계없이 사용자가 수신 메시지를 간편하게 확인 및 답장할 수 있는 음성을 이용한 메시지 서비스 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 사용자 디바이스에서 메시지 확인 및 작성을 지원하기 위한 최적의 환경을 구현하여 사용자 편의성 및 사용자 디바이스의 사용성을 향상시킬 수 있는 음성을 이용한 메시지 서비스 방법 및 장치를 제공함에 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 사용자 디바이스의 메시지 서비스 지원 방법에 있어서, 메시지 수신이 입력되면 메시지 수신을 알리는 팝업 창을 출력하는 과정; 팝업 창을 통해 음성 듣기 및 음성 답장 메뉴 중 어느 하나의 메뉴 선택을 입력받는 과정; 선택된 메뉴가 음성 듣기 메뉴이면 메시지 내용을 음성 변환하여 출력하는 과정; 선택된 메뉴가 음성 답장 메뉴이면 사용자로부터 입력된 음성을 텍스트로 변환하는 과정; 상기 수신 메시지의 타입에 대응하는 통신 어플리케이션을 호출하는 과정; 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하는 과정; 및 사용자의 메시지 전송에 응답하여 상기 입력된 텍스트를 전송하는 과정을 포함한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 적어도 하나의 프로그램이 저장되는 저장부; 및 상기 적어도 하나의 프로그램을 실행하여 음성을 이용한 메시지 서비스를 지원하도록 제어하는 제어부를 포함하고, 상기 적어도 하나의 프로그램은, 메시지 수신이 입력되면 메시지 수신을 알리는 팝업 창을 출력하는 과정; 팝업 창을 통해 음성 듣기 및 음성 답장 메뉴 중 어느 하나의 메뉴 선택을 입력받는 과정; 선택된 메뉴가 음성 듣기 메뉴이면 메시지 내용을 음성 변환하여 출력하는 과정; 선택된 메뉴가 음성 답장 메뉴이면 사용자로부터 입력된 음성을 텍스트로 변환하는 과정; 상기 수신 메시지의 타입에 대응하는 통신 어플리케이션을 호출하는 과정; 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하는 과정; 및 사용자의 메시지 전송에 응답하여 상기 입력된 텍스트를 전송하는 과정을 실행하는 명령어들을 포함한다.

본 발명의 실시 예에 따른 상기 저장부는 사용자의 음성 입력 시 또는 문자 입력 시 텍스트 입력 부분을 제어하는 IME(Input Method Editor)를 포함하고, 상기 IME는 통신 어플리케이션과 입력 커넥션(Input Connection)을 통해 연결되며, 사용자 디바이스에서 실행되어 데몬(demon) 형태로 상주하여 메시지가 수신되는 이벤트를 감지하고, 팝업 창을 통해 음성 듣기 메뉴가 선택될 시 음성 엔진을 가동하여 상기 메시지의 내용을 음성으로 변환하여 출력하고, 팝업 창을 통해 음성 답장 메뉴가 선택될 시 음성 엔진을 가동하여 사용자로부터 입력된 음성을 텍스트로 변환하여 통신 어플리케이션에 전달하는 것을 특징으로 한다.

본 발명의 실시 예에 따른 상기 IME는 변환된 음성을 출력할 시 입력 커넥션을 통해 연결된 통신 어플리케이션 중 수신 메시지의 타입에 대응하는 통신 어플리케이션에 매핑하여 메시지 수신에 따른 로그를 기록하고, 입력된 텍스트 전송 시 상기 입력 커넥션을 통해 연결된 통신 어플리케이션 중 이벤트를 발생시킨 통신 어플리케이션에 매핑하여 메시지 수신 및 메시지 전송에 따른 로그를 기록하는 것을 특징으로 한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 메시지 수신이 입력되면 메시지 수신을 알리는 팝업 창을 출력하고, 팝업 창을 통해 음성 듣기 메뉴가 선택될 시 메시지 내용을 음성 변환하여 출력하며, 음성 답장 메뉴가 선택될 시 수신 메시지의 타입에 대응하는 통신 어플리케이션을 실행하고, 사용자로부터 입력된 음성이 변환된 텍스트를 상기 통신 어플리케이션의 메시지 내용 입력창에 입력하여 전송하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.

상술한 바와 같이 본 발명에서 제안하는 음성을 이용한 메시지 서비스 방법 및 장치에 따르면, IME를 통해 수신된 문자 메시지를 음성으로 변환해 주고 입력된 음성 데이터를 문자 메시지로 변환하여 전송함으로써, 사용자가 운전 중 또는 이동 중과 같이 사용자 디바이스 조작이 어려운 환경에서도 쉽게 메시지를 확인하거나 답장할 수 있는 효과가 있다.

본 발명에 따르면, 메시지가 수신될 때, IME에서 음성 엔진을 통해 TTS 및 STT 기능을 처리하도록 한다. 따라서 본 발명에 따르면 메시지의 타입에 관계없이 다양한 메시지들에 대해 텍스트의 음성 변환에 의한 확인과, 음성의 텍스트 변환에 의한 답장 메시지 작성을 간편하게 수행하면서도, 각 메시지 타입에 대응하게 메시지 송수신 히스토리를 기록 및 관리할 수 있는 효과가 있다.

본 발명에 따르면, 사용자 디바이스에서 가장 빈번히 사용하는 메시지 서비스 이용 시, 사용자가 사용자 디바이스의 사용이 용이하지 않는 경우에도 IME를 통한 음성 입력을 통하여 쉽고 안전하게 메시지를 확인 및 답장할 수 있도록 할 수 있다. 따라서 본 발명에 따르면 메시지 서비스를 지원하기 위한 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 사용자 디바이스의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 모든 형태의 사용자 디바이스 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.

도 1은 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 음성을 이용하여 메시지를 처리하는 플랫폼 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 사용자 디바이스가 음성을 이용하여 메시지를 처리하는 과정을 도시한 흐름도이다.
도 4 내지 도 7은 본 발명의 실시 예에 따른 사용자 디바이스의 동작 화면 예시를 도시한 도면들이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직할 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

제안하는 본 발명은 사용자 디바이스에서 수신 메시지의 내용을 음성 변환하여 사용자에게 출력하거나, 수신 메시지에 대한 답장 메시지를 사용자의 음성 입력에 의하여 작성할 수 있는 음성을 이용한 메시지 서비스 제공 방법 및 장치에 관한 것이다. 본 발명의 실시 예에 따르면, 사용자가 운전 중 또는 이동 중과 같이 사용자 디바이스의 조작이 어려운 상황에서 메시지가 수신되었을 때, 메시지 타입에 따른 어플리케이션, IME(Input Method Editor), 그리고 음성 엔진(Voice engine) 간의 상호 연동을 통해 텍스트음성변환(TTS, Text to Speech) 또는 음성텍스트변환(STT, Speech to Text) 기능을 지원하도록 하여, 사용자가 쉽게 수신 메시지에 대한 확인 및 답장이 가능하도록 지원할 수 있다.

본 발명의 실시 예에 따르면, IME에서 다양한 형태로 수신되는 메시지를 처리할 수 있다. 또한 본 발명의 실시 예에 따르면 IME에서 음성 엔진과 연동하여 사용자로부터 입력받은 내용을 이벤트를 발생시킨 해당 통신 어플리케이션의 메시지 내용 입력창에 자동으로 입력시킬 수 있다. 이는 입력 커넥션(input connection)을 가질 수 있는 IME 만의 고유한 기능에 의해 구현될 수 있다.

본 발명의 실시 예에서 상기 메시지는 문자 메시지(SMS message), 멀티미디어 메시지(MMS message), 인스턴트 메시지(instant message), 메일 메시지(mail message) 등과 같은 다양한 타입의 메시지를 포함하며, 이하에서는 설명의 편의상 총칭하여 메시지라고 정의한다. 그리고 본 발명의 실시 예에서 상기 통신 어플리케이션은 다른 사용자와 메시지 송수신을 지원하는 어플리케이션을 나타내며, 문자/멀티미디어 메시지 어플리케이션, 메신저(또는 채팅) 어플리케이션, 메일 어플리케이션, 소셜 네트워크 서비스(SNS, Social Networking Service) 어플리케이션 등을 포함하며, 이하에서는 설명의 편의상 총칭하여 통신 어플리케이션이라고 정의한다.

이하에서, 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로, 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.

도 1은 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.

상기 도 1을 참조하면, 본 발명의 사용자 디바이스는 무선 통신부(110), 사용자 입력부(120), 표시부(130), 오디오 처리부(140), 저장부(150), 인터페이스부(160), 제어부(controller)(170), 그리고 전원 공급부(180)를 포함하여 구성된다. 본 발명의 사용자 디바이스는 도 1에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다.

상기 무선 통신부(110)는 휴대단말과 무선 통신 시스템 사이 또는 사용자 디바이스와 사용자 디바이스가 위치한 네트워크(network) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, Wireless Local Area Network) 모듈(113), 근거리 통신 모듈(115), 위치 산출 모듈(117), 그리고 방송 수신 모듈(119) 등을 포함하여 구성될 수 있다.

이동통신 모듈(111)은 이동 통신 네트워크 상에서 기지국, 외부의 디바이스, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터, 인스턴트 메시지(Instant Message) 송수신에 따른 다양한 형태의 데이터, 그리고 피드 정보 등을 포함할 수 있다.

무선 랜 모듈(113)은 무선 인터넷(internet) 접속 및 다른 사용자 디바이스와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타내는 것으로, 사용자 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 상기 무선 랜 모듈(113)은 무선 인터넷을 통해 본 발명에서 정의되는 메시지를 송신하거나, 수신할 수 있다.

근거리 통신 모듈(115)은 근거리 통신을 위한 모듈을 나타낸다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다.

위치 산출 모듈(115)은 사용자 디바이스의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(115)은 3개 이상의 기지국들로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(115)은 3개 이상의 위성으로부터 사용자 디바이스의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 사용자 디바이스의 위치 정보는 다양한 방법에 의해 획득될 수 있다.

방송 수신 모듈(119)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다.

사용자 입력부(120)는 사용자가 사용자 디바이스의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(touch pad)(정압/정전), 조그 휠(jog wheel), 조그 스위치(jog switch) 등으로 구성될 수 있다.

표시부(130)는 사용자 디바이스에서 처리되는 정보를 표시(출력)한다. 예를 들어, 사용자 디바이스가 통화모드인 경우 통화와 관련된 유저 인터페이스(UI, User Interface) 또는 그래픽 유저 인터페이스(GUI, Graphical UI)를 표시한다. 또한 표시부(130)는 사용자 디바이스가 화상 통화모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 표시부(130)는 내부 또는 외부에서 수집하는 메시지와 관련된 UI 또는 GUI를 표시한다. 특히, 표시부(130)는 통신 어플리케이션을 통해 송수신되는 메시지를 상기 통신 어플리케이션의 실행화면에 표시할 수 있다. 본 발명에서 운용되는 표시부(130)의 화면 구성 및 그의 동작 예시에 대해서는 후술될 것이다.

표시부(130)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 발광 다이오드(Light Emitting Diode, LED), 유기 발광 다이오드(Organic LED, OLED), 능동형 OLED(Active Matrix OLED, AMOLED), 플렉시블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성되는 투명 디스플레이로 구현될 수 있다.

본 발명에 따르면, 표시부(130)와 터치 동작을 감지하는 터치 패널이 상호 레이어(layer) 구조를 이루는 경우(이하, '터치스크린(touchscreen)'이라 칭함)에, 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 패널은 표시부(130)의 특정 부위에 가해진 압력 또는 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 패널은 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 패널에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(touch controller)(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(170)로 전송한다. 이로써, 제어부(170)는 표시부(130)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

오디오 처리부(140)는 제어부(170)로부터 입력 받은 오디오 신호를 스피커(141)로 전송하고, 마이크(143)로부터 입력 받은 음성 등의 오디오 신호를 제어부(170)로 전달하는 기능을 수행한다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(170)의 제어에 따라 스피커(141)를 통해 가청음으로 변환하여 출력하고 마이크(143)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(170)로 전달할 수 있다.

스피커(141)는 통화모드, 녹음모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나, 저장부(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(141)는 사용자 디바이스에서 수행되는 기능(예컨대, 통화신호 수신음, 메시지 수신음, 음악 컨텐츠 재생 등)과 관련된 음향 신호를 출력할 수도 있다.

마이크(143)는 통화모드, 녹음모드, 음성인식 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(111)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(143)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

저장부(150)는 제어부(170)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 전화번호부, 메시지, 오디오, 정지영상, 전자도서, 동영상, 피드 정보, 로그 정보 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(150)에는 상기 데이터들 각각에 대한 사용 빈도(예컨대, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도 등) 및 중요도도 함께 저장될 수 있다. 또한 저장부(150)에는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. 특히, 저장부(150)는 통신 어플리케이션을 통해 전송 또는 수신하는 메시지 및 메시지의 송신 또는 수신에 따른 로그 정보를 실행되는 통신 어플리케이션에 매핑하여 저장할 수 있다. 또한 저장부(170)는 후술하는 도 2의 플랫폼(platform)을 저장할 수도 있다.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등)와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 휴대단말은 인터넷 상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(160)는 사용자 디바이스에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 사용자 디바이스 내부의 각 구성 요소에 전달하거나, 사용자 디바이스 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다.

제어부(170)는 사용자 디바이스의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(170)는 멀티미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 멀티미디어 모듈을 제어부(170) 내에 구현될 수도 있고, 제어부(170)와 별도로 구현될 수도 있다. 특히, 제어부(170)는 본 발명의 메시지를 수신하고 수신된 메시지에 대한 음성 듣기 또는 음성 답장에 대한 메뉴 선택을 입력받고, 음성 듣기 메뉴 선택 시 수신 메시지의 텍스트를 음성 변환하여 스피커(141)를 통해 출력하고, 음성 답장 메뉴 선택 시 수신 메시지의 타입에 따른 통신 어플리케이션을 실행하고 사용자의 음성을 텍스트 변환하여 통신 어플리케이션의 메시지 입력창에 입력할 수 있다. 즉, 제어부(170)는 본 발명의 음성을 이용한 메시지 입력 및 출력 기능과 관련된 전반적인 제어를 담당한다. 이러한 제어부(170)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 사용자 디바이스의 동작 예시 및 그의 제어 방법에서 설명될 것이다.

전원 공급부(180)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급한다.

한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(170) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

그리고 상기 도 1에 나타낸 본 발명의 사용자 디바이스는 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 사용자 디바이스는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 랩톱 컴퓨터 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 아울러, 본 발명의 기능 제어 방법은 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 디스플레이 디바이스에 적용되어 운용될 수 있다.

도 2는 본 발명의 실시 예에 따른 음성을 이용하여 메시지를 처리하는 플랫폼 구조를 개략적으로 도시한 도면이다.

상기 도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 디바이스의 플랫폼은, 상술한 음성을 이용한 메시지 입력 및 출력과 관련된 다양한 동작을 수행하기 위해 OS(Operating System) 기반의 소프트웨어를 구비할 수 있다. 상기 도 7에 도시된 바와 같이, 본 발명의 실시 예에 따른 사용자 디바이스는 프레임워크(Framework)(210), IME(220), 음성 엔진(230), 그리고 어플리케이션(Application(240)을 포함하여 설계될 수 있다.

상기 프레임워크(210)는 어플리케이션(240) 층 내의 어플리케이션의 기반이 되는 프로그램을 포함할 수 있다. 프레임워크(210)는 어떠한 어플리케이션과도 호환 가능하며, 컴포넌트(component)의 재사용, 이동 또는 교환이 가능할 수 있다. 프레임워크(210)는 지원 프로그램, 다른 소프트웨어 구성 요소들을 연결시켜 주는 프로그램 등을 포함할 수 있다. 예를 들어, 리소스 매니저(resource manager), 어플리케이션의 액티비티(activity)와 관련한 액티비티 매니저(activity manager), 알림 매니저(notification manager), 어플리케이션 사이의 공유 정보를 요약하는 컨텐츠 제공자(content provider), 메시지 매니저(message manager) 등을 포함할 수 있다. 본 발명에서는 상기 프레임워크(210)가 문자/멀티미디어 메시지 관리를 위한 프레임워크, 메신저 관리를 위한 프레임워크, 메일 관리를 위한 프레임워크 등인 것을 예시로 한다.

상기 IME(220)는 사용자의 음성 입력 시 또는 문자 입력 시 텍스트 입력 부분을 제어하는 모듈을 나타낸다. 즉, IME(220)는 사용자가 사용자 디바이스를 이용하여 텍스트를 입력하거나 음성 인터페이스(예컨대, 마이크(143) 등)를 통해 음성을 입력할 시 그에 대응하는 텍스트의 입력을 제어한다. IME(220)는 어플리케이션(240) 층 내의 각 어플리케이션에 대응하게 할당되어 실행될 수도 있다.

상기 음성 엔진(230)은 입력된 신호를 텍스트 또는 음성으로 변환하기 위한 엔진으로, 메시지의 텍스트를 음성으로 변환하는 TTS 엔진과, 음성을 메시지의 텍스트로 변환하는 STT 엔진을 포함하는 프로그램으로 구성될 수 있다. 본 발명에서 음성 엔진(230)은 IME(220)와 연동하여 수신된 메시지의 텍스트를 음성 변환하여 출력하거나, 답장 메시지를 위해 입력된 음성을 텍스트 변환하여 출력할 수 있다.

상기 어플리케이션(240) 층은 사용자 디바이스 내에서 구동되어 표시 가능한 다양한 프로그램을 포함한다. 예를 들어, 사용자 디바이스 내의 다양한 메뉴 등에 관한 UI 어플리케이션과, 외부 장치 또는 네트워크를 통해 다운로드 되어 저장되며, 사용자에 의해 설치 또는 삭제가 자유로운 어플리케이션 등을 포함할 수 있다. 이러한 어플리케이션(240) 층 내의 어플리케이션을 통해, 네트워크 접속에 의한 인터넷 전화 서비스, 주문형 비디오(VOD) 서비스, 웹 앨범 서비스, SNS, 위치기반 서비스(LBS), 지도 서비스, 웹 검색 서비스, 애플리케이션 검색 서비스, 문자/멀티미디어 메시지 서비스, 메일 서비스 등이 수행될 수 있다. 또한, 게임, 일정관리 등 다양한 기능이 수행될 수 있다. 본 발명에서는 상기 어플리케이션(240) 층이 문자/멀티미디어 메시지 어플리케이션, 메신저 어플리케이션, 메일 어플리케이션 등과 같은 통신 어플리케이션인 것을 예시로 한다.

이 외에도, 본 발명의 플랫폼은 OS 커널(kernel)(미도시) 및 미들웨어(middleware)(미도시)를 더 포함할 수 있다. 상기 OS 커널은 OS의 핵심으로써, 사용자 디바이스의 구동 시 하드웨어 드라이버(driver) 구동, 사용자 디바이스 내의 하드웨어와 프로세서의 보안, 시스템 자원의 효율적 관리, 메모리 관리, 하드웨어 추상화에 의한 하드웨어에 대한 인터페이스 제공, 멀티 프로세스, 및 멀티 프로세스에 따른 스케줄 관리 등 중 적어도 하나를 수행할 수 있다. OS 커널(미도시) 내의 하드웨어 드라이버는 디스플레이 드라이버, 와이파이 드라이버, 블루투스 드라이버, USB 드라이버, 오디오 드라이버, 파워 관리자(Power management), 바인더 드라이버(Binder Driver), 메모리 드라이버 등 중 적어도 하나를 포함할 수 있다. 상기 미들웨어(미도시)는 OS 커널과 어플리케이션(240) 증 사이에 위치하여, 다른 하드웨어 또는 소프트웨어 간에, 데이터를 주고받을 수 있도록 중간에서 매개 역할을 할 수 있다. 이에 의해, 표준화된 인터페이스 제공이 가능하며, 다양한 환경 지원, 및 체계가 다른 업무와 상호 연동이 가능해질 수 있다.

한편, 본 발명의 실시 예에서는 문자/멀티미디어 메시지, 인스턴트 메시지, 메일 메시지 등과 같은 메시지가 수신될 때, IME(220)가 음성인식 기능인 TTS 또는 STT를 통하여 수신된 메시지에 대한 확인 및 답장을 쉽게 처리할 수 있도록 한다.

예를 들어, 본 발명의 플랫폼에서 IME(220)는 무선 통신부(110)를 통해 수신되는 메시지를 프레임워크(210)를 통해 전달되면, 발신자 정보(예컨대, 전화번호, 발신 사용자 아이디, 채팅 대화 방, 메일 주소 등)와 메시지 내용 등을 파싱하여 획득할 수 있다. 그리고 IME(220)는 신규 메시지가 수신되었을 때, 후술하는 도 4에서와 같이 팝업 창(400)을 통하여 사용자에게 피드백(feedback) 할 수 있다. 즉, IME(220)는 메시지의 수신 이벤트(incoming event)를 무선 통신부(110)를 통하여 받아 올 수 있으며, 본 발명에서 IME(220)를 이용하여 수신 이벤트에 따른 메시지를 처리하는 이유는 아래와 같이 정의될 수 있다.

특히, 메시지의 특성 상 여러 다른 사용자와 메시지를 송수신함에 따라 메시지의 송수신에 따른 대화 형태의 채팅 히스토리(history)를 유지하여야 하고, 다양한 메시지(문자/멀티미디어 메시지, 메신지 메시지, 메일 메시지 등)를 지원할 수 있어야 하는데, IME(220)의 아래와 같은 특징에 의하여 상술한 기능을 지원할 수 있기 때문이다. 즉, IME(220)에서는 입력 커넥션(IC, Input connection)의 연결이 가능하여, 문자/멀티미디어 메시지, 메신저 어플리케이션, 메일 어플리케이션 등의 텍스트 입력창에 텍스트를 입력시킬 수 있다는 특징과, IME(220)는 서비스 형태로 항상 사용자 디바이스에서 실행되어지고 있는 데몬(demon) 형태 즉, 사용자 디바이스에 상주하여 어플리케이션이나 시스템이 특정한 상태로 되었을 때 자동적으로 각종 서비스를 제공하는 시스템 프로그램 형태로 명시적인 가동 및 호출 절차를 불필요로 한다는 특징을 가지고 있다.

구체적으로 살펴보면, 먼저 사용자 디바이스의 키패드에서 입력한 글자들이 어플리케이션의 입력창에 입력되기 위해서는 키패드와 어플리케이션의 입력창 간에 입력 커넥션(IC)이라는 연결이 생성되어야 한다. 즉, 입력 커넥션은 IME(220)만의 고유한 영역으로, 입력받은 텍스트 등을 입력 커넥션(IC)과 연결된 어플리케이션의 입력창에 텍스트(글자)를 입력시킬 수 있다.

그리고 문자/멀티미디어 메시지, 메신저 메시지, 및 메일 메시지 등과 같은 메시지가 인입되는 것을 알기 위해서는 데몬 형태로 항상 동작하는 있는 서비스 형태의 프로세스이어야 한다. 따라서 새로운 데몬 서비스를 만들어 유지하는 것보다는 사용자 디바이스에 구현된 IME(220)와 같이 데몬 형태로 항상 상주 및 실행되고 있는 어플리케이션을 이용하는 것이 보다 효율적일 수 있다.

그리고 입력 커넥션과 연결된 어플리케이션, 즉 본 발명에서는 문자/멀티미디어 메시지 어플리케이션, 메신지 어플리케이션, 및 메일 어플리케이션 등과 같은 통신 어플리케이션의 입력창에 텍스트를 입력하여야 하는 이유는 현재 사용자들이 메시지를 사용하는 패턴을 보면 자명하게 알 수 있다. 예를 들어, 사용자 디바이스에서 문자 메시지 등은 채팅 화면을 컨셉으로 하여, 특정 대화 상대방과 대화 내용이 대화 형태로 로그(log)를 남기게 된다. 따라서 IME(220)의 입력 커넥션(IC)을 통해 연결되는 해당 어플리케이션의 입력창을 통하여 답장 메시지를 전송하지 않는다면, 대화 히스토리에 답장의 흔적을 남길 수 없게 되는 문제점이 있으며, IME(2200)에 의한 메시지 관리를 통해 이를 해소할 수 있다.

그리고 각 통신 어플리케이션의 키패드는 입력 커넥션(IC) 없이 입력이 가능하기 때문에, 메시지 송수신에 따른 메시지 히스토리를 관리할 수도 있다. 그러나 본 발명에서와 같이 수신 메시지에 대한 음성 듣기 및 음성 답장을 위한 TTS 및 STT 등을 구현하기 위해서는 해당 통신 어플리케이션에서 TTS 및 STT 구현을 위한 구성을 모두 가지고 있어야 하며, 또는 각 통신 어플리케이션은 자시과 관련된 메시지 타입의 내용만을 처리할 수 있는 제한이 있다. 따라서 이를 IME(220)에서 자체 처리한다면, 하나의 모듈로 사용자 디바이스에서 지원하는 다양한 메시지(문자/멀티미디어 메시지, 메신지 메시지, 메일 메시지 등)로부터 수신되는 다양한 타입의 메시지들을 모두 처리할 수 있게 된다.

이하에서는, 상기 도 2에 도시된 바와 같은 본 발명의 플랫폼에서 각 모듈 간의 인터랙션(interaction)을 수행하는 예시를 살펴보기로 한다.

먼저, 상기 도 2를 참조하여 WAP(Wireless Application Protocol) 푸시(push)를 이용하는 경우에 푸시 메시지가 WAP 게이트웨어(Gateway)의 푸시 어플리케이션 서버(Push Application Server)(또는 웹 서버(Web Server))에서 생성되어 사용자 디바이스로 전송되는 경우를 예시로 한다. 여기서, 푸시 어플리케이션 서버(또는 웹 서버)는 뉴스, 경기 스코어, 날씨, 이동통신사의 고객관리 시스템(CSBS, Customer Service Billing System) 등의 서버를 포함할 수 있다.

푸시 어플리케이션 서버(또는 웹 서버)는 PDU(Protocol Data Unit) 포맷(format)으로 메시지를 생성하여 사용자 디바이스에게 전송할 수 있다. 그러면, 사용자 디바이스 푸시 어플리케이션 서버(또는 웹 서버)로부터 상기 메시지를 무선 통신부(110)를 통해 수신하고, 수신된 메시지는 프레임워크(210)(특히, 메시지 프레임워크) 중 메시지 타입에 대응하는 프레임워크를 통해 어플리케이션(240) 층으로 전달된다. 예를 들어, 문자 메시지가 수신될 시 문자 메시지와 관련된 프레임워크를 통해 문자 메시지 어플리케이션으로 전달될 수 있다.

그리고 본 발명의 실시 예에 따라, 수신된 메시지는 프레임워크(21)를 통해 IME(220)에게도 전달된다. 즉, IME(220)는 수신된 메시지를 푸시 받게 된다. 이때, 수신된 메시지에 대한 팝업 창(400)이 표시부(130)를 통해 출력된다.

그러면, 사용자는 팝업 창(400)을 통해 "음성 듣기" 또는 "음성 답장" 중 어느 하나의 메뉴를 선택하여 해당 기능을 실행할 수 있다. 이때, IME(220)는 사용자의 메뉴 선택에 대응하여 IME(220)와 연결된 음성 엔진(230)을 통해 "음성 듣기"에 따른 TTS 음성 변환 또는 "음성 답장"에 따른 STT 텍스트 변환을 통해 수신 메시지에 대한 확인 또는 수신 메시지에 대한 답장 메시지를 작성하게 된다. 여기서, 사용자로부터 IME(220)와 연결된 음성 엔진(230)을 통해 STT를 통해 입력되는 텍스트는 해당 어플리케이션(예컨대, 문자 메시지 어플리케이션)으로 전달되어 최종 상대방에게 전달되어질 수 있다.

한편, 이상에서 살펴본 바와 같은 플랫폼은 본 발명의 사용자 디바이스는 물론, 그 외 다양한 전자기기에서 범용으로 사용 가능하다. 그리고 본 발명의 플랫폼은 앞서 살펴본 바와 같은 저장부(150) 및 제어부(170) 중 적어도 하나 또는 별도의 프로세서(미도시)에, 저장 또는 탑재(loading)될 수도 있다. 또한, 어플리케이션 실행을 위한 별도의 어플리케이션 프로세서(미도시)가 더 구비될 수도 있다.

도 3은 본 발명의 실시 예에 따른 사용자 디바이스가 음성을 이용하여 메시지를 처리하는 과정을 도시한 흐름도이다.

상기 도 3을 참조하면, 제어부(170)는 메시지 수신이 입력되면(301단계), 메시지 수신을 알리는 팝업 창 출력을 제어할 수 있다(303단계). 이때, 제어부(170)는 메시지의 타입을 추정하고, 메시지 타입에 대응하는 메시지 프레임워크 및 통신 어플리케이션을 관리할 수 있다. 본 발명에서 상기 메시지는 문자 메시지, 멀티미디어 메시지, 인스턴트 메시지, 그리고 메일 메시지 등을 포함하며, 상기 프레임워크는 문자 메시지 프레임워크, 멀티미디어 메시지 프레임워크, 인스턴트 메시지 프레임워크, 그리고 메일 프레임워크 등을 포함하며, 상기 통신 어플리케이션은 문자/멀티미디어 메시지 어플리케이션, 메신저(또는 채팅) 어플리케이션, 그리고 메일 어플리케이션 등을 포함할 수 있다.

제어부(170)는 팝업 창을 통해 메뉴 선택이 있는지 체크할 수 있다(307단계). 즉, 제어부(170)는 상기 팝업 창을 통해 제공되는 <음성 듣기> 및 <음성 답장> 메뉴 중 어느 하나의 메뉴를 선택하는 입력 수신을 대기할 수 있다.

제어부(170)는 메뉴 선택이 없으면(307단계의 NO) 해당 동작 수행을 제어할 수 있다(305단계). 예를 들어, 제어부(170)는 상기 팝업 창 출력에 따른 시간을 카운트하고, 미리 설정된 시간동안 메뉴 선택이 없으면 표시부(130)를 턴-오프(turn-off) 제어할 수 있다. 그리고 제어부(170)는 표시부(130)의 턴-오프 시 설정된 주기 및 횟수에 대응하게 수신 메시지에 대한 알람(예컨대, 진동, 소리, 화면 중 적어도 하나)을 출력을 제어할 수 있다. 또는 제어부(170)는 사용자 입력에 따라 메시지에 대응하는 통신 어플리케이션을 실행하고, 실행된 통신 어플리케이션을 통해 수신 메시지의 내용 표시를 제어할 수도 있다.

제어부(170)는 메뉴 선택이 있으면(307단계의 YES), 선택된 메뉴의 타입을 판별할 수 있다(309단계). 즉, 제어부(170)는 <음성 듣기> 메뉴의 선택인지 <음성 답장> 메뉴의 선택인지 결정할 수 있다.

제어부(170)는 선택된 메뉴가 <음성 듣기> 메뉴인 것으로 결정하면(309단계의 NO) 메시지를 파싱(parsing)할 수 있다(311단계). 예를 들어, 제어부(170)는 <음성 듣기> 메뉴가 선택될 시 수신된 메시지의 내용(예컨대, 텍스트)을 추출할 수 있다. 이때, 제어부(170)는 상기 메시지의 발신자 정보(예컨대, 전화번호, 발신 사용자 아이디, 채팅 대화 방, 메일 주소 등)를 추출할 수도 있다.

제어부(170)는 파싱된 내용을 음성 엔진(230)을 통해 음성 변환한 후 변환된 음성을 스피커(141)를 통해 출력 제어할 수 있다(313단계). 이때, 제어부(170)는 파싱된 정보를 프레임워크(210)를 통해 IME(220)에게 전달하고, IME(220)는 음성 엔진(230)을 가동하여 텍스트의 음성 변환 및 그의 출력이 처리되도록 연동될 수 있다.

제어부(170)는 변환된 음성이 출력될 시 메시지 수신에 따른 로그를 기록할 수 있다(315단계). 특히, IME(220)는 상기 제어부(170)의 제어에 따라 변환된 음성이 스피커(141)를 통해 출력되면, 메시지 타입에 대응하는 통신 어플리케이션에 매핑하여 메시지 수신에 따른 로그를 기록할 수 있다. 이때, 제어부(170)는 상기 팝업 창 표시 상태를 유지할 수 있다.

제어부(170)는 수신 메시지에 대한 음성 출력 및 로그 기록 후 <음성 답장> 메뉴의 선택이 있는지 확인할 수 있다(317단계). 그리고 제어부(170)는 <음성 답장> 메뉴를 선택하는 입력이 수신될 시(317단계의 YES), 321단계로 진행하여 이하의 동작 수행을 제어할 수 있다. 또한 제어부(170)는 <음성 답장> 메뉴를 선택하는 입력이 수신되지 않을 시(317단계의 NO) 해당 동작 수행을 제어할 수 있다(319단계). 예를 들어, 제어부(170)는 상기 팝업 창 출력에 따른 시간을 카운트하고, 미리 설정된 시간동안 메뉴 선택이 없으면 표시부(130)를 턴-오프 제어할 수 있다.

제어부(170)는 선택된 메뉴가 <음성 답장> 메뉴인 것으로 결정하면(309단계의 YES) 음성 엔진(230)을 통해 음성을 입력받고(321단계), 입력된 음성의 파싱(323단계)을 통해 텍스트를 생성할 수 있다(325단계). 즉, 제어부(170)는 마이크(143)를 통해 사용자 음성이 입력되면 입력된 음성을 음성 엔진(230)을 통해 텍스트 변환할 수 있다. 이때, IME(220)가 음성 엔진(230)을 가동하여 음성의 텍스트 변환 및 그의 생성이 처리되도록 연동될 수 있다.

제어부(170)는 메시지 타입을 확인하고(327단계), 상기 메시지의 타입에 대응하는 통신 어플리케이션을 호출할 수 있다(329단계). 예를 들어, 제어부(170)는 메시지의 타입이 문자 메시지인 경우 문자 메시지 어플리케이션을 호출하고, 메시지의 타입이 인스턴트 메시지인 경우 메신저(또는 채팅) 어플리케이션을 호출하고, 메시지의 타입이 메일인 경우 메일 어플리케이션을 호출할 수 있다. 특히, 제어부(17)는 통신 어플리케이션과 입력 커넥션을 통해 연결되는 IME를 통해 메시지 타입에 대응하는 통신 어플리케이션을 호출할 수 있다. 이때, 제어부(170)는 앞서 메시지 수신 단계에서 추정된 메시지 타입을 확인하고, 메시지 타입에 대응하는 프레임워크(210)를 통해 상기 확인된 통신 어플리케이션의 실행을 푸시(push)할 수 있다.

제어부(170)는 호출된 통신 어플리케이션을 통해 상기 변환된 텍스트를 이용한 답장 메시지를 작성할 수 있다(331단계). 예를 들어, 제어부(170)는 메시지 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하고, 앞서 추출된 발신자 정보를 수신자 입력창에 입력하여 메시지를 작성할 수 있다. 또는 제어부(170)는 메신저 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하고, 앞서 추출된 채팅 대화방 화면을 표시할 수 있다. 이때, IME(220)는 실행하는 통신 어플리케이션에 음성 엔진(230)을 통해 변환된 텍스트를 전달하여 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하여 나타낼 수 있다.

제어부(170)는 작성된 답장 메시지를 전송할 수 있다(334단계). 예를 들어, 제어부(170)는 사용자의 메시지 전송 버튼 입력을 수신하고, 상기 전송 버튼 입력에 응답하여 상기 작성된 답장 메시지를 해당 수신처로 전송할 수 있다. 또는 제어부(170)는 사용자의 음성 명령어 입력을 수신하고, 상기 음성 명령에 응답하여 상기 작성된 답장 메시지를 해당 수신처로 전송할 수도 있다.

제어부(170)는 답장 메시지가 전송될 시 메시지 송수신에 따른 로그를 기록할 수 있다(335단계). 특히, IME(220)는 상기 제어부(170)의 제어에 따라 답장 메시지가 무선 통신부(110)를 통해 전송되면, 실행된 통신 어플리케이션에 매핑하여 메시지 수신 및 송신에 따른 로그를 기록할 수 있다.

도 4 내지 도 7은 본 발명의 실시 예에 따른 사용자 디바이스의 동작 화면 예시를 도시한 도면들이다.

상기 도 4 내지 도 7을 참조하면, 상기 도 4는 외부의 특정 메시지 서버로부터 메시가 수신된 경우의 사용자 디바이스의 화면 예시를 나타낸 것이다. 즉, 메시지 서버로부터 메시지가 수신되고, 수신된 메시지에 대한 정보를 팝업 창(400)을 통해 표시하고 있는 상태일 수 있다. 상기 팝업 창(400)은 도 4와 같이 메시지 정보 영역(410)에 팝업 정보(예컨대, 메시지 수신 알림 정보, 메시지 발신자 정보, 메시지 내용 등)를 표시하고, 음성 듣기 또는 음성 답장 기능 수행을 위한 음성 듣기 메뉴 버튼(430)과 음성 답장 메뉴 버튼(450)을 제공한다.

그리고 사용자는 팝업 창(400)에서 어느 하나의 메뉴 버튼(430, 450)을 선택할 수 있다. 예를 들어, 사용자는 팝업 창(400)에서 "음성 듣기" 및 "음성 답장" 중 어느 하나를 수행하기 위한 버튼을 선택할 수 있다. 사용자가 음성 듣기 메뉴 버튼(430)을 선택하면, 앞서와 같은 절차에 따라 메시지의 텍스트가 음성 변환되고 변환된 음성이 스피커(141)를 통해 출력될 수 있다. 이때, 변환된 음성 출력 시 상기 도 4와 같은 화면은 유지될 수 있다. 반면, 사용자가 음성 답장 메뉴 버튼(450)을 선택하면, 사용자 디바이스의 화면은 도 5와 같이 전환될 수 있다.

도 5는 팝업 창(400)에서 음성 답장 기능을 통해 답장 메시지 작성을 위한 "음성 답장 메뉴 버튼(450)이 선택된 경우의 사용자 디바이스의 화면 예시를 도시한 것이다. 즉, 도 5는 사용자가 음성 답장 메뉴 버튼(450)을 선택했을 때의 사용자 디바이스의 화면 예시를 나타낸 것으로, 상기 팝업 창(400)이 음성 입력을 가이드 하는 가이드 창(500)으로 전환되어 나타날 수 있다. 이때, 상기 가이드 창(500)과 함께 음성 입력을 가이드 하는 가이드 음성이 스피커(141)를 통해 함께 출력될 수 있다.

그리고 사용자는 가이드 창(500)을 통한 가이드에 따라 작성하고자 하는 메시지의 내용을 음성으로 입력할 수 있다. 예를 들어, 사용자는 "네 말씀하세요"의 음성을 입력할 수 있다. 그리고 사용자 디바이스는 사용자의 음성 입력에 따라 도 6과 같은 통신 어플리케이션 화면을 표시한다. 즉, 상기 도 5에 나타낸 사용자 디바이스의 화면은 사용자의 음성 입력이 완료될 시 상기 도 6과 같이 전환된다.

도 6은 사용자가 가이드 창(500)의 가이드에 따라 음성을 입력했을 때의 사용자 디바이스의 화면 예시를 나타낸 것이다. 상기 도 6에 도시된 바와 같이, 상기 도 6의 실시 예에서는 통신 어플리케이션이 메신저 어플리케이션인 것을 가정한다. 즉, 수신된 메시지의 타입이 메신저 어플리케이션과 연동되는 메시지이고, 그에 따라 답장 메시지 작성을 위한 통신 어플리케이션으로 상기 메신저 어플리케이션이 자동 실행될 수 있다. 따라서 사용자의 입력 음성 "네 말씀하세요"가 변환된 텍스트가 메신저 어플리케이션의 메시지 내용 입력창(600)에 자동 입력되어 나타날 수 있다.

그리고 사용자는 메시지 내용 입력창(600)에 사용자 음성 입력에 대응하는 텍스트가 입력되어 나타나면, 입력된 메시지 내용(텍스트)을 전송할 수 있다. 예를 들어, 사용자는 작성된 메시지의 내용을 전송할 수 있는 버튼(예컨대, 메시지 내용 입력창(600) 옆의 전송 버튼)을 입력하거나, 또는 음성 명령어(예컨대, 전송)를 이용하여 작성된 메시지 내용을 전송할 수 있다. 그러면, 사용자의 전송 입력에 의해 답장 메시지는 상대방 사용자 디바이스에게 전송될 수 있다.

도 7은 사용자 디바이스가 사용자의 답장 메시지 전송에 응답하여 텍스트 변환된 답장 메시지를 메신저 어플리케이션을 통해 상대 사용자 디바이스에게 전송한 경우, 상기 사용자 디바이스의 화면 예시를 나타낸 것이다. 즉, 상기 도 7은 사용자 디바이스가 메신저 어플리케이션을 통해 답장 메시지를 전송할 시, 상기 답장 메시지의 내용이 메신저 채팅 화면에 입력된 사용자 디바이스의 화면 예시를 도시한 것이다.

이상에서 도 4 내지 도 7에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면, 메시지가 수신될 시 팝업 창(400)을 통해 "음성 듣기"와 "음성 답장" 기능을 제공하여, 사용자로 하여금 TTS 기능를 통하여 수신 메시지를 확인하거나, STT를 통하여 답장 메시지를 작성할 수 있도록 지원한다.

즉, 사용자가 수신 메시지에 대한 팝업 창(400)에서 "음성 듣기"를 선택하는 경우, IME(220)는 음성엔진(230)과 연동하고, 음성엔진(230)을 통해 수신된 메시지의 텍스트를 TTS 음성 변환하고, 텍스트에 대응하는 음성을 읽어 준다. 이로 인하여, 사용자는 운전 중 또는 이동 중과 같이 사용자 디바이스 조작이 어려운 상황에서도 수신 메시지를 눈으로 확인하는 불편함을 대체할 수 있다.

또한 사용자가 수신 메시지에 대한 팝업 창(400)에서 "음성 답장"을 선택하는 경우, IME(220)는 음성엔진(230)과 연동하고, 음성엔진(230)을 통해 입력된 사용자 음성을 STT 텍스트 변환하고, 음성에 대응하는 텍스트로 답장 메시지의 내용을 생성하여 삽입한다. 즉, 발신 사용자가 메시지를 전송한 통신 어플리케이션을 자동 추적 및 실행하여 사용자의 음성에 대응하는 텍스트를 자동으로 입력하여 제공할 수 있다. 이로 인하여, 사용자는 사용자 디바이스의 조작 없이 간편하게 수신자에게 답장 메시지를 전송할 수 있게 된다.

한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 무선 통신부 120: 사용자 입력부
130: 표시부 140: 오디오 처리부
150: 저장부 160: 인터페이스부
170: 제어부 180: 전원 공급부
210: 프레임워크 220: IME
230: 음성 엔진 240: 어플리케이션
400: 팝업 창 500: 가이드 창
600: 메시지 내용 입력창

Claims (20)

1. 사용자 디바이스의 메시지 서비스 지원 방법에 있어서,
   상대방 사용자 디바이스로부터 메시지가 수신되면 상기 메시지에 관련된 정보와, 상기 메시지에 관련된 기능을 선택받기 위한 음성 듣기 메뉴와 음성 답장 메뉴를 포함하는 팝업 창을 표시부를 통해 표시하는 과정;
   상기 표시 중인 팝업 창에서 음성 듣기 메뉴가 선택되면 IME(Input Method Editor)에 연결된 음성 엔진에 기반하여 상기 메시지의 내용을 음성 변환하여 스피커를 통해 출력하는 과정;
   상기 표시 중인 팝업 창에서 음성 답장 메뉴가 선택되면 마이크를 통해 사용자로부터 입력된 음성을 상기 IME에 연결된 음성 엔진에 기반하여 텍스트로 변환하는 과정;
   상기 메시지의 타입을 확인하고, 상기 메시지의 타입에 관련된 프레임워크를 통해 상기 메시지에 관련된 통신 어플리케이션을 실행하고, 상기 팝업 창을 포함하는 화면을 메시지 내용 입력창을 포함하는 통신 어플리케이션 화면으로 전환하여 표시하는 과정;
   상기 IME를 통해 상기 변환된 텍스트를 상기 통신 어플리케이션에 전달하여, 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하여 표시하는 과정; 및
   상기 통신 어플리케이션의 메시지 내용 입력창을 통해 표시된 상기 변환된 텍스트에 대한 사용자의 메시지 전송 입력을 수신하고, 상기 전송 입력에 응답하여 상기 메시지 내용 입력창에 입력된 상기 텍스트를 상기 메시지에 대응하는 답장 메시지로서 상기 상대방 사용자 디바이스로 전송하는 과정을 포함하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
2. 제1항에 있어서, 상기 스피커를 통해 출력하는 과정은,
   변환된 음성을 출력할 시 상기 메시지 수신에 따른 로그(log)를 기록하는 과정을 포함하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
3. 제2항에 있어서,
   상기 통신 어플리케이션과 입력 커넥션(Input Connection)을 통해 연결되는 상기 IME가 상기 메시지의 타입에 대응하는 상기 통신 어플리케이션에 매핑하여 상기 메시지 수신에 따른 로그를 기록하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
4. 제2항에 있어서, 상기 스피커를 통해 출력하는 과정은,
   상기 변환된 음성을 출력하는 동안 상기 팝업 창의 표시 상태를 유지하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
5. 제4항에 있어서,
   상기 변환된 음성을 출력한 후 상기 표시부에 표시 중인 상기 팝업 창에 기반하여 상기 음성 답장 메뉴 선택을 입력받는 과정을 더 포함하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
6. 제1항에 있어서, 상기 텍스트로 변환하는 과정은
   상기 음성 답장 메뉴가 선택되면, 상기 IME가 상기 IME에 연결된 상기 음성 엔진을 가동하여 사용자로부터 입력된 음성을 텍스트로 변환하고, 상기 IME가 상기 변환된 텍스트를 상기 통신 어플리케이션에게 전달하는 과정을 포함하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
7. 제1항에 있어서, 상기 변환된 텍스트를 입력하여 표시하는 과정은
   상기 통신 어플리케이션을 통해 상기 변환된 텍스트를 이용한 상기 답장 메시지를 생성하는 과정인 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
8. 제7항에 있어서, 상기 전송하는 과정은
   사용자의 메시지 전송 버튼 입력 또는 사용자의 음성 명령어 입력에 응답하여 상기 답장 메시지를 전송하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
9. 제8항에 있어서,
   상기 답장 메시지를 전송할 시 상기 메시지 수신 및 메시지 전송에 따른 로그를 기록하는 과정을 포함하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
10. 제9항에 있어서,
    상기 통신 어플리케이션과 입력 커넥션을 통해 연결되는 상기 IME가 상기 통신 어플리케이션에 매핑하여 상기 메시지 수신 및 메시지 전송에 따른 로그를 기록하는 것을 특징으로 하는 사용자 디바이스의 메시지 서비스 지원 방법.
11. 표시부;
    무선 통신부;
    적어도 하나의 프로그램이 저장되는 저장부; 및
    상기 적어도 하나의 프로그램을 실행하여 음성을 이용한 메시지 서비스를 지원하도록 제어하는 제어부를 포함하고, 상기 제어부는,
    상기 무선 통신부를 통해 상대방 사용자 디바이스로부터 메시지가 수신되면 상기 메시지에 관련된 정보와, 상기 메시지에 관련된 기능을 선택받기 위한 음성 듣기 메뉴와 음성 답장 메뉴를 포함하는 팝업 창을 상기 표시부를 통해 표시하고,
    상기 표시 중인 팝업 창에서 음성 듣기 메뉴가 선택되면 IME(Input Method Editor)에 연결된 음성 엔진에 기반하여 상기 메시지의 내용을 음성 변환하여 스피커를 통해 출력하고,
    상기 표시 중인 팝업 창에서 음성 답장 메뉴가 선택되면 마이크를 통해 사용자로부터 입력된 음성을 상기 IME에 연결된 음성 엔진에 기반하여 텍스트로 변환하고,
    상기 메시지의 타입을 확인하고, 상기 메시지의 타입에 관련된 프레임워크를 통해 상기 메시지에 관련된 통신 어플리케이션을 실행하고, 상기 팝업 창을 포함하는 화면을 메시지 내용 입력창을 포함하는 통신 어플리케이션 화면으로 전환하여 표시하고,
    상기 IME를 통해 상기 변환된 텍스트를 상기 통신 어플리케이션에 전달하여, 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하여 표시하고, 및
    상기 통신 어플리케이션의 메시지 내용 입력창을 통해 표시된 상기 변환된 텍스트에 대한 사용자의 메시지 전송 입력을 수신하고, 상기 전송 입력에 응답하여 상기 메시지 내용 입력창에 입력된 상기 텍스트를 상기 메시지에 대응하는 답장 메시지로서 상기 상대방 사용자 디바이스로 전송하도록 설정된 것을 특징으로 하는 사용자 디바이스.
12. 제11항에 있어서, 상기 제어부는,
    상기 IME에 연결된 상기 음성 엔진에 기반하여 상기 메시지의 음성 변환에 의한 출력을 제어하고, 입력 음성의 텍스트 변환에 의한 입력을 통해 상기 메시지에 대응하는 답장 메시지의 작성을 제어하는 것을 특징으로 하는 사용자 디바이스.
13. 제12항에 있어서, 상기 저장부는,
    사용자의 음성 입력 시 또는 문자 입력 시 텍스트 입력 부분을 제어하는 상기 IME를 포함하는 것을 특징으로 하는 사용자 디바이스.
14. 제13항에 있어서, 상기 IME는
    상기 메시지가 수신되는 이벤트를 감지하고,
    상기 팝업 창을 통해 음성 듣기 메뉴가 선택될 시 상기 IME에 연결된 상기 음성 엔진을 가동하여 상기 메시지의 내용을 음성으로 변환하여 출력하고,
    상기 팝업 창을 통해 음성 답장 메뉴가 선택될 시 상기 IME에 연결된 상기 음성 엔진을 가동하여 사용자로부터 입력된 음성을 텍스트로 변환하여 상기 통신 어플리케이션으로 전달하는 것을 특징으로 하는 사용자 디바이스.
15. 제14항에 있어서, 상기 IME는
    상기 이벤트를 발생시킨 해당 통신 어플리케이션과 연동하여 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하여 표시하는 것을 특징으로 하는 사용자 디바이스.
16. 제15항에 있어서,
    상기 IME는 입력 커넥션(Input Connection)을 통해 상기 통신 어플리케이션과 연결되는 것을 특징으로 하는 사용자 디바이스.
17. 제16항에 있어서, 상기 IME는
    변환된 음성을 출력할 시 상기 입력 커넥션을 통해 연결된 통신 어플리케이션 중 상기 메시지의 타입에 대응하는 상기 통신 어플리케이션에 매핑하여 상기 메시지 수신에 따른 로그(log)를 기록하는 것을 특징으로 하는 사용자 디바이스.
18. 제16항에 있어서, 상기 IME는
    상기 답장 메시지를 전송할 시 상기 입력 커넥션을 통해 연결된 통신 어플리케이션 중 상기 이벤트를 발생시킨 상기 통신 어플리케이션에 매핑하여 상기 메시지 수신 및 메시지 전송에 따른 로그를 기록하는 것을 특징으로 하는 사용자 디바이스.
19. 제14항에 있어서, 상기 IME는
    상기 사용자 디바이스에서 실행되어 데몬(demon) 형태로 상주하는 것을 특징으로 하는 사용자 디바이스.
20. 메시지가 수신되면 상기 메시지에 관련된 정보와, 상기 메시지에 관련된 기능을 선택받기 위한 음성 듣기 메뉴와 음성 답장 메뉴를 포함하는 팝업 창을 표시부를 통해 표시하고, 상기 팝업 창을 통해 상기 음성 듣기 메뉴가 선택되면 IME(Input Method Editor)에 연결된 음성 엔진에 기반하여 상기 메시지의 내용을 음성 변환하여 스피커를 통해 출력하고, 상기 팝업 창을 통해 상기 음성 답장 메뉴가 선택되면 마이크를 통해 사용자로부터 입력된 음성을 상기 IME에 연결된 음성 엔진에 기반하여 텍스트로 변환하고, 상기 메시지의 타입을 확인하고, 상기 메시지의 타입에 관련된 프레임워크를 통해 상기 메시지에 관련된 통신 어플리케이션을 실행하고, 상기 팝업 창을 포함하는 화면을 메시지 내용 입력창을 포함하는 통신 어플리케이션 화면으로 전환하여 표시하고, 상기 IME를 통해 상기 변환된 텍스트를 상기 통신 어플리케이션에 전달하여, 상기 통신 어플리케이션의 메시지 내용 입력창에 상기 변환된 텍스트를 입력하여 표시하고, 상기 통신 어플리케이션의 메시지 내용 입력창을 통해 표시된 상기 변환된 텍스트에 대한 사용자의 메시지 전송 입력을 수신하고, 상기 전송 입력에 응답하여 상기 메시지 내용 입력창에 입력된 상기 텍스트를 상기 메시지에 대응하는 답장 메시지로서 전송하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.

Images