WO2014133225A1 - 음성 메시지 제공 방법, 이를 위한 장치 및 시스템 - Google Patents

음성 메시지 제공 방법, 이를 위한 장치 및 시스템 Download PDF

Info

Publication number
WO2014133225A1
WO2014133225A1 PCT/KR2013/005080 KR2013005080W WO2014133225A1 WO 2014133225 A1 WO2014133225 A1 WO 2014133225A1 KR 2013005080 W KR2013005080 W KR 2013005080W WO 2014133225 A1 WO2014133225 A1 WO 2014133225A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice message
message
terminal
text
voice
Prior art date
Application number
PCT/KR2013/005080
Other languages
English (en)
French (fr)
Inventor
오길훈
권기택
김희용
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2014133225A1 publication Critical patent/WO2014133225A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/5322—Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording text messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533—Voice mail systems
    • H04M3/53333—Message receiving aspects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60—Medium conversion

Definitions

  • the present invention relates to a method for providing a voice message, and more particularly, when a voice message is received from any one terminal through a messenger program, the voice message is recognized and converted into a text message according to a recognized result.
  • the present invention relates to a method for providing a voice message which can generate and display a text message including the extracted keyword after extracting a keyword satisfying a preset condition from the voice message.
  • the mobile communication terminal can be used in addition to basic voice communication functions such as data communication, taking a picture or video using a camera, playing a music or video file, playing a game, watching a broadcast, and the like. Is being implemented.
  • the present invention has been proposed to solve the above-described problems, and in particular, to solve the problem that it is difficult to grasp the contents of the voice message transmitted and received through the messenger program, the voice message from any one terminal through the messenger program When received, the voice message is recognized and converted into a text message according to the recognized result, and after extracting a predetermined keyword from the voice message, a voice message that can generate and display a text message including the extracted keyword is provided. It is an object of the present invention to provide a method, an apparatus and a system therefor.
  • Terminal for achieving the above object includes an output unit for outputting information generated during the execution of the messenger program; And functionally connected to the output unit, and when a voice message is applied while executing the messenger program, recognizes the converted voice message and converts it into text, extracts a keyword satisfying a predetermined condition from the converted text, and then And a controller for generating a text message including the extracted keyword and controlling the generated text message to be output through the output unit.
  • the terminal comprises a voice recognition unit for generating a voice message by performing a voice recording at the user's request; And a communication unit configured to transmit / receive information generated through the messenger program with one or more counterpart terminals, wherein the controller is configured to receive a voice message through the voice recognition unit or, when the voice message is applied through the communication unit, the authorization unit.
  • Voice messages can be recognized and converted into text.
  • the control unit recognizes the authorized voice message and converts it into text. After extracting a keyword that satisfies a preset condition, a text message including the extracted keyword may be generated, and the generated text message may be controlled to be transmitted through the communication unit to one or more counterpart terminals connected through the chat window screen. have.
  • the controller may control a voice message to be generated by requesting the voice recognition unit to generate a voice message when a user input corresponding to a preset condition is detected while executing the messenger program.
  • the user input corresponding to the preset condition may be any one of a touch, a swipe, a drag and drop, a gesture, a gaze movement, and a shake in a specific direction.
  • the preset condition may be set to extract a keyword corresponding to a noun, a number, and a uniform resource locator (URL), or may be set to extract a keyword having a certain size or more by analyzing a voice size.
  • URL uniform resource locator
  • the controller may generate a text message including only the extracted keywords.
  • the controller may generate a text message to which a preset effect is applied to the extracted keyword.
  • the controller may control to display a notification message through the output unit at the corresponding time.
  • the controller may be configured to output an icon corresponding to the voice message through the output unit when the voice message is applied while the voice message is applied to the messenger program conversation window screen through the output unit.
  • a service apparatus for achieving the above object is a service communication unit for transmitting and receiving a variety of information through one or more terminals and a messenger program; And a voice message that is functionally connected to the service communication unit and receives a voice message transmitted from at least one terminal to which the messenger program is executed to at least one counterpart terminal through the service communication unit, recognizes the voice message and converts it into text. Extracts a keyword satisfying a preset condition from the converted text, generates a text message including the extracted keyword, and transmits the generated text message and the voice message to the counterpart terminal through the service communication unit; It may be configured to include a; service control unit for controlling to.
  • the service control unit may generate a text message including only the extracted keywords.
  • the service controller may generate a text message to which the preset effect is applied to the extracted keyword.
  • the preset condition may be set to extract a keyword corresponding to a noun, a number, and a uniform resource locator (URL), or may be set to extract a keyword having a predetermined size or more by analyzing a voice size.
  • URL uniform resource locator
  • a messenger system includes: a terminal for transmitting a generated voice message to at least one counterpart terminal when a voice message is generated while executing a messenger program; And when the voice message transmitted from the terminal to the counterpart terminal is received, recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a preset condition from the converted text, and includes the extracted keyword. And a service device generating a text message and transmitting the generated text message and the voice message to the counterpart terminal.
  • a method for providing a voice message including: receiving, by a service device, a voice message transmitted from at least one terminal to which at least one counterpart terminal is running a messenger program; The service device recognizing and converting the voice message into text; Generating, by the service device, a keyword that satisfies a predetermined condition from the converted text, and then generating a text message including the extracted keyword; And transmitting, by the service apparatus, the voice message and the text message to the counterpart terminal.
  • the terminal before the step of receiving the voice message, the terminal detects a user input corresponding to a preset condition while executing the messenger program; Generating a voice message by performing voice recording by the terminal; And transmitting, by the terminal, to the service apparatus to transmit the voice message to the counterpart terminal.
  • the service device may generate a text message including only the extracted keyword.
  • the generating of the text message may include generating, by the service apparatus, a text message to which a preset effect is applied to the extracted keyword.
  • the present invention can provide a computer readable recording medium having recorded thereon a program for executing the voice message providing method as described above.
  • a voice message transmitted and received through a messenger program is recognized and converted into a text message, and after extracting a keyword satisfying a predetermined condition from the voice message, the extracted keyword By generating a text message that includes, there is an effect that can easily grasp the contents of the voice message.
  • FIG. 1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a main configuration of a terminal according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a main configuration of a service apparatus according to an embodiment of the present invention.
  • FIG. 4 is a data flowchart illustrating a voice message providing method according to an exemplary embodiment of the present invention.
  • 5 to 8 are screen views illustrating a voice message providing method according to an exemplary embodiment of the present invention.
  • a terminal described herein may be a smart TV, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, or a smart TV.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • MP3 player an MP3 player
  • a fixed terminal such as a smart TV, a desktop computer, or the like may be used, and any device may be applied to the terminal of the present invention as long as it is a terminal capable of transmitting and receiving messages with other users through a communication network.
  • FIG. 1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
  • the messenger system 100 of the present invention may include a plurality of terminals 10, a service device 20, and a communication network 30.
  • the plurality of terminals 10 are devices that can transmit and receive messages or share contents by transmitting and receiving messages with one or more counterpart terminals through a messenger program.
  • the messenger program may be provided by the service device 20, and may be a program capable of providing an instant messaging service.
  • the messenger program may be downloaded from the service device 20 and installed in the terminal 10. Even if the terminal 10 does not have a messenger program installed, the messenger program may be connected to the service device 20 to provide a messenger program in a cloud service manner. It can also be used.
  • the terminal 10 may execute a messenger program and display a messenger program execution screen (eg, an initial screen, a chat window screen, and the like).
  • the messenger program may be executed according to a user's request or may be executed when a specific event occurs.
  • the messenger program of the terminal 10 may be executed when a specific event occurs, for example, when a message is received from the counterpart or when specific information is received from the service device 20.
  • the terminal 10 may generate a voice message while executing a messenger program and transmit the generated voice message to one or more designated counterpart terminals.
  • the first terminal 10a is a terminal used by a user
  • the second terminal 10b may transmit and receive a text message or a voice message with a user of the first terminal 10a through a messenger program. It is assumed that the other terminal is, but is not limited thereto.
  • the terminal 10 of the present invention may generate and transmit a voice message to the counterpart terminal while executing the messenger program.
  • the first terminal 10a may transmit the generated voice message to the second terminal 10b connected through the chat window screen of the messenger program.
  • the first terminal 10a may receive a voice message from the second terminal 10b through the messenger program.
  • the first terminal 10a does not simply display the voice message, but recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the converted text, and then extracts the keyword.
  • the first terminal 10a By generating a text message including a, it is possible to display the generated text message.
  • the service device 20 serves to support transmission and reception of messages or content between the plurality of terminals 10 through a messenger program. For example, when a message is input by the user of the first terminal 10a, the service device 20 transmits the message to one or more second terminals 10b connected through the chat window screen of the messenger program, and the second terminal 10b. When a message is received from the N-T, the first half of the process of transmitting the message to the first terminal 10a may be controlled.
  • the service device 20 may store and provide a message or content currently being transmitted and received through a chat window according to a user's request.
  • a user input corresponding to a preset condition on the chat window screen of the first terminal 10a For example, when a swipe gesture in one direction is detected, a message or content transmitted and received through the chat window screen may be stored, and the stored message or content may be provided at any time according to a user's request.
  • the message or content transmitted and received through the messenger program of the terminal 10 may be stored and managed in the service device 20 instead of being stored in the terminal 10.
  • a user of the terminal 10 may access the service apparatus 20 to check a message or content exchanged with the other party (the connection may be performed by the service apparatus 20 through the terminal 10). It may include a process of going through a separate login, etc. In addition, it may include a process of automatically connecting to the service device 20 without going through a login, etc.
  • the user of the terminal 10 Receives the related information from the service device 20 in advance, and can immediately check it through the work execution screen of the messenger program, and when a selection input for a specific object or a specific command displayed on the work execution screen is detected by the user It may also be directly connected to the service device 20.
  • the message or content transmitted and received through the messenger program may be simultaneously stored in the terminal 10 and the service device 20, and only a specific message or specific content may be stored in the service device 20 according to a user's selection.
  • the service device 20 divides the subscribed users into user identifiers, and provides status, reception mode, message recipient list, and the like for each subscribed user. It is possible to manage subscriber environment information and to manage an IM conversation session, that is, a conversation channel, for transferring an IM conversation message between on-line users.
  • the service device 20 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function, and the like, and thus, a plurality of terminals, for example, the first terminal 10a and the second terminal. It is possible to provide a chat service between 10b.
  • SIP Session Initiation Protocol
  • MSRP Message Session Relay Protocol
  • the service device 20 when a voice message transmitted from the first terminal 10a to the second terminal 10b is received, the service device 20 according to an exemplary embodiment of the present invention recognizes the voice message and converts the voice message into text. Thereafter, the service device 20 may extract a keyword that satisfies a predetermined condition from the converted text, generate a text message including the extracted keyword, and transmit the generated text message to the second terminal 10b together with the voice message. .
  • Such a service device 20 may be implemented as a collection of various devices to support the operation as described above.
  • a database server capable of storing and managing various related information
  • a file server for file processing and a push server capable of automatically pushing related information to the terminal 10 may be implemented.
  • a function corresponding to the server may be implemented in one service apparatus 20 as one module.
  • the processor may process a program command for providing a voice message.
  • this processor may be a single-threaded processor, and in other implementations, the processor may be a multithreaded processor.
  • the processor is capable of processing instructions stored on memory or storage devices.
  • the state connected through the chat window according to the present invention described above means a state in which a mobile path, ie, a session, that can transmit and receive messages between a plurality of terminals 10 is connected.
  • the first terminal 10a selects one or more second terminals 10b to conduct a conversation and generates a chat window, and the first terminal 10a receives one or more messages input from the user.
  • 2 may be a concept including both the transmission to the terminal (10b).
  • the plurality of terminals 10 and the service device 20 transmit and receive various related information through the communication network 30, and the communication network 30 may use various types of communication networks. Can be.
  • wireless communication methods such as wireless LAN (WLAN), Wi-Fi, Wibro, Wimax, Wimax, and High Speed Downlink Packet Access (HSDPA), or Ethernet, xDSL (ADSL, VDSL) , Wired communication methods such as Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
  • WLAN wireless LAN
  • Wi-Fi Wi-Fi
  • Wibro Wimax
  • Wimax Wimax
  • Wimax High Speed Downlink Packet Access
  • HSDPA High Speed Downlink Packet Access
  • Ethernet xDSL (ADSL, VDSL)
  • Wired communication methods such as Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
  • HFC Hybrid Fiber Coaxial Cable
  • FTTC Fiber to The Curb
  • FTTH Fiber To The Home
  • FIG. 2 is a block diagram showing a main configuration of a terminal according to an embodiment of the present invention.
  • the terminal 10 includes a communication unit 11, an input unit 12, a control unit 13, a storage unit 14, an output unit 15, and voice recognition. It may be configured to include a portion (16).
  • the communication unit 11 serves to support the transmission and reception of related information with the service device 20 and one or more counterpart terminals.
  • the communication unit 11 may transmit a message input from a user through a chat window screen of a messenger program to a counterpart terminal connected through a chat channel of the chat window screen, and receive a message from the counterpart terminal.
  • the communication unit 11 may receive a voice message or a text message from a counterpart terminal through a messenger program and transmit a voice message or a text message to one or more counterpart terminals.
  • the communication unit 11 may transmit various request information input from the user to the service device 20.
  • the communication unit 11 may receive the messenger program related information from the service device 20.
  • the input unit 12 transmits a variety of information such as numeric and text information input from a user, a signal input in connection with various function settings and function control of the terminal 10 to the controller 13.
  • the input unit 12 of the present invention executes a messenger program and supports message input from a user through the messenger program.
  • the input unit 12 supports input of a user's predetermined operation (touch, drag, swipe, etc.) on the messenger program execution screen for generating a voice message.
  • the preset operation of the user may be input by at least one of a keypad and a touch pad generating an input signal according to a user's touch or manipulation. That is, when the input unit 12 is configured in the form of a single touch panel (or touch screen) together with the output unit 15, input of a user's touch on the touch panel and dragging or swiping in a specific direction is input. It can be detected.
  • the input unit 12 may detect an input such as an arrow of a keypad input from a user.
  • the input unit 12 may support input of a voice of a user, for example, a "left drag", a "right drag”, or the like.
  • the input unit 12 may detect a user's preset gesture.
  • the input unit 12 includes a key input means such as a keyboard or a keypad, a touch input means such as a touch sensor or a touch pad, a voice input means, a gyro sensor, a geomagnetic sensor, an acceleration sensor and a proximity sensor, and a camera. It may also include a gesture input means comprising at least one or more.
  • it may include all types of input means that are currently under development or may be developed in the future.
  • the controller 13 performs overall control of the terminal 10, and may be a process device that drives an operating system (OS) and each component, for example, a central processing unit (CPU). .
  • OS operating system
  • CPU central processing unit
  • control unit 13 of the present invention is functionally connected to each component. That is, the controller 13 is functionally connected to the communication unit 11, the input unit 12, the storage unit 14, the output unit 15, and the voice recognition unit 16, and supplies power and functions to each of the above components. To control the flow of signals for execution
  • control unit 13 may execute a messenger program and control execution of various functions generated through the messenger program. Basically, when a user's request or a preset event is detected, the controller 13 may control the messenger program to be executed, and may control the messenger program execution screen to be displayed on the output unit 15.
  • controller 13 may select a specific counterpart according to a user's request through the messenger program, and support an overall process for transmitting and receiving a message or content with the counterpart. In addition, the controller 13 may support various operations for performing various functions provided by the messenger program.
  • the controller 13 when a voice message is applied while executing a messenger program, the controller 13 generates a text message including a predetermined keyword through the authorized voice message, and outputs the generated text message. Control to be output through (15).
  • the controller 13 may generate a text message based on the voice message generated by the voice recognition unit 16, and the text message based on the voice message received from one or more counterpart terminals through the communication unit 11. Can be generated.
  • the controller 13 detects a user input corresponding to a preset condition on one execution screen of a messenger program, for example, a chat window screen. 16) request to create a voice message.
  • the user input corresponding to the preset condition is one of touch, swipe, drag and drop, gesture, eye movement, and shake in a specific direction on the messenger program execution screen. It can be either. In addition, it can be a touch, drag, or voice input.
  • the specific direction may be diagonal direction as well as up, down, left, and right on the execution screen of the messenger program.
  • the controller 13 may generate a voice message by requesting the voice recognition unit 16 to generate a voice message.
  • the voice recognition unit 16 may perform voice recording until a voice recording progress completion command is applied by the user, generate a voice message, and transfer the generated voice message to the controller 13.
  • the controller 13 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the text, and generates a text message including the extracted keyword to output the text message.
  • the display may be controlled through the unit 15.
  • the controller 13 recognizes the voice message and converts it into text first.
  • the process of recognizing a voice message and converting the voice message into text may apply various known techniques.
  • the controller 13 may first remove noise from the voice message and extract a feature for voice recognition.
  • the controller 13 may convert the extracted feature into a text by comparing the extracted feature with a pre-stored voice model database and outputting the matching feature as a recognition result.
  • the controller 13 extracts a keyword that satisfies a preset condition from the converted text.
  • the preset condition may be set by the service device 20 serving the user or the messenger program.
  • the preset condition may be a place name, a number, or a specific condition.
  • the controller 13 may extract only the 'Gangnam station' from the voice message, that is, '7 o'clock today, the appointment place is Gangnam station chicken house'.
  • the preset condition is to extract only numbers
  • the controller 13 may extract only '7' from the voice message.
  • the preset condition extracts only nouns
  • the controller 13 may extract only '7 o'clock appointment place Gangnam station chicken house today' from the voice message.
  • the above-described exception may set conditions for keyword extraction from various viewpoints. For example, only a specific Uniform Resource Locator (URL), a phone number, and address information may be extracted, and the height of the user's voice may be analyzed to set only a word corresponding to a high voice section.
  • URL Uniform Resource Locator
  • address information may be extracted, and the height of the user's voice may be analyzed to set only a word corresponding to a high voice section.
  • the controller 13 extracts a keyword that satisfies a predetermined condition from the converted text, and then generates a text message including the extracted keyword.
  • the control unit 13 may generate a text message including only the extracted keywords, and generate a text message including all of the converted texts. You can also create a text message by assigning an underlined effect.
  • controller 13 may transmit the generated text message and the voice message to the counterpart terminal.
  • the controller 13 when the voice message is received from one of the counterpart terminals through the communication unit 11, the controller 13 generates a text message through the above-described process, and converts the received voice message and text message into a messenger program. It can also be controlled to be displayed via the chat window screen.
  • the voice message may be output through the output unit 15 in the form of a preset icon corresponding to the voice message. Thereafter, the controller 13 may output the voice message when a touch input or other preset input for the icon is detected by the user.
  • SMS short message service
  • the controller 13 recognizes the voice message, converts it into text, and extracts a keyword that satisfies a predetermined condition from the converted text, and when the extracted keyword includes information on a specific time. This may be stored in the storage unit 14. For example, when the voice message is' 7 pm on February 16, Gangnam Station Chicken House ', the controller 13 recognizes the voice message and satisfies a preset condition (eg, date information and time information), that is,' February 16th at 7pm '.
  • a preset condition eg, date information and time information
  • the controller 13 may store the extracted keyword information as schedule information in a schedule application, a diary application, or the like stored in the storage 14.
  • the controller 13 may provide the notification message to the user by outputting the schedule information at a corresponding time.
  • the controller 13 may include a messenger control module 13a and a voice recognition module 13b.
  • the messenger control module 13a controls overall messenger program execution, such as messenger execution and conversation window generation, and the voice recognition module 13b recognizes a voice message and generates a text message based on the result. It can play a role in controlling the overall process.
  • the storage unit 14 may temporarily store various data generated during execution of the application program, including an application program required for operating a function according to an embodiment of the present invention.
  • the storage unit 14 may store a messenger program, and may store message or content information transmitted and received with one or more counterpart terminals through the messenger program.
  • the storage unit 14 according to an embodiment of the present invention may store a voice message and a text message generated based on the voice message.
  • the storage unit 14 may store information necessary for voice message recognition, and in particular, may store condition information for extracting a specific keyword from the voice message.
  • the storage unit 14 may largely include a program area and a data area.
  • the program area stores related information for driving the terminal 10 such as an operating system (OS) for booting the terminal 10.
  • the data area is an area in which data generated according to the use of the terminal 10 is stored, and as described above, various information generated during execution of the messenger program, for example, a voice message and a text message generated based on the voice message, may be stored. Can be.
  • the storage unit 14 may be a flash memory, a hard disk, a memory of a multimedia card micro type (for example, SD or XD memory, etc.), a RAM, a ROM, or the like. ROM) and a storage medium.
  • a messenger program a message including a voice message or a text message transmitted and received through a messenger program, content information, and the like are stored in the storage unit 14, but is not limited thereto.
  • the cloud service may be stored in the service device 20 in association with the service device 20 according to a cloud service method.
  • the output unit 15 outputs information on a series of operation states and operation results generated during the functioning of the terminal 10.
  • the output unit 15 of the present invention may include a display module (not shown) and a sound source output module (not shown).
  • the display module serves to display various information generated during the execution of the messenger program.
  • the display module (not shown) is generated based on the icon corresponding to the voice message and the voice message under the control of the controller 13. You can display text messages.
  • the display module (not shown) may be implemented in the form of a single touch panel (or touch screen) together with the input unit 12, and when implemented together with the input unit 12, Various information generated according to a set operation, a drag and drop operation, and the like can be displayed.
  • the display module (not shown) at this time may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), organic light emitting diodes (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED), It may be configured as a flexible display and a three-dimensional display.
  • LCD liquid crystal display
  • TFT-LCD thin film transistor LCD
  • OLED organic light emitting diodes
  • LED light emitting diode
  • AMOLED active matrix organic LED
  • the sound source output module (not shown) performs a role of converting the sound source, which is an electrical signal, into an analog signal and outputting the same, and outputting a voice message under the control of the controller 13.
  • the terminal 10 further includes a broadcast output unit capable of outputting a broadcast signal received from a broadcast transmitter (not shown), a haptic module capable of vibratingly output various information generated during execution of a messenger program, and the like.
  • the terminal 10 may be implemented by fewer components.
  • FIG. 3 is a block diagram showing a main configuration of a service apparatus according to an embodiment of the present invention.
  • the service device 20 of the present invention may include a service communication unit 21, a service control unit 22, and a service storage unit 23.
  • the service communication unit 21 may play a role of transmitting and receiving various information related to the messenger program with one or more terminals 10.
  • the service communication unit 21 may receive a message or content transmitted and received between any one terminal and another terminal connected thereto.
  • the service communication unit 21 may receive request information for various information from any one terminal 10 and provide the information to the terminal 10.
  • the service controller 22 performs overall control of the service device 20 of the present invention.
  • the service controller 22 according to an embodiment of the present invention may perform various controls related to the messenger program.
  • the service controller 22 divides the subscribed users by user identifiers, and displays the status, reception mode, message recipient list, and subscriber for each subscribed user. It manages environmental information and manages IM chat sessions, or chat channels, for transferring IM chat messages between users who are on-line.
  • the service control unit 22 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function. Content transmission and reception are possible.
  • SIP Session Initiation Protocol
  • MSRP Message Session Relay Protocol
  • the service control unit 22 is transmitted from one terminal, for example, the first terminal 10a, to which one counterpart terminal, for example, the second terminal 10b, on which the messenger program is executed.
  • a text message may be generated based on the voice message.
  • the service controller 22 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the converted text, and generates a text message including the extracted keyword.
  • an embodiment of the present invention has been described taking the process of generating a text message in a voice message centered on the terminal 10 as an example.
  • the present invention is not limited thereto, and as described above, the service device 20 may directly recognize the voice message and generate a text message.
  • the service control unit 22 may include a messenger management module 22a and a voice recognition module 22b.
  • the messenger management module 22a may perform various functions for providing and controlling a messenger program between the plurality of terminals 10, and the voice recognition module 22b receives a voice message from any one terminal 10. When the received voice message is recognized, the entire process of converting the received voice message into a text message can be controlled.
  • the service storage unit 23 may store a message, content information, and the like exchanged with the terminal 10 and one or more counterpart terminals, and the service control unit 22 corresponds to the user identification information of the terminal 10. Information may be controlled to be stored.
  • the service storage unit 23 may be a storage in the messenger system 100, or may be a separate data storage device that is located outside the messenger system 100 and that can transmit and receive data with the service device 20.
  • the service device 20 according to the embodiment of the present invention has been described above.
  • the service device 20 of the present invention may be implemented as one or more servers operating in a server-based computing method or a cloud method.
  • information transmitted and received through the messenger system 100 may be provided through a cloud computing function that may be permanently stored in a cloud computing device on the Internet.
  • cloud computing utilizes Internet technologies in digital terminals such as desktops, tablet computers, laptops, netbooks, and smartphones to virtualize information technology (IT) resources such as hardware (servers, storage, networks, etc.) and software. It refers to a technology that provides services on demand (database, security, web server, etc.), services, and data.
  • all information transmitted and received between the plurality of terminals 10 and the service device 20 is stored in the cloud computing device on the Internet, and can be transmitted anytime, anywhere.
  • the memory mounted in the terminal 10 or the service device 20 stores information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • FIG. 4 is a data flowchart illustrating a voice message providing method according to an exemplary embodiment of the present invention.
  • the first terminal 10a generates a voice message while executing a messenger program, and assigns the generated voice message to one or more counterpart terminals, for example, A terminal of a user for transmitting to the second terminal 10b, and the second terminal 10b is assumed to be a terminal of a user receiving a message transmitted from the first terminal 10a, but is not limited thereto.
  • the first terminal 10a and the second terminal 10b may perform the same function.
  • the first terminal 10a may generate a voice message according to a user's request (S103).
  • the first terminal 10a may activate the voice recording function to generate a voice message.
  • the first terminal 10a transmits the generated voice message to the counterpart terminal, for example, the second terminal 10b, via the chat window screen of the messenger program (S105).
  • the service device 20 that manages the transmission and reception of messages between the first terminal 10a and the second terminal 10b through a messenger program receives a voice message transmitted from the first terminal 10b to the second terminal 10b.
  • the voice message is recognized (S107)
  • the voice message is converted into text (S109).
  • the service device 20 extracts a keyword satisfying a predetermined condition from the changed text (S111), and generates a text message including the extracted keyword.
  • the service device 20 transmits the voice message received from the first terminal 10a and the text message generated based on the voice message to the second terminal 10b, and the second terminal 10b transmits the voice message.
  • Messages and text messages are displayed on the chat window of the messenger program.
  • the voice message and the text message transmitted to the second terminal 10b may be displayed on the chat window screen of the messenger program of the first terminal 10a.
  • 5 to 8 are screen views illustrating a voice message providing method according to an exemplary embodiment of the present invention.
  • the upper part 505 of the messenger program chat window screen may display information about a counterpart terminal, for example, a user of the second terminal 10b, connected through the messenger program chat window screen, under the control of the service apparatus 20. 10b) can send and receive various messages.
  • it may be configured to further include a menu 504 for generating a voice message, the user of the first terminal (10a) by selecting the menu (504) for generating the voice message, to proceed with the voice recording Can be.
  • the voice recording function may be activated to perform voice recording.
  • a message indicating that the voice recording is in progress is displayed, touch the message window by clicking, or drag the message window to move, or swipe
  • the voice recording may be terminated to generate a voice message.
  • the service device 20 that manages the chat session between the first terminal 10a and the second terminal 10b is connected to the second terminal from the first terminal 10a. Receive a voice message sent to 10b).
  • the service device 20 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the text, and generates a text message including the extracted keyword, thereby generating the text message. And transmits the voice message to the second terminal 10b.
  • FIG. 7 illustrates a chat window screen of a messenger program in the second terminal 10b.
  • the second terminal 10b receives a voice message received from the first terminal 10b as indicated by 508.
  • FIG. It can be displayed together with the text message generated by 20.
  • the text message may be configured to include only the keyword when the voice message is converted into text and a keyword satisfying a predetermined condition is extracted from the converted text. That is, as indicated by 508, a text message may be generated including only a keyword corresponding to a predetermined condition (only nouns extracted) in a voice message, for example, 'the appointment place is Gangnam station chicken house.'
  • the voice message is converted into text, and a text message including all the converted texts is generated, and a predetermined effect is applied to a keyword (eg, a noun) corresponding to a preset condition.
  • a keyword eg, a noun
  • an underlined text message may be displayed.
  • the voice message generated while using the messenger program is converted into a text message, and a keyword satisfying a predetermined condition is extracted from the voice message, and a text message including the extracted keyword is generated, or the extracted keyword is applied to the extracted keyword.
  • the present invention can provide UX (User eXperience) of a new messenger program.
  • the method for providing a voice message has been described with reference to an example in which the service device 20 generates a text message including a keyword that satisfies a preset condition by recognizing the voice message.
  • the text message may be generated based on the voice message in the terminal of the user who generated the voice message, and may be generated based on the voice message in the terminal of the user who receives the voice message.
  • a computer-readable medium suitable for storing computer program instructions and data may include, for example, a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, and a compact disk read only memory (CD-ROM).
  • Optical media such as Digital Video Disk (DVD), magneto-optical media such as Floppy Disk, and ROM (Read Only Memory), RAM
  • semiconductor memory such as a random access memory, a flash memory, an erasable programmable ROM (EPROM), and an electrically erasable programmable ROM (EEPROM).
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention relates to a method for providing a voice message, and more particularly, when a voice message is received from any one terminal through a messenger program, the voice message is recognized and converted into a text message according to a recognized result.
  • the present invention relates to a method for providing a voice message which can generate and display a text message including the extracted keyword after extracting a keyword satisfying a preset condition from the voice message.
  • the received voice message is recognized and a text message including a keyword satisfying a predetermined condition is generated, whereby the contents of the voice message can be easily grasped. This will contribute to the development of the messenger service industry.
  • the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음성 메시지 제공 방법에 관한 것으로서, 더욱 상세하게는 메신저 프로그램을 통해 어느 하나의 단말로부터 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 인식된 결과에 따라 상기 음성 메시지를 문자 메시지로 변환하되, 상기 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 표시할 수 있는 음성 메시지 제공 방법, 이를 위한 장치 및 시스템에 관한 것이다. 이를 위한 본 발명의 실시 예에 따른 단말은 메신저 프로그램 실행 중에 발생되는 하나 이상의 정보를 출력하는 출력부 및 상기 출력부와 기능적으로 연결되며, 상기 메신저 프로그램 실행 중에 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 통해 소정의 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지를 상기 출력부를 통해 출력되도록 제어하는 제어부를 포함하여 구성될 수 있다.

Description

음성 메시지 제공 방법, 이를 위한 장치 및 시스템
본 발명은 음성 메시지 제공 방법에 관한 것으로서, 더욱 상세하게는 메신저 프로그램을 통해 어느 하나의 단말로부터 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 인식된 결과에 따라 상기 음성 메시지를 문자 메시지로 변환하되, 상기 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 표시할 수 있는 음성 메시지 제공 방법, 이를 위한 장치 및 시스템에 관한 것이다.
정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.
이동통신 단말을 예로 들어 설명하면, 이동통신 단말은 기본적인 음성 통신 기능에서 더 나아가 최근에는 데이터 통신, 카메라를 이용한 사진이나 동영상 촬영, 음악 또는 동영상 파일 재생, 게임, 방송 시청 등 다양한 기능들을 이용할 수 있도록 구현되고 있다.
이러한 단말에서 실행될 수 있는 기능의 증대를 위한 기술 개발은 지속적으로 이뤄지고 있으며, 하드웨어 개량 기술은 물론 소프트웨어 개량 기술을 중심으로 지속적으로 이뤄지고 있다.
한편, 최근에는 이러한 단말을 이용하여 통신망에 접속한 후 다수의 사용자와 메시지를 송수신함으로써, 대화를 진행할 수 있는 메신저 프로그램의 사용 빈도가 지속적으로 증가하고 있다.
이러한 메신저 프로그램을 통해 사용자는 문자 메시지를 생성하고, 생성된 문자 메시지를 상대방 단말로 전송함으로써, 상대방 단말과 통신을 수행하는 것이 일반적이나, 최근에는 음성 메시지를 이용하는 빈도가 증가하고 있다.
그러나, 사용자가 메신저 프로그램을 통해 음성 메시지를 수신하더라도, 현재 사용자의 주변 환경이 시끄러운 환경일 경우, 상기 음성 메시지의 내용을 파악하기에 어려움이 있으며, 송수신되는 과정에서 음성 메시지 자체가 손실되거나 변형될 경우, 음성 메시지 자체를 재생하기에 어려움이 있다는 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 메신저 프로그램을 통해 송수신되는 음성 메시지의 내용을 파악하기 어렵다는 문제점을 해결하기 위한 것으로, 메신저 프로그램을 통해 어느 하나의 단말로부터 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 인식된 결과에 따라 문자 메시지로 변환하되, 상기 음성 메시지에서 기 설정된 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 표시할 수 있는 음성 메시지 제공 방법, 이를 위한 장치 및 시스템을 제공하는 데 목적이 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 단말은 메신저 프로그램 실행 중에 발생되는 정보를 출력하는 출력부; 및 상기 출력부와 기능적으로 연결되며, 상기 메신저 프로그램 실행 중에 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 생성된 문자 메시지를 상기 출력부를 통해 출력되도록 제어하는 제어부;를 포함하여 구성될 수 있다.
이때, 상기 단말은 사용자의 요청에 따라 음성 녹음을 진행하여 음성 메시지를 생성하는 음성 인식부; 및 하나 이상의 상대방 단말과 상기 메신저 프로그램을 통해 발생되는 정보를 송수신하는 통신부;를 더 포함하며, 상기 제어부는 상기 음성 인식부를 통해 음성 메시지가 인가되거나, 상기 통신부를 통해 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환할 수 있다.
여기서, 상기 제어부는 상기 출력부를 통해 메신저 프로그램 대화 창 화면에 출력되고 있는 상태에서, 상기 음성 인식부를 통해 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 생성된 문자 메시지를 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 상기 통신부를 통해 전송되도록 제어할 수 있다.
또한, 상기 제어부는 상기 메신저 프로그램 실행 중에 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 음성 인식부로 음성 메시지 생성을 요청하여 음성 메시지가 생성되도록 제어할 수 있다.
이때, 상기 기 설정된 조건에 해당하는 사용자 입력은 특정 방향으로의 터치, 스와이프(swipe), 드래그 앤 드롭(drag & drop), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나가 될 수 있다.
또한, 상기 기 설정된 조건은 명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정될 수 있다.
또한, 상기 제어부는 상기 추출된 키워드만을 포함하는 문자 메시지를 생성할 수 있다.
또한, 상기 제어부는 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성할 수 있다.
또한, 상기 추출된 키워드가 특정 시간에 대한 정보를 포함하고 있을 경우, 상기 제어부는 해당되는 상기 시간에 상기 출력부를 통해 알림 메시지가 표시되도록 제어할 수 있다.
또한, 상기 제어부는 상기 출력부를 통해 메신저 프로그램 대화 창 화면에 출력되고 있는 상태에서, 상기 음성 메시지가 인가되면, 상기 음성 메시지에 대응하는 아이콘을 상기 출력부를 통해 출력되도록 제어할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 서비스 장치는 하나 이상의 단말과 메신저 프로그램을 통해 다양한 정보를 송수신하는 서비스 통신부; 및 상기 서비스 통신부와 기능적으로 연결되며, 상기 서비스 통신부를 통해 메신저 프로그램이 실행되고 있는 어느 하나의 단말로부터 적어도 하나의 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 서비스 통신부를 통해 상기 상대방 단말로 전송되도록 제어하는 서비스 제어부;를 포함하여 구성될 수 있다.
이때, 상기 서비스 제어부는 상기 추출된 키워드만을 포함하는 문자 메시지를 생성할 수 있다.
이때, 상기 서비스 제어부는 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성할 수 있다.
이때, 상기 기 설정된 조건은 명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 메신저 시스템은 메신저 프로그램 실행 중에 음성 메시지가 생성되면, 생성된 음성 메시지를 적어도 하나의 상대방 단말로 전송하는 단말; 및 상기 단말로부터 상기 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 상대방 단말로 전송하는 서비스 장치;를 포함하여 구성될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 음성 메시지 제공 방법은 서비스 장치가 메신저 프로그램이 실행되고 있는 어느 하나의 단말로부터 적어도 하나의 상대방 단말로 전송되는 음성 메시지를 수신하는 단계; 상기 서비스 장치가 상기 음성 메시지를 인식하여 텍스트로 변환하는 단계; 상기 서비스 장치가 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하는 단계; 및 상기 서비스 장치가 상기 음성 메시지 및 상기 문자 메시지를 상기 상대방 단말로 전송하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 음성 메시지를 수신하는 단계 이전에, 상기 단말이 상기 메신저 프로그램 실행 중에 기 설정된 조건에 해당하는 사용자 입력을 감지하는 단계; 상기 단말이 음성 녹음을 진행하여 음성 메시지를 생성하는 단계; 및 상기 단말이 상기 음성 메시지를 상기 상대방 단말로 전송하기 위해, 상기 서비스 장치로 전송하는 단계;를 더 포함하여 이뤄질 수 있다.
이때, 상기 문자 메시지를 생성하는 단계는 상기 서비스 장치가 상기 추출된 키워드만을 포함하는 문자 메시지를 생성할 수 있다.
또한, 상기 문자 메시지를 생성하는 단계는 상기 서비스 장치가 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성할 수 있다.
추가로, 본 발명은 상술한 바와 같은 음성 메시지 제공 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 음성 메시지 제공 방법, 이를 위한 장치 및 시스템에 의하면, 메신저 프로그램을 통해 송수신되는 음성 메시지를 인식하여 문자 메시지로 변환하되, 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 키워드를 포함하는 문자 메시지를 생성함으로써, 음성 메시지의 내용을 쉽게 파악할 수 있다는 효과가 있다.
이를 통해, 메신저 프로그램을 이용하는 사용자에게 새로운 부가 서비스를 제공할 수 있게 된다.
도 1은 본 발명의 실시 예에 따른 메신저 시스템의 개략적인 구성도이다.
도 2는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 주요 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 음성 메시지 제공 방법을 설명하기 위한 데이터 흐름도이다.
도 5 내지 도 8은 본 발명의 실시 예에 따른 음성 메시지 제공 방법을 설명하기 위한 화면 예시도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
아울러, 본 발명의 단말은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말은 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수 있으며, 통신망을 통해 다른 사용자와 메시지를 송수신할 수 있는 단말이라면, 그 어떠한 장치도 본 발명의 단말로 적용 가능하다.
이하, 본 발명의 실시 예에 따른 메신저 시스템에 대해 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 메신저 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 메신저 시스템(100)은 다수의 단말(10), 서비스 장치(20) 및 통신망(30)을 포함하여 구성될 수 있다.
먼저, 다수의 단말(10)은 메신저 프로그램을 통해 하나 이상의 상대방 단말과 메시지를 송수신하거나 컨텐츠를 송수신하여 공유할 수 있는 장치로, 사용자가 이용 가능한 장치를 의미한다.
여기서, 메신저 프로그램은 서비스 장치(20)에 의해 제공될 수 있는 것으로, 인스턴트 메시징 서비스(Instant Messaging Service)를 제공할 수 있는 프로그램이 될 수 있다. 이러한 메신저 프로그램은 서비스 장치(20)로부터 다운로드되어 단말(10)에 설치될 수 있으며, 단말(10)이 메신저 프로그램을 설치하고 있지 않더라도, 서비스 장치(20)에 접속하여 클라우드 서비스 방식으로 메신저 프로그램을 이용할 수도 있다.
이러한 단말(10)은 메신저 프로그램을 실행하고, 메신저 프로그램 실행 화면(예컨대, 초기 화면, 대화 창 화면 등)을 표시할 수 있다. 여기서 메신저 프로그램은 사용자의 요청에 따라 실행되거나 특정 이벤트 발생 시 실행될 수 있다. 예컨대 상대방으로부터 메시지가 수신될 때 또는 서비스 장치(20)로부터 특정 정보가 수신될 때 등과 같이 특정 이벤트 발생 시 단말(10)의 메신저 프로그램이 실행될 수 있다.
특히, 본 발명의 실시 예에 따른 단말(10)은 메신저 프로그램 실행 중에 음성 메시지를 생성하여, 지정된 하나 이상의 상대방 단말로 전송할 수 있다. 여기서, 설명의 편의를 위해 제1 단말(10a)은 사용자가 이용하는 단말이며, 제2 단말(10b)은 메신저 프로그램을 통해 제1 단말(10a)의 사용자와 문자 메시지 또는 음성 메시지를 송수신할 수 있는 상대방의 단말인 것을 가정하여 설명하나, 이에 한정되는 것은 아니다.
앞서, 본 발명의 단말(10)은 메신저 프로그램 실행 중에 음성 메시지를 생성하여 상대방 단말로 전송할 수 있다 설명하였다. 예컨대, 제1 단말(10a)이 생성된 음성 메시지를 메신저 프로그램의 대화 창 화면을 통해 연결된 제2 단말(10b)로 전송할 수 있다.
또한, 제1 단말(10a)은 메신저 프로그램을 통해 제2 단말(10b)로부터 음성 메시지를 수신할 수 있다.
이때, 제1 단말(10a)은 단순히 상기 음성 메시지를 표시하는 것이 아니라, 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여, 생성된 상기 문자 메시지를 표시할 수 있다.
이러한 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 보다 구체적인 동작 방법에 대해서는 후술하도록 한다.
서비스 장치(20)는 메신저 프로그램을 통해 다수의 단말(10) 사이의 메시지 또는 컨텐츠의 송수신을 지원하는 역할을 수행한다. 예컨대, 서비스 장치(20)는 제1 단말(10a)의 사용자에 의해 메시지가 입력되면, 메신저 프로그램의 대화 창 화면을 통해 연결된 하나 이상의 제2 단말(10b)로 전송하고, 상기 제2 단말(10b)로부터 메시지가 수신되면, 이를 제1 단말(10a)로 전송하는 과정의 전반을 제어할 수 있다.
또한, 서비스 장치(20)는 사용자의 요청에 따라 현재 대화 창을 통해 송수신되고 있는 메시지 또는 컨텐츠를 저장하고, 제공할 수 있다. 다시 말해, 제1 단말(10a)과 하나 이상의 제2 단말(10b)이 메신저 프로그램의 대화 창을 통해 연결된 상태에서, 제1 단말(10a)의 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대, 일 방향으로의 스와이프 동작이 감지되면, 상기 대화 창 화면을 통해 송수신된 메시지 또는 컨텐츠를 저장할 수 있으며, 사용자의 요청에 따라 언제든지 저장된 메시지 또는 컨텐츠를 제공할 수 있다.
이때 바람직하게는 상기 단말(10)의 메신저 프로그램을 통해 송수신되는 메시지 또는 컨텐츠는 상기 단말(10) 내 저장되는 것이 아니라 서비스 장치(20)에 저장되고 관리될 수 있다.
또한, 단말(10)의 사용자는 자신이 상대방과 주고받은 메시지 또는 컨텐츠 를 확인하기 위해 상기 서비스 장치(20)에 접속하여 이를 확인할 수 있다(여기서, 접속은 단말(10)을 통해 서비스 장치(20)에 별도의 로그인 등의 절차를 거치는 과정을 포함할 수 있다. 또한 로그인 등의 절차를 거치지 않더라도 자동적으로 서비스 장치(20)에 연결되는 과정을 포함할 수 있다. 또한, 단말(10)의 사용자는 미리 서비스 장치(20)로부터 관련된 정보를 수신하고, 이를 메신저 프로그램의 일 실행 화면을 통해 즉시 확인할 수 있으며, 사용자로부터 상기 일 실행 화면에 표시되는 특정 객체 또는 특정 명령에 대한 선택 입력이 감지될 때 서비스 장칭(20)에 바로 접속할 수도 있다.
또한, 메신저 프로그램을 통해 송수신된 메시지 또는 컨텐츠는 단말(10)과 서비스 장치(20)에 동시에 저장될 수 있으며, 사용자의 선택에 따라 특정 메시지 또는 특정 컨텐츠만을 서비스 장치(20)에 저장할 수도 있다.
이 외에도, 서비스 장치(20)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리할 수 있다. 또한, 서비스 장치(20)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말, 예컨대 제1 단말(10a) 및 제2 단말(10b) 간에 채팅 서비스 제공이 가능하다.
특히, 본 발명의 실시 예에 따른 서비스 장치(20)는 제1 단말(10a)로부터 제2 단말(10b)로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하게 된다. 이후, 서비스 장치(20)는 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 제2 단말(10b)로 음성 메시지와 함께 전송할 수 있다.
이러한 서비스 장치(20)는 상술한 바와 같은 동작을 지원하기 위해 다양한 장치의 집합으로써 구현될 수 있다. 예컨대 관련된 다양한 정보를 저장하고 관리할 수 있는 데이터베이스 서버, 파일 처리를 위한 파일 서버, 단말(10)로 관련된 정보를 자동적으로 푸쉬(push)할 수 있는 푸쉬 서버 등을 포함하여 구현될 수 있다.
이 외에도 시스템 설계 방식에 따라 다양한 서버들을 포함하여 구현될 수 있다. 또한 상기의 서버에 대응하는 기능을 하나의 모듈로써 하나의 서비스 장치(20) 내에 구현될 수도 있다.
상술한 바와 같은 단말(10) 및 서비스 장치(20)의 주요 구성 및 보다 구체적인 동작 방법에 대해서는 후술하여 설명하도록 하며, 본 발명의 실시 예에 따른 단말(10) 및 서비스 장치(20)에 탑재되는 프로세서는 음성 메시지 제공을 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.
아울러, 앞서 설명한 본 발명에서의 대화 창을 통해 연결된 상태란 다수의 단말(10) 사이에 메시지를 송수신할 수 있는 이동 경로, 즉 세션(session)이 연결된 상태를 의미한다.
예를 들어, 제1 단말(10a)이 대화를 진행하고자 하는 하나 이상의 제2 단말(10b)을 선택하여 대화 창을 생성하는 행위, 제1 단말(10a)이 사용자로부터 입력된 메시지를 하나 이상의 제2 단말(10b)로 전송하는 행위 등을 모두 포함하는 개념이 될 수 있다.
또한, 본 발명의 실시 예에 따른 다수의 단말(10) 및 서비스 장치(20)는 통신망(30)을 통해 관련된 다양한 정보를 송수신하게 되며, 이때의 통신망(30)은 다양한 형태의 통신망이 이용될 수 있다.
예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
이하, 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 단말(10)은 통신부(11), 입력부(12), 제어부(13), 저장부(14), 출력부(15) 및 음성 인식부(16)를 포함하여 구성될 수 있다.
각 구성 요소에 대해 보다 구체적으로 설명하면, 통신부(11)는 서비스 장치(20) 및 하나 이상의 상대방 단말과 관련 정보의 송수신을 지원하는 역할을 수행한다.
예컨대 통신부(11)는 메신저 프로그램의 대화 창 화면을 통해 사용자로부터 입력된 메시지를 상기 대화 창 화면의 대화 채널을 통해 연결된 상대방 단말로 전송하고, 상기 상대방 단말로부터 메시지를 수신할 수 있다. 특히, 본 발명의 실시 예에 따른 통신부(11)는 메신저 프로그램을 통해 상대방 단말로부터 음성 메시지 또는 문자 메시지를 수신할 수 있으며, 하나 이상의 상대방 단말로 음성 메시지 또는 문자 메시지를 전송할 수 있다.
또한, 통신부(11)는 사용자로부터 입력된 다양한 요청 정보를 서비스 장치(20)로 전송할 수 있다. 그리고, 통신부(11)는 서비스 장치(20)로부터 메신저 프로그램 관련 정보를 수신할 수 있다.
입력부(12)는 사용자로부터 입력되는 숫자 및 문자 정보 등의 다양한 정보, 각종 기능 설정 및 단말(10)의 기능 제어와 관련하여 입력되는 신호를 제어부(13)로 전달한다. 특히, 본 발명의 입력부(12)는 메신저 프로그램을 실행하고, 메신저 프로그램을 통해 사용자로부터의 메시지 입력을 지원한다. 또한, 입력부(12)는 음성 메시지를 생성하기 위한 메신저 프로그램 실행 화면에서의 사용자의 기 설정된 동작(터치, 드래그, 스와이프 등)의 입력을 지원한다.
여기서 사용자의 기 설정된 동작은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나에 의해 입력될 수 있다. 즉 입력부(12)가 출력부(15)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되는 경우, 상기 터치패널에서의 사용자의 터치 및 특정 방향으로의 드래그 또는 스와이프 동작의 입력을 감지할 수 있다.
또한, 입력부(12)는 사용자로부터 입력되는 키패드의 화살표 등의 입력을 감지할 수도 있다. 또는 입력부(12)는 사용자의 음성, 예컨대, "왼쪽 드래그", "오른쪽 드래그" 등과 같은 음성의 입력을 지원할 수 있다. 더불어, 상기 입력부(12)가 제스처 입력 수단을 포함하고 있을 경우, 입력부(12)는 사용자의 기 설정된 제스처를 감지할 수도 있다.
이러한 입력부(12)는 상술한 바와 같이, 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치 패드와 같은 터치 입력 수단, 음성 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서와 근접 센서, 그리고 카메라 중 적어도 하나 이상을 포함하여 이루어지는 제스처 입력 수단을 포함할 수도 있다.
이 외에도 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단이 포함될 수 있다.
제어부(13)는 단말(10)의 전반적인 제어를 수행하는 것으로, 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치, 예컨대, 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다.
이러한, 본 발명의 제어부(13)는 각 구성 요소와 기능적으로 연결된다. 즉, 제어부(13)는 통신부(11), 입력부(12), 저장부(14), 출력부(15) 및 음성 인식부(16)와 기능적으로 연결되며, 상기 각 구성 요소에 전원 공급 및 기능 수행을 위한 신호의 흐름을 제어하게 된다
특히, 본 발명의 실시 예에 따른 제어부(13)는 메신저 프로그램을 실행하고, 상기 메신저 프로그램을 통해 발생되는 다양한 기능 실행을 제어할 수 있다. 기본적으로 제어부(13)는 사용자의 요청 또는 기 설정된 이벤트 발생이 감지되면, 메신저 프로그램이 실행되도록 제어하며, 메신저 프로그램 실행 화면이 출력부(15)에 표시되도록 제어할 수 있다.
또한, 제어부(13)는 상기 메신저 프로그램을 통해 사용자의 요청에 따라 특정 상대방을 선택하고, 상기 상대방과의 메시지 또는 컨텐츠 송수신을 위한 전반적인 과정을 지원할 수 있다. 이 외에도 제어부(13)는 메신저 프로그램이 제공하는 각종 기능 수행을 위한 다양한 동작들을 지원할 수 있다.
특히, 본 발명의 실시 예에 따른 제어부(13)는 메신저 프로그램 실행 중에 음성 메시지가 인가되면, 인가된 음성 메시지를 통해 소정의 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지를 출력부(15)를 통해 출력되도록 제어하는 역할을 수행하게 된다.
여기서, 제어부(13)는 음성 인식부(16)를 통해 생성된 음성 메시지를 기초로 문자 메시지를 생성할 수 있으며, 통신부(11)를 통해 하나 이상의 상대방 단말로부터 수신된 음성 메시지를 기초로 문자 메시지를 생성할 수 있다.
이때, 음성 인식부(16)를 통해 음성 메시지가 생성되는 경우, 제어부(13)는 메신저 프로그램의 일 실행 화면, 예컨대 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 음성 인식부(16)로 음성 메시지 생성을 요청하게 된다. 여기서, 기 설정된 조건에 해당하는 사용자 입력은 메신저 프로그램 실행 화면에서 특정 방향으로의 터치(touch), 스와이프(swipe), 드래그 앤 드롭(drag & drop), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나일 수 있다. 이 외에도 터치, 드래그, 음성 입력 등도 될 수 있다. 또한 특정 방향은 메신저 프로그램의 실행 화면에서 상하좌우는 물론 대각선 방향이 될 수 있다.
또한, 정해진 메뉴의 선택 입력이 감지되면, 제어부(13)가 음성 인식부(16)로 음성 메시지 생성을 요청하여 음성 메시지를 생성할 수도 있다.
이후, 음성 인식부(16)는 사용자로부터 음성 녹음 진행 완료 명령이 인가될 때까지 음성 녹음을 진행하여, 음성 메시지를 생성하고, 생성된 음성 메시지를 제어부(13)로 전달할 수 있다.
이후, 제어부(13)는 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 생성된 상기 문자 메시지를 출력부(15)를 통해 표시되도록 제어할 수 있다.
예컨대, 음성 메시지가 '오늘 7시, 약속 장소는 강남역 치킨집이야'일 경우, 제어부(13)는 상기 음성 메시지를 인식하여 먼저 텍스트로 변환하게 된다. 여기서, 음성 메시지를 인식하여 텍스트로 변환하게 되는 과정은 공지된 다양한 기술을 적용할 수 있다. 예컨대 제어부(13)는 상기 음성 메시지에서 먼저 잡음을 제거하고, 음성 인식을 위한 특징을 추출할 수 있다. 또한, 제어부(13)는 추출된 특징을 기 저장된 음성 모델 데이터베이스와 비교하여, 일치하는 경우, 이를 인식 결과로 출력함으로써, 텍스트로 변환할 수 있다.
이후, 제어부(13)는 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하게 된다. 여기서, 기 설정된 조건은 사용자 또는 메신저 프로그램을 서비스하는 서비스 장치(20)에 의해서 설정될 수 있는데, 예컨대, 지명, 숫자 또는 특정 조건이 될 수 있다.
예컨대, 기 설정된 조건이 지역명만을 추출하는 것일 경우, 제어부(13)는 상기의 음성 메시지, 즉 '오늘 7시, 약속 장소는 강남역 치킨집이야'에서, '강남역'만을 추출할 수 있다. 또한, 기 설정된 조건이 숫자만을 추출하는 것일 경우, 제어부(13)는 상기의 음성 메시지에서 '7'만을 추출할 수 있다. 또한, 기 설정된 조건이 명사만을 추출하는 경우, 제어부(13)는 상기의 음성 메시지에서 '오늘 7시 약속 장소 강남역 치킨집'만을 추출할 수 있다.
또한, 상술한 예외도 다양한 관점에서 키워드 추출을 위한 조건을 설정할 수 있다. 예컨대, 특정 URL(Uniform Resource Locator), 전화번호, 주소 정보만을 추출할 수도 있으며, 사용자의 음성의 높낮이를 분석하여, 음성의 크기가 높은 구간에 해당하는 단어만을 추출하도록 설정할 수도 있다.
이와 같이, 제어부(13)는 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 키워드를 포함하는 문자 메시지를 생성하게 된다. 이때, 제어부(13)는 추출된 키워드만을 포함하여 문자 메시지를 생성할 수 있으며, 변환된 텍스트 모두를 포함하는 문자 메시지를 생성하되, 상술한 과정과 같이 추출된 키워드에 기 설정된 효과, 예컨대 강조, 밑줄 등 기 설정된 효과를 부여하여 문자 메시지를 생성할 수도 있다.
이후, 제어부(13)는 생성된 문자 메시지와 음성 메시지를 상대방 단말로 전송할 수 있다.
또한, 제어부(13)는 통신부(11)를 통해 어느 하나의 상대방 단말로부터 음성 메시지가 수신되면, 상술한 바와 같은 과정을 거쳐 문자 메시지를 생성하고, 수신된 상기 음성 메시지 및 문자 메시지를 메신저 프로그램의 대화 창 화면을 통해 표시되도록 제어할 수도 있다.
이때, 상기 음성 메시지는 상기 음성 메시지에 대응하는 기 설정된 아이콘 형태로 출력부(15)를 통해 출력될 수 있다. 이후, 제어부(13)는 사용자로부터 상기 아이콘에 대한 터치 입력, 기타 기 설정된 입력이 감지되면, 상기 음성 메시지를 출력할 수도 있다.
이를 통해, 사용자는 음성 메시지의 내용을 쉽게 파악할 수 있게 된다.
아울러, 본 발명의 일 실시 예에서는 메신저 프로그램 실행 중에 발생되는 음성 메시지를 문자 메시지 형태로 변환한 후 이를 메신저 프로그램의 대화 창 화면을 통해 표시하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 단문 메시지(SMS; Short Message Service) 형태로 문자 메시지를 생성하고 표시할 수 있다.
더하여, 제어부(13)는 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출할 경우, 상기 추출된 키워드에 특정 시간에 대한 정보를 포함하고 있을 경우, 이를 저장부(14)에 저장할 수 있다. 예컨대, 음성 메시지가 '2월 16일 오후 7시, 강남역 치킨집'일 경우, 제어부(13)는 상기 음성 메시지를 인식하여 기 설정된 조건을 만족하는 키워드(예컨대 날짜 정보 및 시간 정보), 즉 '2월 16일 오후 7시'를 추출할 수 있다.
이후, 제어부(13)는 저장부(14)에 저장된 일정 어플리케이션, 다이어리 어플리케이션 등에 상기 추출된 키워드 정보를 일정 정보로써 저장할 수 있다.
이후, 제어부(13)는 해당되는 시간에 상기 일정 정보를 출력함으로써, 사용자에게 알림 메시지를 제공할 수도 있다.
상기와 같은 동작을 제어하기 위해 제어부(13)는 메신저 제어 모듈(13a) 및 음성 인식 모듈(13b)을 포함하여 구성될 수 있다.
여기서, 메신저 제어 모듈(13a)은 메신저 실행, 대화 창 생성 등 메신저 프로그램 실행 전반을 제어하는 역할을 수행하며, 음성 인식 모듈(13b)은 음성 메시지를 인식하여, 그 결과를 기초로 문자 메시지를 생성하는 과정 전반을 제어하는 역할을 수행할 수 있다.
아울러, 저장부(14)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 그 응용 프로그램 실행 중에 발생되는 다양한 데이터를 일시적으로 저장할 수 있다. 또한, 저장부(14)는 메신저 프로그램을 저장할 수 있으며, 메신저 프로그램을 통해 하나 이상의 상대방 단말과 송수신된 메시지 또는 컨텐츠 정보가 저장될 수도 있다. 특히, 본 발명의 실시 예에 따른 저장부(14)는 음성 메시지 및 상기 음성 메시지를 기초로 생성된 문자 메시지를 저장할 수 있다. 아울러, 저장부(14)는 음성 메시지 인식에 필요한 정보를 저장할 수 있으며, 특히 음성 메시지에서 특정 키워드를 추출하기 위한 조건 정보를 저장할 수 있다.
이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 단말(10)을 부팅시키는 운영체제(OS)와 같은 단말(10) 구동을 위한 관련된 정보들을 저장한다. 데이터 영역은 단말(10)의 사용에 따라 발생되는 데이터가 저장되는 영역으로, 상술한 바와 같이 메신저 프로그램 실행 중에 발생되는 다양한 정보, 예컨대 음성 메시지 및 상기 음성 메시지를 기초로 생성도니 문자 메시지가 저장될 수 있다. 이러한, 저장부(14)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.
더불어, 본 발명의 일 실시 예에서는 메신저 프로그램, 또는 메신저 프로그램을 통해 송수신된 음성 메시지 또는 문자 메시지를 포함하는 메시지, 컨텐츠 정보 등이 저장부(14)에 저장하고 있는 구성을 중심으로 설명하나 이에 한정되는 것은 아니며, 클라우드 서비스 방식에 따라 서비스 장치(20)와 연동하여 서비스 장치(20)에 저장될 수도 있다.
출력부(15)는 단말(10)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 출력하는 역할을 수행한다. 특히, 본 발명의 출력부(15)는 표시 모듈(미도시) 및 음원출력모듈(미도시)을 포함하여 구성될 수 있다.
이 중에서 표시 모듈(미도시)은 메신저 프로그램 실행 중에 발생되는 다양한 정보들을 표시하는 역할을 수행하는 것으로, 예컨대, 제어부(13)의 제어 하에 음성 메시지에 대응하는 아이콘 및 상기 음성 메시지를 기초로 생성된 문자 메시지를 표시할 수 있다.
이러한, 표시 모듈(미도시)은 상술한 바와 같이 입력부(12)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구현될 수도 있으며, 상기 입력부(12)와 함께 구현되는 경우, 사용자의 기 설정된 동작, 드래그 앤 드롭 동작 등에 따라 발생되는 다양한 정보들을 표시할 수 있다.
아울러, 이때의 표시 모듈(미도시)은 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다
반면, 음원출력모듈(미도시)은 전기적인 신호인 음원을 아날로그 신호로 변환하여 출력하는 역할을 수행하는 것으로, 제어부(13)의 제어에 따라 음성 메시지를 출력하는 역할을 수행할 수 있다.
이와 같이, 도 2를 참조하여 단말(10)의 주요 구성에 대해 설명하였다. 그러나 도 2를 통해 도시된 구성 요소가 모두 단말(10)의 필수 구성 요소는 아니다.
예컨대, 단말(10)은 방송송신장치(미도시)로부터 수신되는 방송 신호를 출력할 수 있는 방송출력부, 메신저 프로그램 실행 중에 발생되는 다양한 정보를 진동으로 출력할 수 있는 햅틱모듈 등을 더 포함하여 구성될 수 있으며, 그 보다 더 적은 구성 요소에 의해 단말(10)이 구현될 수도 있다.
이하, 본 발명의 실시 예에 따른 서비스 장치(20)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 주요 구성을 도시한 블록도이다.
도 1 및 도 3를 참조하면, 본 발명의 서비스 장치(20)는 서비스 통신부(21), 서비스 제어부(22) 및 서비스 저장부(23)를 포함하여 구성될 수 있다.
여기서 서비스 통신부(21)는 하나 이상의 단말(10)과 메신저 프로그램과 관련된 다양한 정보를 송수신하는 역할을 수행할 수 있다.
특히, 서비스 통신부(21)는 어느 하나의 단말과 연결된 다른 단말 사이에 송수신되는 메시지 또는 컨텐츠를 수신할 수 있다. 또한 서비스 통신부(21)는 어느 하나의 단말(10)로부터 다양한 정보에 대한 요청 정보를 수신하고, 이에 대한 정보를 상기 단말(10)로 제공할 수도 있다.
서비스 제어부(22)는 본 발명의 서비스 장치(20)의 전반적인 제어를 수행하는 것으로, 특히, 본 발명의 실시 예에 따른 서비스 제어부(22)는 메신저 프로그램과 관련된 다양한 제어를 수행할 수 있다.
예컨대, 서비스 제어부(22)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리하게 된다. 또한, 서비스 제어부(22)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말, 예컨대 제1 단말 및 제2 단말 간에 메시지 또는 컨텐츠 송수신이 가능하게 된다.
특히, 본 발명의 실시 예에 따른 서비스 제어부(22)는 메신저 프로그램이 실행되고 있는 어느 하나의 단말, 예컨대 제1 단말(10a)로부터 어느 하나의 상대방 단말, 예컨대 제2 단말(10b)로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 기초로 문자 메시지를 생성할 수 있다. 이때, 서비스 제어부(22)는 상기 음성 메시지를 인식하여 텍스트로 변환한 후, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하고, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하게 된다.
앞서, 본 발명의 일 실시 예에서는 단말(10)을 중심으로 음성 메시지에서 문자 메시지가 생성되는 과정이 이뤄지는 것을 예로 들어 설명하였다. 그러나 이에 한정되는 것은 아니며, 상술한 바와 같이 서비스 장치(20)가 직접 음성 메시지를 인식하여 문자 메시지를 생성할 수도 있다.
이를 위해, 서비스 제어부(22)는 메신저 관리 모듈(22a) 및 음성 인식 모듈(22b)을 포함하여 구성될 수 있다. 메신저 관리 모듈(22a)은 다수의 단말(10) 사이의 메신저 프로그램을 제공하고 제어하기 위한 다양한 기능들을 수행할 수 있으며, 음성 인식 모듈(22b)은 어느 하나의 단말(10)로부터 음성 메시지가 수신되면, 수신된 음성 메시지를 인식하여 문자 메시지로 변환하는 과정 전반을 제어할 수 있다.
상술한 바와 같은 메신저 프로그램 이용 중에 발생되는 다양한 정보는 서비스 저장부(23)에 저장될 수 있다. 더하여, 서비스 저장부(23)는 단말(10)과 하나 이상의 상대방 단말과 주고 받은 메시지, 컨텐츠 정보 등이 저장될 수 있으며, 서비스 제어부(22)는 단말(10)의 사용자 식별 정보에 대응하여 상기 정보들이 저장되도록 제어할 수도 있다.
이러한 서비스 저장부(23)는 메신저 시스템(100) 내의 하나의 저장소일 수 있고, 메신저 시스템(100) 외부에 위치하여 서비스 장치(20)와 데이터 송수신이 가능한 별도의 데이터 저장 장치일 수도 있다.
이상으로 본 발명의 실시 예에 따른 서비스 장치(20)에 대해 설명하였다.
앞서 설명한 바와 같이, 본 발명의 서비스 장치(20)는 서버 기반 컴퓨팅 방식 또는 클라우드 방식으로 동작하는 하나 이상의 서버로 구현될 수 있다. 특히, 메신저 시스템(100)을 통해 송수신되는 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 영구적으로 저장될 수 있는 클라우드 컴퓨팅(Cloud Computing) 기능을 통해 제공될 수 있다. 여기서, 클라우드 컴퓨팅은 데스크톱, 태블릿 컴퓨터, 노트북, 넷북 및 스마트폰 등의 디지털 단말기에 인터넷 기술을 활용하여 가상화된 IT(Information Technology) 자원, 예를 들어, 하드웨어(서버, 스토리지, 네트워크 등), 소프트웨어(데이터베이스, 보안, 웹 서버 등), 서비스, 데이터 등을 온 디맨드(On demand) 방식으로 서비스하는 기술을 의미한다. 본 발명에 있어서, 다수의 단말(10)과 서비스 장치(20) 사이에 송수신되는 모든 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 저장되고, 언제 어디서든 전송될 수 있다.
한편, 단말(10) 또는 서비스 장치(20)에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
이하, 본 발명의 실시 예에 따른 음성 메시지 제공 방법에 대해 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 음성 메시지 제공 방법을 설명하기 위한 데이터 흐름도이다.
도 1 및 도 4를 참조하여 설명하기에 앞서, 본 발명의 일 실시 예에서는 제1 단말(10a)은 메신저 프로그램 실행 중에 음성 메시지를 생성하고, 생성된 음성 메시지를 지정된 하나 이상의 상대방 단말, 예컨대, 제2 단말(10b)로 전송하기 위한 사용자의 단말이며, 제2 단말(10b)은 제1 단말(10a)로부터 전송되는 메시지를 수신하는 사용자의 단말로 가정하여 설명하나, 이에 한정되는 것은 아니며, 제1 단말(10a)과 제2 단말(10b)은 동일한 기능을 수행할 수 있다.
이하, 본 발명의 실시 예에 따른 음성 메시지 제공 방법에 대해 도 4를 참조하여 설명하도록 한다.
제1 단말(10a)은 메신저 프로그램 실행되면(S101), 사용자의 요청에 따라 음성 메시지를 생성할 수 있다(S103). 이때, 제1 단말(10a)은 메신저 프로그램 실행 화면, 특히, 메신저 프로그램의 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 음성 녹음 기능을 활성화하여 음성 메시지를 생성할 수 있다.
이후, 생성된 음성 메시지를 제1 단말(10a)은 메신저 프로그램의 대화 창 화면을 통해 상대방 단말, 예컨대 제2 단말(10b)로 전송하게 된다(S105).
메신저 프로그램을 통해 제1 단말(10a)과 제2 단말(10b) 사이의 메시지 송수신을 관리하는 서비스 장치(20)는 제1 단말(10b)로부터 제2 단말(10b)로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여(S107) 텍스트로 변환하게 된다(S109). 이후, 서비스 장치(20)는 상기 변화된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하고(S111), 추출된 상기 키워드를 포함하는 문자 메시지를 생성하게 된다.
이후, 서비스 장치(20)는 제1 단말(10a)로부터 수신된 음성 메시지와 상기 음성 메시지를 기초로 생성된 문자 메시지를 제2 단말(10b)로 전송하고, 제2 단말(10b)은 상기 음성 메시지와 문자 메시지를 메신저 프로그램의 대화 창 화면을 통해 표시하게 된다.
이때, 제1 단말(10a)의 메신저 프로그램의 대화 창 화면에서도 상기 제2 단말(10b)로 전송된 음성 메시지와 문자 메시지를 표시할 수 있다.
이에 대해 도 5 내지 도 8를 참조하여 보다 구체적으로 설명하도록 한다.
도 5 내지 도 8은 본 발명의 실시 예에 따른 음성 메시지 제공 방법을 설명하기 위한 화면 예시도이다.
이 중, 도 5는 사용자의 단말, 예컨대 제1 단말(10a)에서의 메신저 프로그램 대화 창 화면을 도시한 것이다. 메신저 프로그램 대화 창 화면 상단(505)에는 메신저 프로그램 대화 창 화면을 통해 연결된 상대방 단말, 예컨대 제2 단말(10b) 사용자에 대한 정보가 표시될 수 있으며, 서비스 장치(20)의 제어 하에 제2 단말(10b)과 다양한 메시지를 송수신할 수 있다.
또한, 대화 창 하단에는 상대방 단말과 다양한 정보, 예컨대 사진, 음악 등의 컨텐츠를 공유하기 위한 컨텐츠 공유 화면 표시 메뉴(501), 상대방 단말로 이모티콘, 스티커 등을 전송하기 위한 메뉴(502), 메시지를 입력하기 위한 입력란(503) 등을 포함하여 구성될 수 있다.
또한, 음성 메시지를 생성하기 위한 메뉴(504)를 더 포함하여 구성될 수 있으며, 제1 단말(10a)의 사용자가 상기 음성 메시지를 생성하기 위한 메뉴(504))를 선택함으로써, 음성 녹음을 진행할 수 있다.
또한, 상기 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대 롱터치, 드래그, 스와이프 등의 입력이 감지되면, 음성 녹음 기능을 활성화하여 음성 녹음을 진행할 수 있다. 또한, 도 6에 도시된 바와 같이, 음성 녹음이 진행되면, 음성 녹음이 진행되고 있음을 알리는 메시지가 표시되고, 상기 메시지 창을 터치하여 클릭하거나, 상기 메시지 창을 드래그 하여 이동시키거나, 스와이프 하는 등의 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 음성 녹음 진행을 종료하여 음성 메시지를 생성할 수 있다.
이후, 도 6에 도시된 바와 같이, 상대방 단말, 즉 제2 단말(10b)로 전송할 지 여부를 확인하는 메시지(507)가 표시되며, 사용자는 전송 버튼을 선택하여 상대방 단말로 생성된 음성 메시지를 전송하거나, 취소 버튼을 선택하여 음성 메시지의 전송을 취소할 수 있다.
여기서, 사용자가 전송 버튼을 선택하게 되면, 상기 제1 단말(10a) 및 제2 단말(10b) 사이의 채팅 세션을 관리하는 서비스 장치(20)가 상기 제1 단말(10a)로부터 제2 단말(10b)로 전송되는 음성 메시지를 수신한다.
이후, 서비스 장치(20)는 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여, 생성된 상기 문자 메시지 및 음성 메시지를 제2 단말(10b)로 전송하게 된다.
도 7은 제2 단말(10b)에서의 메신저 프로그램의 대화 창 화면을 도시한 것으로, 제2 단말(10b)은 508이 지시하는 바와 같이 제1 단말(10b)로부터 수신된 음성 메시지를, 서비스 장치(20)에 의해 생성된 문자 메시지와 함께 표시할 수 있다.
여기서, 상기 문자 메시지는 음성 메시지를 텍스트로 변환하고, 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드가 추출되면, 상기 키워드만을 포함하여 구성될 수 있다. 즉, 508이 지시하는 바와 같이, 음성 메시지, 예컨대, '오늘 약속 장소는 강남역 치킨집이야'에서 기 설정된 조건(명사만 추출)에 해당하는 키워드만을 포함하여 문자 메시지를 생성할 수 있다.
또한, 도 8의 509가 지시하는 바와 같이, 음성 메시지를 텍스트로 변환하고, 변환된 텍스트를 모두 포함하는 문자 메시지를 생성하되, 기 설정된 조건에 해당되는 키워드(예컨대, 명사)에 기 설정된 효과(예컨대, 밑줄)를 부여하여 생성된 문자 메시지를 표시할 수 있다.
이를 통해, 메신저 프로그램 이용 중에 발생되는 음성 메시지를 문자 메시지로 변환하되, 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출하고, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하거나, 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성함으로써, 음성 메시지를 문자 메시지로 변환하는 데 소요되는 시간 및 자원이 감소함과 동시에, 사용자는 음성 메시지의 내용을 보다 쉽게 파악할 수 있게 된다.
이를 통해, 본 발명은 새로운 메신저 프로그램의 UX(User eXperience)를 제공할 수 있게 된다.
아울러, 본 발명의 일 실시 예에 따른 음성 메시지 제공 방법은 서비스 장치(20)가 음성 메시지를 인식하여, 기 설정된 조건을 만족하는 키워드를 포함하는 문자 메시지를 생성하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 음성 메시지를 생성한 사용자의 단말에서 음성 메시지를 기초로 문자 메시지를 생성할 수 있으며, 음성 메시지를 수신한 사용자의 단말에서 음성 메시지를 기초로 문자 메시지를 생성할 수도 있다.
이상으로 본 발명의 실시 예에 따른 음성 메시지 제공 방법에 대해 설명하였다.
상술한 바와 같은 본 발명의 음성 메시지 제공 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이때, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 음성 메시지 제공 방법에 관한 것으로서, 더욱 상세하게는 메신저 프로그램을 통해 어느 하나의 단말로부터 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 인식된 결과에 따라 상기 음성 메시지를 문자 메시지로 변환하되, 상기 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 표시할 수 있는 음성 메시지 제공 방법, 이를 위한 장치 및 시스템에 관한 것이다.
본 발명에 의하면, 메신저 프로그램 이용 중에 음성 메시지가 수신되면, 수신된 음성 메시지를 인식하여 기 설정된 조건을 만족하는 키워드를 포함하는 문자 메시지를 생성함으로써, 음성 메시지의 내용을 쉽게 파악할 수 있다는 효과가 있으며, 이를 통해 메신저 서비스 산업의 발전에 이바지할 수 있게 된다.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

Claims (20)

  1. 메신저 프로그램 실행 중에 발생되는 정보를 출력하는 출력부; 및
    상기 출력부와 기능적으로 연결되며, 상기 메신저 프로그램 실행 중에 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 생성된 문자 메시지를 상기 출력부를 통해 출력되도록 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 단말.
  2. 제1항에 있어서,
    사용자의 요청에 따라 음성 녹음을 진행하여 음성 메시지를 생성하는 음성 인식부; 및
    하나 이상의 상대방 단말과 상기 메신저 프로그램을 통해 발생되는 정보를 송수신하는 통신부;
    를 더 포함하며,
    상기 제어부는
    상기 음성 인식부를 통해 음성 메시지가 인가되거나, 상기 통신부를 통해 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환하는 것을 특징으로 하는 단말.
  3. 제2항에 있어서,
    상기 제어부는
    상기 출력부를 통해 메신저 프로그램 대화 창 화면에 출력되고 있는 상태에서, 상기 음성 인식부를 통해 음성 메시지가 인가되면, 상기 인가된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 생성된 문자 메시지를 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 상기 통신부를 통해 전송되도록 제어하는 것을 특징으로 하는 단말.
  4. 제2항에 있어서,
    상기 제어부는
    상기 메신저 프로그램 실행 중에 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 음성 인식부로 음성 메시지 생성을 요청하여 음성 메시지가 생성되도록 제어하는 것을 특징으로 하는 단말.
  5. 제4항에 있어서,
    상기 기 설정된 조건에 해당하는 사용자 입력은
    특정 방향으로의 터치, 스와이프(swipe), 드래그 앤 드롭(drag & drop), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나인 것을 특징으로 하는 단말.
  6. 제1항에 있어서,
    상기 기 설정된 조건은
    명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정되는 것을 특징으로 하는 단말.
  7. 제1항에 있어서,
    상기 제어부는
    상기 추출된 키워드만을 포함하는 문자 메시지를 생성하는 것을 특징으로 하는 단말.
  8. 제1항에 있어서,
    상기 제어부는
    상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성하는 것을 특징으로 하는 단말.
  9. 제1항에 있어서,
    상기 추출된 키워드가 특정 시간에 대한 정보를 포함하고 있을 경우, 상기 제어부는 해당되는 상기 시간에 상기 출력부를 통해 알림 메시지가 표시되도록 제어하는 것을 특징으로 하는 단말.
  10. 제1항에 있어서,
    상기 제어부는
    상기 출력부를 통해 메신저 프로그램 대화 창 화면에 출력되고 있는 상태에서, 상기 음성 메시지가 인가되면, 상기 음성 메시지에 대응하는 아이콘을 상기 출력부를 통해 출력되도록 제어하는 것을 특징으로 하는 단말.
  11. 하나 이상의 단말과 메신저 프로그램을 통해 다양한 정보를 송수신하는 서비스 통신부; 및
    상기 서비스 통신부와 기능적으로 연결되며, 상기 서비스 통신부를 통해 메신저 프로그램이 실행되고 있는 어느 하나의 단말로부터 적어도 하나의 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 서비스 통신부를 통해 상기 상대방 단말로 전송되도록 제어하는 서비스 제어부;
    를 포함하는 것을 특징으로 하는 서비스 장치.
  12. 제11항에 있어서,
    상기 서비스 제어부는
    상기 추출된 키워드만을 포함하는 문자 메시지를 생성하는 것을 특징으로 하는 서비스 장치.
  13. 제11항에 있어서,
    상기 서비스 제어부는
    상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성하는 것을 특징으로 하는 서비스 장치.
  14. 제11항에 있어서,
    상기 기 설정된 조건은
    명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정되는 것을 특징으로 하는 서비스 장치.
  15. 메신저 프로그램 실행 중에 음성 메시지가 생성되면, 생성된 음성 메시지를 적어도 하나의 상대방 단말로 전송하는 단말; 및
    상기 단말로부터 상기 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 상대방 단말로 전송하는 서비스 장치;
    를 포함하는 것을 특징으로 하는 메신저 시스템.
  16. 서비스 장치가 메신저 프로그램이 실행되고 있는 어느 하나의 단말로부터 적어도 하나의 상대방 단말로 전송되는 음성 메시지를 수신하는 단계;
    상기 서비스 장치가 상기 음성 메시지를 인식하여 텍스트로 변환하는 단계;
    상기 서비스 장치가 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 상기 추출된 키워드를 포함하는 문자 메시지를 생성하는 단계; 및
    상기 서비스 장치가 상기 음성 메시지 및 상기 문자 메시지를 상기 상대방 단말로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 음성 메시지 제공 방법.
  17. 제16항에 있어서,
    상기 음성 메시지를 수신하는 단계 이전에,
    상기 단말이 상기 메신저 프로그램 실행 중에 기 설정된 조건에 해당하는 사용자 입력을 감지하는 단계;
    상기 단말이 음성 녹음을 진행하여 음성 메시지를 생성하는 단계; 및
    상기 단말이 상기 음성 메시지를 상기 상대방 단말로 전송하기 위해, 상기 서비스 장치로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 음성 메시지 제공 방법.
  18. 제16항에 있어서,
    상기 문자 메시지를 생성하는 단계는
    상기 서비스 장치가 상기 추출된 키워드만을 포함하는 문자 메시지를 생성하는 것을 특징으로 하는 음성 메시지 제공 방법.
  19. 제16항에 있어서,
    상기 문자 메시지를 생성하는 단계는
    상기 서비스 장치가 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성하는 것을 특징으로 하는 음성 메시지 제공 방법.
  20. 제16항 내지 제19항 중 적어도 한 항에 기재된 음성 메시지 제공 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
PCT/KR2013/005080 2013-02-26 2013-06-10 음성 메시지 제공 방법, 이를 위한 장치 및 시스템 WO2014133225A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130020699A KR20140107736A (ko) 2013-02-26 2013-02-26 음성 메시지 제공 방법, 이를 위한 장치 및 시스템
KR10-2013-0020699 2013-02-26

Publications (1)

Publication Number Publication Date
WO2014133225A1 true WO2014133225A1 (ko) 2014-09-04

Family

ID=51428470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005080 WO2014133225A1 (ko) 2013-02-26 2013-06-10 음성 메시지 제공 방법, 이를 위한 장치 및 시스템

Country Status (2)

Country Link
KR (1) KR20140107736A (ko)
WO (1) WO2014133225A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412282A (zh) * 2016-09-26 2017-02-15 维沃移动通信有限公司 一种实时消息语音提示方法及移动终端
CN112017664A (zh) * 2020-08-19 2020-12-01 深圳创维－Rgb电子有限公司 基于语音识别的弹幕发送控制方法、装置、终端及介质
CN115497489A (zh) * 2022-09-02 2022-12-20 深圳传音通讯有限公司 语音交互方法、智能终端及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026049A (ko) 2016-09-02 2018-03-12 에스케이플래닛 주식회사 위치 제공 방법 및 이를 위한 장치
KR101894928B1 (ko) 2017-02-14 2018-09-05 (주)스톤아이 방문 횟수를 이용한 보너스 정산 시스템의 보너스 금액 산출 장치 및 방법
KR20190118813A (ko) 2018-04-11 2019-10-21 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
KR20200023814A (ko) * 2018-08-27 2020-03-06 주식회사 닫닫닫 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체
KR102179994B1 (ko) * 2019-10-21 2020-11-17 울르그벡 후데이베르디에브 메시지를 전송하는 방법 및 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050037033A (ko) * 2003-10-17 2005-04-21 에스케이 텔레콤주식회사 휴대폰 인스턴트 메시지 전송 시스템 및 그 방법
KR20060083338A (ko) * 2005-01-14 2006-07-20 에스케이 텔레콤주식회사 메신저 서비스 제공 방법 및 시스템
KR20070009254A (ko) * 2005-07-15 2007-01-18 에스케이 텔레콤주식회사 사이버 에이전트를 이용한 메시지 요약 전송 서비스 시스템 및 방법
KR101163757B1 (ko) * 2009-12-09 2012-07-09 주식회사 성우모바일 메신저 문자음성 변환서비스 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050037033A (ko) * 2003-10-17 2005-04-21 에스케이 텔레콤주식회사 휴대폰 인스턴트 메시지 전송 시스템 및 그 방법
KR20060083338A (ko) * 2005-01-14 2006-07-20 에스케이 텔레콤주식회사 메신저 서비스 제공 방법 및 시스템
KR20070009254A (ko) * 2005-07-15 2007-01-18 에스케이 텔레콤주식회사 사이버 에이전트를 이용한 메시지 요약 전송 서비스 시스템 및 방법
KR101163757B1 (ko) * 2009-12-09 2012-07-09 주식회사 성우모바일 메신저 문자음성 변환서비스 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412282A (zh) * 2016-09-26 2017-02-15 维沃移动通信有限公司 一种实时消息语音提示方法及移动终端
CN106412282B (zh) * 2016-09-26 2019-08-20 维沃移动通信有限公司 一种实时消息语音提示方法及移动终端
CN112017664A (zh) * 2020-08-19 2020-12-01 深圳创维－Rgb电子有限公司 基于语音识别的弹幕发送控制方法、装置、终端及介质
CN115497489A (zh) * 2022-09-02 2022-12-20 深圳传音通讯有限公司 语音交互方法、智能终端及存储介质

Also Published As

Publication number Publication date
KR20140107736A (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
WO2014133225A1 (ko) 음성 메시지 제공 방법, 이를 위한 장치 및 시스템
WO2014123270A1 (ko) 인스턴트 메시징 서비스 제공 방법, 이를 위한 프로그램을 기록한 기록 매체 및 단말
WO2016060480A1 (en) Electronic device and method for spoken interaction thereof
WO2016137092A2 (ko) 메신저 서비스에서의 그룹 아이콘 구성 방법 및 이를 위한 장치
WO2014042357A1 (ko) 화면 동기 제어 시스템, 이를 이용한 화면 동기 방법 및 장치
WO2015005606A1 (en) Method for controlling chat window and electronic device implementing the same
WO2016060370A1 (en) Terminal for internet of things and operation method of the same
WO2013077589A1 (ko) 음성인식 부가 서비스 제공 방법 및 이에 적용되는 장치
WO2014007545A1 (en) Method and apparatus for connecting service between user devices using voice
WO2018034552A1 (en) Language translation device and language translation method
WO2014069755A1 (ko) 컨텐츠 추천 서비스 제공 시스템 및 방법
WO2016093552A2 (en) Terminal device and data processing method thereof
WO2016013767A1 (ko) 근거리 무선 장치를 이용한 이동 단말기들 사이의 커뮤니케이션 서비스 제공 방법
WO2018155976A1 (ko) 대화형 애플리케이션의 메시지 공유 시스템과 방법
WO2016186325A1 (ko) 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법
WO2014196708A1 (ko) 보안토큰을 이용한 인증 방법, 이를 위한 시스템 및 장치
WO2017018665A1 (ko) 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
WO2012022215A1 (zh) 一种互联网中互动信息的交互方法、装置及***
WO2014142391A1 (ko) 음성 메시지 생성 방법, 이를 위한 장치 및 시스템
WO2018151429A1 (ko) 알림 제공 방법 및 이를 구현한 전자 장치
WO2014058153A1 (ko) 주소록 정보 서비스 시스템, 그 시스템에서의 주소록 정보 서비스를 위한 방법 및 장치
WO2016013693A1 (ko) 단말 장치 및 단말 장치의 제어 방법
WO2014171613A1 (ko) 메시징 서비스 제공 방법, 이를 위한 프로그램을 기록한 기록 매체 및 단말
WO2014133227A1 (ko) 오디오 데이터를 이용한 프레즌스 정보 제공 시스템, 이를 위한 장치 및 이를 위한 방법
WO2020180008A1 (en) Method for processing plans having multiple end points and electronic device applying the same method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876678

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13876678

Country of ref document: EP

Kind code of ref document: A1