WO2014142391A1 - Method for generating voice message, and apparatus and system therefor - Google Patents

Method for generating voice message, and apparatus and system therefor Download PDF

Info

Publication number
WO2014142391A1
WO2014142391A1 PCT/KR2013/005076 KR2013005076W WO2014142391A1 WO 2014142391 A1 WO2014142391 A1 WO 2014142391A1 KR 2013005076 W KR2013005076 W KR 2013005076W WO 2014142391 A1 WO2014142391 A1 WO 2014142391A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice message
voice
terminal
displayed
message
Prior art date
Application number
PCT/KR2013/005076
Other languages
French (fr)
Korean (ko)
Inventor
오길훈
권기택
김희용
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2014142391A1 publication Critical patent/WO2014142391A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Definitions

  • the present invention relates to a method of generating a voice message in a messenger program. More particularly, when a voice message processing area is displayed and maintained for a predetermined time while a chat window screen of a messenger program is displayed, the voice recording is performed.
  • the present invention relates to a voice message generating method and apparatus and system for generating a voice message, and to easily generate a voice message and to transmit the generated voice message to one or more counterpart terminals connected through the chat window screen.
  • the mobile communication terminal can be used in addition to basic voice communication functions such as data communication, taking a picture or video using a camera, playing a music or video file, playing a game, watching a broadcast, and the like. Is being implemented.
  • a user may create a text message and transmit the generated text message to the counterpart terminal, thereby communicating with the counterpart terminal, and furthermore, may communicate with the counterpart terminal using a voice message.
  • the present invention has been proposed to solve the above-mentioned problems.
  • voice recording is performed by performing voice recording. It is an object of the present invention to provide a voice message generating method, an apparatus and a system therefor, which can generate and transmit a generated voice message to one or more counterpart terminals connected through the chat window screen.
  • the present invention after recognizing a voice message and extracting a predetermined keyword from the voice message, generates a text message including the extracted keyword, the voice message generating method that can be transmitted to the counterpart terminal with the voice message, It is an object to provide an apparatus and system for this purpose.
  • a terminal including an output unit configured to output information generated during execution of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal; A voice recognition unit for generating a voice message by performing voice recording; And a controller operatively connected to the output unit and the voice recognition unit, wherein the controller is configured to process a voice message for supporting voice message generation while a chat window screen of the messenger program is displayed through the output unit. After the area is controlled to be displayed through the output unit, if the displayed voice message processing area is maintained for a predetermined time, a control command may be transmitted to the voice recognition unit to generate a voice message by performing voice recording.
  • the voice message processing area may further include an input unit supporting a user input, and the controller may detect a user input corresponding to a preset condition through the input unit while the conversation window screen is being displayed.
  • the control unit may be displayed through the output unit, and if the user input is continued, a control command may be transmitted to the voice recognition unit so that the voice recording proceeds.
  • the user input corresponding to the preset condition may be any one of a touch, a swipe in one direction, a touch and drag, a gesture, a gaze movement, and a shake on the conversation window screen. Can be.
  • the controller may transmit a control command to the voice recognition unit so that a voice message is generated by ending the voice recording.
  • the terminal further comprises a communication unit for transmitting and receiving a variety of information generated through the messenger program with one or more counterpart terminal, the control unit is a voice message generated through the voice recognition unit via the communication window screen It may be controlled to be transmitted to the other terminal connected through.
  • the controller may be configured to display the voice message processing area on a certain area within the chat window screen, move the chat window screen in one direction and simultaneously display the moved chat window screen, or switch from the chat window screen. Only the voice message processing area may be controlled to be displayed through the output unit.
  • the controller may control to display at least one of an icon indicating that voice recording is in progress and a voice recording progress bar through the voice message processing area while the voice recording is in progress.
  • the voice recording progress bar may include at least one of recording progress status information, recording progress time information, and maximum recordable time information.
  • the controller may generate a text message including a predetermined keyword in the voice message generated by the voice recognition unit.
  • the controller may control to display an icon indicating that the voice message is being analyzed through the voice message processing area while the text message is generated.
  • the controller may control the voice message processing area not to be displayed when the text message generation is completed.
  • the controller may control to output a voice message generation failure message through the output unit when the user input is terminated while the user input does not last for a predetermined time or more.
  • a service apparatus for achieving the above object is a service communication unit for transmitting and receiving a variety of information through one or more terminals and a messenger program; And a voice message operatively connected to the service communication unit and indicating that a voice message processing area for supporting voice message generation is displayed from any one terminal on which a chat window screen of the messenger program is displayed through the service communication unit.
  • the processing area display information is received, the voice recording request information is transmitted to the terminal through the service communication unit.
  • the voice message processing area deactivation information is received from the terminal through the service communication unit, the service communication unit is voiced to the terminal.
  • a service controller for controlling the recording end request information to be transmitted.
  • the service control unit transmits the voice recording end request information to the terminal and receives a voice message generated through the service communication unit from the terminal
  • the service control unit communicates the received voice message through the service communication unit. It may be controlled to be transmitted to the connected counterpart terminal through the window screen.
  • the service controller may recognize the voice message received from the terminal, convert the voice message into text, extract a keyword satisfying a preset condition from the converted text, and generate a text message including the extracted keyword.
  • the received voice message and the generated text message may be controlled to be transmitted to the counterpart terminal through the service communication unit.
  • the preset condition may be a condition set to extract a keyword corresponding to a noun, a number, and a uniform resource locator (URL), or to analyze a voice size to extract a keyword having a predetermined size or more.
  • URL uniform resource locator
  • the service controller may generate a text message including only the extracted keywords.
  • the service controller may generate a text message to which a predetermined effect is assigned to the extracted keyword.
  • the messenger system in a state where a chat window screen of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal is displayed, When the voice message processing area for supporting message generation is displayed and maintained for a predetermined time, the terminal for generating a voice message by performing voice recording, and transmitting the generated voice message to at least one counterpart terminal; And receiving a voice message transmitted from the terminal to the counterpart terminal, generating a text message including a predetermined keyword through the voice message, and transmitting the generated text message and the voice message to the counterpart terminal.
  • Apparatus can be configured to include.
  • a method of generating a voice message comprising: displaying, by a terminal, a chat window screen of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal; ; Displaying, by the terminal, a voice message processing area for supporting voice message generation; Determining, by the terminal, whether the voice message processing area is maintained for a predetermined time or more while the voice message processing area is displayed; And if the voice message processing area is maintained for a predetermined time or more, performing a voice recording by the terminal.
  • the displaying of the voice message processing area may include: determining, by the terminal, a user input corresponding to a preset condition on the chat window screen; And when the user input corresponding to the preset condition is detected, displaying, by the terminal, the voice message processing area.
  • the terminal may determine whether the user input lasts for a predetermined time or longer.
  • the terminal ends the voice recording to generate a voice message; Recognizing the voice message and converting the voice message into text; Generating, by the terminal, a keyword that satisfies a predetermined condition in the converted text, and then generating a text message including the extracted keyword; And transmitting, by the terminal, the voice message and the text message to at least one counterpart terminal connected through the chat window screen.
  • the present invention can provide a computer readable recording medium having recorded thereon a program for executing the voice message generating method as described above.
  • an apparatus and a system therefor when the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, the voice message is processed to record the voice message. It may be generated and transmitted to one or more counterpart terminals connected through the chat window screen.
  • a user using a messenger program can have an excellent effect of generating a voice message through a simpler and more intuitive user interface.
  • the voice message generating method, apparatus and system therefor extracting a keyword satisfying a predetermined condition from the generated voice message, and then generating a text message including the extracted keyword and transmitting it to the counterpart terminal.
  • the user as well as the counterpart receiving the voice message and the text message can more easily grasp the contents of the voice message.
  • FIG. 1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a main configuration of a terminal according to an exemplary embodiment of the present invention shown in FIG. 1.
  • FIG. 3 is a block diagram illustrating a main configuration of a service apparatus according to an exemplary embodiment of the present invention illustrated in FIG. 1.
  • FIG. 4 is a data flowchart illustrating a voice message generation method in a terminal according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of generating a voice message in a service apparatus according to another embodiment of the present invention.
  • 6 to 14 are screen views illustrating a voice message generating method according to an embodiment of the present invention.
  • first and second are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • a component when referred to as being "connected” or “connected” to another component, it means that it may be connected or connected logically or physically. In other words, although a component may be directly connected or connected to other components, it should be understood that other components may exist in the middle, and may be connected or connected indirectly.
  • FIG. 1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
  • the messenger system 100 of the present invention may include a plurality of terminals 10, a service device 20, and a communication network 30.
  • the plurality of terminals 10 are devices that can transmit and receive messages or share contents by transmitting and receiving messages with one or more counterpart terminals through a messenger program.
  • the messenger program may be provided by the service device 20, and may be a program capable of providing an instant messaging service.
  • the messenger program may be downloaded from the service device 20 and installed in the terminal 10. Even if the terminal 10 does not have a messenger program installed, the messenger program may be connected to the service device 20 to provide a messenger program in a cloud service manner. It can also be used.
  • the terminal 10 may execute a messenger program and display a messenger program execution screen (eg, an initial screen, a chat window screen, and the like).
  • the messenger program may be executed according to a user's request or may be executed when a specific event occurs.
  • the messenger program of the terminal 10 may be executed when a specific event occurs, for example, when a message is received from the counterpart or when specific information is received from the service device 20.
  • the terminal 10 can more easily generate a voice message only by an intuitive operation of the user while executing a messenger program.
  • a voice message processing area for supporting voice message generation is displayed according to a user's operation, and when the voice message processing area is maintained for a predetermined time, You can control the recording to proceed. Thereafter, when the voice recording is terminated according to a user's manipulation, a voice message may be generated, and the voice message may be controlled to be transmitted to the counterpart terminal connected through the chat window screen.
  • a voice message generated by the first terminal 10a is transmitted through a chat window screen. 10b), and may receive a voice message from the second terminal 10b.
  • the terminal 10 may generate or transmit a text message to the counterpart terminal based on the generated voice message or the voice message received from one counterpart terminal.
  • the terminal 10 of the present invention recognizes the voice message, converts it into text, extracts a keyword satisfying a predetermined condition from the converted text, and then generates a text message including the extracted keyword. have.
  • the service device 20 serves to support transmission and reception of messages or content between the plurality of terminals 10 through a messenger program. For example, when a message is input by the user of the first terminal 10a, the service device 20 transmits the message to one or more second terminals 10b connected through the chat window screen of the messenger program, and the second terminal 10b. When a message is received from the N-T, the first half of the process of transmitting the message to the first terminal 10a may be controlled.
  • the service device 20 may store and manage a message or content currently being transmitted and received through a chat window according to a user's request.
  • the message or content transmitted and received through the messenger program of the terminal 10 may be stored and managed in the service device 20 instead of being stored in the terminal 10.
  • the message or content transmitted and received through the messenger program may be simultaneously stored in the terminal 10 and the service device 20, and only a specific message or specific content may be stored in the service device 20 according to a user's selection.
  • the service device 20 divides the subscribed users into user identifiers, and provides status, reception mode, message recipient list, and the like for each subscribed user. It is possible to manage subscriber environment information and to manage an IM conversation session, that is, a conversation channel, for transferring an IM conversation message between on-line users.
  • the service device 20 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function, and the like, and thus, a plurality of terminals, for example, the first terminal 10a and the second terminal. It is possible to provide a chat service between 10b.
  • SIP Session Initiation Protocol
  • MSRP Message Session Relay Protocol
  • the service device 20 when a voice message transmitted from the first terminal 10a to the second terminal 10b is received, the service device 20 according to an exemplary embodiment of the present invention recognizes the voice message and converts the voice message into text. Thereafter, the service device 20 may extract a keyword that satisfies a predetermined condition from the converted text, generate a text message including the extracted keyword, and transmit the generated text message to the second terminal 10b together with the voice message. .
  • Such a service device 20 may be implemented as a collection of various devices to support the operation as described above.
  • a database server capable of storing and managing various related information
  • a file server for file processing and a push server capable of automatically pushing related information to the terminal 10 may be implemented.
  • a function corresponding to the server may be implemented in one service apparatus 20 as one module.
  • the processor may process a program command for generating a voice message.
  • this processor may be a single-threaded processor, and in other implementations, the processor may be a multithreaded processor.
  • the processor is capable of processing instructions stored on memory or storage devices.
  • the state connected through the chat window according to the present invention described above means a state in which a mobile path, ie, a session, that can transmit and receive messages between a plurality of terminals 10 is connected.
  • the first terminal 10a selects one or more second terminals 10b to conduct a conversation and generates a chat window, and the first terminal 10a receives one or more messages input from the user.
  • 2 may be a concept including both the transmission to the terminal (10b).
  • the plurality of terminals 10 and the service device 20 transmit and receive various related information through the communication network 30, and the communication network 30 may use various types of communication networks. Can be.
  • wireless communication methods such as wireless LAN (WLAN), Wi-Fi, Wibro, Wimax, Wimax, and High Speed Downlink Packet Access (HSDPA), or Ethernet, xDSL (ADSL, VDSL) , Wired communication methods such as Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
  • WLAN wireless LAN
  • Wi-Fi Wi-Fi
  • Wibro Wimax
  • Wimax Wimax
  • Wimax High Speed Downlink Packet Access
  • HSDPA High Speed Downlink Packet Access
  • Ethernet xDSL (ADSL, VDSL)
  • Wired communication methods such as Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
  • HFC Hybrid Fiber Coaxial Cable
  • FTTC Fiber to The Curb
  • FTTH Fiber To The Home
  • FIG. 2 is a block diagram illustrating a main configuration of a terminal according to an exemplary embodiment of the present invention shown in FIG. 1.
  • the terminal 10 includes a communication unit 11, an input unit 12, a control unit 13, a storage unit 14, an output unit 15, and voice recognition. It may be configured to include a portion (16).
  • the communication unit 11 serves to support the transmission and reception of related information with the service device 20 and one or more counterpart terminals.
  • the communication unit 11 may transmit a message input from a user through a chat window screen of a messenger program to a counterpart terminal connected through a chat channel of the chat window screen, and receive a message from the counterpart terminal.
  • the communication unit 11 may receive a voice message or a text message from a counterpart terminal through a messenger program and transmit a voice message or a text message to one or more counterpart terminals.
  • the communication unit 11 may transmit various request information input from the user to the service device 20. Information corresponding thereto may be received from the service device 20.
  • the input unit 12 transmits a variety of information such as numeric and text information input from a user, a signal input in connection with various function settings and function control of the terminal 10 to the controller 13.
  • the input unit 12 of the present invention executes a messenger program and supports message input from a user through the messenger program.
  • the input unit 12 supports a user input corresponding to a preset condition on a chat window screen of a messenger program for generating a voice message.
  • the user input corresponding to a preset condition may be a touch input on the chat window screen.
  • various touch inputs such as a long touch, a short touch, and a double touch may be used.
  • the user input corresponding to a preset condition may be any one of a swipe, a touch and drag, a gesture, a gaze movement, and a shake in one direction.
  • it may be a swipe in an upward direction, a gesture input in a left direction, or the like.
  • the input unit 12 supporting the user input may be configured with at least one of a keypad and a touch pad generating an input signal according to a user's touch or manipulation.
  • the input unit 12 is configured in the form of a single touch panel (or touch screen) together with the output unit 15, a user input on the touch panel may be sensed.
  • the input unit 12 may support input of a voice of a user, for example, a "left drag", a "right drag”, or the like.
  • the input unit 12 may detect a user's preset gesture.
  • the input unit 12 includes a key input means such as a keyboard or a keypad, a touch input means such as a touch sensor or a touch pad, a voice input means, a gyro sensor, a geomagnetic sensor, an acceleration sensor and a proximity sensor, and a camera. It may also include a gesture input means comprising at least one or more.
  • it may include all types of input means that are currently under development or may be developed in the future.
  • the controller 13 performs overall control of the terminal 10, and may be a process device that drives an operating system (OS) and each component, for example, a central processing unit (CPU). .
  • OS operating system
  • CPU central processing unit
  • control unit 13 of the present invention is functionally connected to each component. That is, the controller 13 is functionally connected to the communication unit 11, the input unit 12, the storage unit 14, the output unit 15, and the voice recognition unit 16, and supplies power and functions to each of the above components. To control the flow of signals for execution
  • control unit 13 may execute a messenger program and control execution of various functions generated through the messenger program. Basically, when a user's request or a preset event is detected, the controller 13 may control the messenger program to be executed, and may control the messenger program execution screen to be displayed on the output unit 15.
  • controller 13 may select a specific counterpart according to a user's request through the messenger program, and support an overall process for transmitting and receiving a message or content with the counterpart. In addition, the controller 13 may support various operations for performing various functions provided by the messenger program.
  • control unit 13 has a voice message processing area for supporting voice message generation while the chat window screen of the messenger program is displayed through the output unit 15. Can be displayed through).
  • the voice message processing area is for more intuitively informing the user that a voice message can be generated.
  • the voice message processing area may be displayed when a user input corresponding to a preset condition is detected through the input unit 12. have.
  • the user input corresponding to a preset condition is touched or swiped in one direction, touch and drag, gesture, eye movement, and shake on the conversation window screen as described above. It may be any one of.
  • the voice input may be performed, and one direction may be a diagonal direction as well as up, down, left, and right on the chat window of the messenger program.
  • the controller 13 may control the voice message processing area to be displayed when a selection input of a predetermined menu is detected by a user.
  • the controller 13 controls the display to be inserted into the chat window screen or moves the chat window screen in one direction and simultaneously with the moved chat window screen. It may be controlled to be displayed, or may be controlled to display only the voice message processing area by being called from the chat window screen.
  • the controller 13 displays the chat window screen.
  • the voice message processing region may be controlled to be displayed in one region of the region, for example, a region where a message is displayed.
  • the controller 13 moves the chat window screen in one direction, that is, to the left.
  • Direction and the voice message processing area is displayed at the same time as the moved chat window screen.
  • the user can confirm that the chat window screen is moved according to the user input direction and the voice message processing area is pulled to the left and displayed.
  • the chat window screen may be moved by only a predetermined distance, and the voice message processing area may be displayed by the distance that the chat window screen is moved.
  • the controller 13 determines whether the voice message processing region is maintained for a predetermined time. Maintaining for a certain time means that the user input as described above is maintained.
  • the user input is a touch and drag input starting from the right side of the chat window screen and proceeding in the left direction, it means that the user's finger at the last point is continuously touching.
  • the user input is a line of sight movement in a diagonal direction, the line of sight at the last point is fixed.
  • the controller 13 controls the voice recognition unit 16 to proceed with the voice recording.
  • the controller 13 requests the voice recognition unit 16 to generate a voice message.
  • the voice recognition unit 16 activates the voice recording function according to a control command of the control unit 13 to record the information input through the microphone MIC.
  • the controller 13 continuously determines whether the user input is maintained. At this time, if the user input is terminated (for example, the user's finger is not touched) and no longer detected, the controller 13 transmits an end command to the voice recognition unit 16, and the voice recognition unit 16 The voice recorded until the end command is applied may be generated as a voice message and transmitted to the controller 13.
  • the controller 13 controls the voice message to be transmitted to one or more counterpart terminals connected through the chat window screen through the communication unit 11.
  • the controller 13 may control at least one of an icon indicating that voice recording is in progress and a voice recording progress bar through the voice message processing area.
  • the voice recording progress bar may control to display at least one of recording progress status information, recording progress time information, and maximum recordable time information.
  • the controller 13 outputs a voice message generation failure message if the user input corresponding to a preset condition does not last for a predetermined time and the user input is terminated. Can be controlled to output through.
  • the controller 13 may control to generate a voice message by performing voice recording when a user input corresponding to a preset condition, for example, a touch input, lasts for 3 seconds or more. When the touch input lasts only 1 second, the voice message generation failure message of 'recording time is short' may be output through the output unit 15.
  • controller 13 may recognize the generated voice message, generate a text message corresponding to the voice message, and control the generated text message to be transmitted to the counterpart terminal together.
  • the controller 13 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the text, and generates and generates a text message including the extracted keyword.
  • the text message may be controlled to be displayed through the output unit 15.
  • the controller 13 recognizes the voice message and converts it into text.
  • the process of recognizing a voice message and converting the voice message into text may apply various known techniques. For example, the controller 13 may first remove noise from the voice message and extract a feature for voice recognition. In addition, the controller 13 may convert the extracted feature into a text by comparing the extracted feature with a pre-stored voice model database and outputting the matching feature as a recognition result.
  • the controller 13 extracts a keyword that satisfies a preset condition from the converted text.
  • the preset condition may be set by the service device 20 serving the user or the messenger program.
  • the preset condition may be a place name, a number, or a specific condition.
  • the controller 13 may extract only the 'Gangnam station' from the voice message, that is, '7 o'clock today, the appointment place is Gangnam station chicken house'.
  • the preset condition is to extract only numbers
  • the controller 13 may extract only '7' from the voice message.
  • the preset condition extracts only nouns
  • the controller 13 may extract only '7 o'clock appointment place Gangnam station chicken house today' from the voice message.
  • the above-described exception may set conditions for keyword extraction from various viewpoints. For example, only a specific Uniform Resource Locator (URL), a phone number, and address information may be extracted, and the height of the user's voice may be analyzed to set only a word corresponding to a high voice section.
  • URL Uniform Resource Locator
  • address information may be extracted, and the height of the user's voice may be analyzed to set only a word corresponding to a high voice section.
  • the controller 13 extracts a keyword that satisfies a predetermined condition from the converted text, and then generates a text message including the extracted keyword.
  • the control unit 13 may generate a text message including only the extracted keywords, and generate a text message including all of the converted texts. You can also create a text message by assigning an underlined effect.
  • controller 13 may transmit the generated text message and the voice message to the counterpart terminal.
  • controller 13 may control to display an icon indicating that the voice message is being analyzed through a voice message processing area while the text message is generated.
  • the voice message may be displayed.
  • the processing area can be controlled so that it is no longer displayed via the output unit 15.
  • the controller 13 may generate a text message through the above-described process.
  • the controller 13 directly controls the voice.
  • a text message corresponding to the message may be generated and controlled to be output through the output unit 15.
  • the voice message When output through the output unit 15, the voice message may be output in the form of a predetermined icon corresponding to the voice message. Thereafter, the controller 13 may output the voice message when a touch input or other preset input for the icon is detected by the user.
  • a text message may be generated in the form of a short message service (SMS).
  • SMS short message service
  • the voice message may be output through the chat window screen of the messenger program, and the text message in the form of a short message may be transmitted to the counterpart terminal through an SMS server or may be output through a menu supporting an SMS function.
  • the controller 13 recognizes the voice message, converts it into text, and extracts a keyword that satisfies a predetermined condition from the converted text, and when the extracted keyword includes information on a specific time. This may be stored in the storage unit 14. For example, when the voice message is' 7 pm on February 16, Gangnam Station Chicken House ', the controller 13 recognizes the voice message and satisfies a preset condition (eg, date information and time information), that is,' February 16th at 7pm '.
  • a preset condition eg, date information and time information
  • the controller 13 may store the extracted keyword information as schedule information in a schedule application, a diary application, or the like stored in the storage 14. Thereafter, the controller 13 may provide the notification message to the user by outputting the schedule information at a corresponding time.
  • the controller 13 may include a messenger control module 13a and a voice processing module 13b.
  • the messenger control module 13a controls the overall execution of the messenger program, such as messenger execution and conversation window generation
  • the voice processing module 13b controls the process of displaying a voice message processing area or controls a voice message. Recognize and play a role in controlling the overall process of generating a text message based on the result.
  • the storage unit 14 may temporarily store various data generated during execution of the application program, including an application program required for operating a function according to an embodiment of the present invention.
  • the storage unit 14 may store a messenger program, and a message or content transmitted and received with one or more counterpart terminals through the messenger program may be stored.
  • the storage unit 14 may store a voice message and a text message generated based on the voice message.
  • the storage unit 14 may store information necessary for voice message recognition, and in particular, may store condition information for extracting a specific keyword from the voice message.
  • the storage unit 14 may largely include a program area and a data area.
  • the program area stores related information for driving the terminal 10 such as an operating system (OS) for booting the terminal 10.
  • the data area is an area in which data generated according to the use of the terminal 10 is stored, and as described above, various information generated during execution of the messenger program, for example, a voice message and a text message generated based on the voice message, may be stored. Can be.
  • the storage unit 14 may be a flash memory, a hard disk, a memory of a multimedia card micro type (for example, SD or XD memory, etc.), a RAM, a ROM, or the like. ROM) and a storage medium.
  • a messenger program or a message or content including a voice message or a text message transmitted and received through the messenger program is stored in the storage unit 14, but is not limited thereto.
  • it may be stored in the service device 20 in association with the service device 20 according to the cloud service method.
  • the output unit 15 outputs information on a series of operation states and operation results generated during the functioning of the terminal 10.
  • the output unit 15 of the present invention may include a display module 15a and a sound source output module 15b.
  • the display module 15a serves to display various information generated during the execution of the messenger program. For example, the display module 15a displays a voice message processing area under the control of the controller 13, and displays various information through the voice message processing area. An icon, a status bar, and the like can be displayed. In addition, an icon corresponding to the voice message and a text message generated based on the voice message may be displayed.
  • the display module 15a may be implemented in the form of a single touch panel (or touch screen) together with the input unit 12, and when implemented together with the input unit 12, the user's preset Various information generated according to an operation may be displayed.
  • the display module 15a may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), organic light emitting diodes (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED), flexible
  • LCD liquid crystal display
  • TFT-LCD thin film transistor LCD
  • OLED organic light emitting diodes
  • LED light emitting diode
  • AMOLED active matrix organic LED
  • the display may be configured as a flexible display and a three-dimensional display. Some of these displays may also be configured to be transparent or light transmissive so that they can be seen from the outside. It may be configured in the form of a transparent display including a transparent OLED (TOLED).
  • TOLED transparent OLED
  • the sound source output module 15b converts a sound source, which is an electrical signal, into an analog signal and outputs the analog signal.
  • the sound source output module 15b may output a voice message under the control of the controller 13.
  • the voice recognition unit 16 generates a voice message by performing voice recording under the control of the controller 13, and processes the analog information from the microphone MIC and the information input through the microphone MIC to process the voice message. It may be configured to include a processing module capable of generating a.
  • the sound source of the voice recognition unit 16 capable of generating a voice message by processing information input through a microphone (MIC) and the output unit 15 capable of outputting the voice message.
  • the output module 15b is illustrated separately, the present invention is not limited thereto. In some cases, the voice inset unit 16 and the sound source output module 15b may exist in the form of one sound source processor.
  • the terminal 10 further includes a broadcast output unit capable of outputting a broadcast signal received from a broadcast transmitter (not shown), a haptic module capable of vibratingly output various information generated during execution of a messenger program, and the like.
  • the terminal 10 may be implemented by fewer components.
  • control unit 13 the location of the main components of the terminal 10 shown in FIG. 2 may be changed for convenience or other reasons.
  • the module constituting the control unit 13 is illustrated as a messenger control module 13a and a voice processing module 13b, but is not limited thereto, and the control unit 13 may be configured with various modules that perform various functions. have.
  • the terminal 10 of the present invention may be implemented in various forms.
  • the terminal 10 described herein may be a mobile terminal such as a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • MP3 player an MP3 player.
  • a fixed terminal such as a smart TV, a desktop computer, or the like may be used.
  • the terminal 10 of the present invention can not be enumerated because all the variations of the portable device according to the convergence (convergence) trend of the digital device, but the unit of the same level as the above-mentioned unit is a terminal according to the present invention It may also be used as (10), if the terminal that can send and receive messages with the terminal of one or more other users via the messenger service device 20 through the communication network 30, any device to the terminal 10 of the present invention Applicable
  • FIG. 3 is a block diagram illustrating a main configuration of a service apparatus according to an exemplary embodiment of the present invention illustrated in FIG. 1.
  • the service device 20 of the present invention may include a service communication unit 21, a service control unit 22, and a service storage unit 23.
  • the service communication unit 21 may play a role of transmitting and receiving various information related to the messenger program with one or more terminals 10.
  • the service communication unit 21 may receive a message or content transmitted and received between any one terminal and another terminal connected thereto.
  • the service communication unit 21 may receive request information for various information from any one terminal 10 and provide the information to the terminal 10.
  • the service controller 22 performs overall control of the service device 20 of the present invention.
  • the service controller 22 according to an embodiment of the present invention may perform various controls related to the messenger program.
  • the service controller 22 divides the subscribed users by user identifiers, and displays the status, reception mode, message recipient list, and subscriber for each subscribed user. It manages environmental information and manages IM chat sessions, or chat channels, for transferring IM chat messages between users who are on-line.
  • the service controller 22 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function, and the like, and thus, a plurality of terminals, for example, the first terminal 10a and the second terminal. Messages or contents can be transmitted and received between the 10b.
  • SIP Session Initiation Protocol
  • MSRP Message Session Relay Protocol
  • the service control unit 22 transmits a voice message processing area from one terminal, for example, the first terminal 10a, through the service communication unit 21, on which a chat window screen of a messenger program is displayed.
  • the voice recording request information is transmitted to the first terminal 10a through the service communication unit 21, and a voice message processing area from the first terminal 10a through the service communication unit 21.
  • the voice recording end request information may be transmitted to the first terminal 10a through the service communication unit 21.
  • the voice message processing region display information may be information indicating that the voice message processing region is displayed through the first terminal 10a.
  • the voice message processing area may be displayed according to a preset user input of the first terminal 10a.
  • the first terminal 10a may transmit the voice message processing region display information to the service device 20 at a predetermined interval while the user input is maintained.
  • the voice message processing area deactivation information refers to a state in which the voice message processing area is displayed but the user input is terminated.
  • the voice message processing area is displayed on the first terminal 10a according to a user input, and the user input is maintained after the user input is maintained for a predetermined time. In this case, the voice message processing area may be continuously displayed.
  • the service controller 22 transmits the voice recording end request information for generating a voice message with the voice recorded so far to the first terminal 10a.
  • the service control unit 22 connects the received voice message to the first terminal 10a through a chat window screen. For example, it may be controlled to be transmitted to the second terminal 10b.
  • the service controller 22 may generate a text message based on the received voice message when the voice message is received from the first terminal 10a.
  • the service controller 22 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the converted text, and generates a text message including the extracted keyword.
  • the service control unit 22 when the service control unit 22 receives the voice message processing region display information from any one terminal 10, the service control unit 22 transmits the voice recording request information to the terminal 10, and the terminal ( When the voice message processing area deactivation information is received from 10), and after the voice recording end request information is transmitted to the terminal 10, if a voice message is received from the terminal 10, the text is based on the received voice message.
  • a message is generated as an example, the present invention is not limited thereto.
  • a process of generating a voice message based on the terminal 10 and a process of generating a text message based on the voice message have been described, but are not limited thereto.
  • the terminal 10 transmits the generated voice message to the service device 20, and the service device 20 transmits the text message based on the voice message.
  • the service device 20 After generating a, it is possible to control the overall process of transmitting the generated text message to the terminal 10 and the other terminal.
  • the service control unit 22 may include a messenger management module 22a and a voice processing module 22b.
  • the messenger management module 22a may perform various functions for providing and controlling a messenger program between the plurality of terminals 10, and the voice processing module 22b generates a text message based on a voice message. Can be controlled.
  • the service storage unit 23 may store messages, contents, and the like, which are exchanged with the terminal 10 and one or more counterpart terminals, and the service control unit 22 corresponds to the user identification information of the terminal 10. Can be controlled to be stored.
  • the service storage unit 23 may be a storage in the messenger system 100, or may be a separate data storage device that is located outside the messenger system 100 and that can transmit and receive data with the service device 20.
  • the service device 20 according to the embodiment of the present invention has been described above.
  • the service device 20 of the present invention may be implemented as one or more servers operating in a server-based computing method or a cloud method.
  • information transmitted and received through the messenger system 100 may be provided through a cloud computing function that may be permanently stored in a cloud computing device on the Internet.
  • cloud computing utilizes Internet technologies in digital terminals such as desktops, tablet computers, laptops, netbooks, and smartphones to virtualize information technology (IT) resources such as hardware (servers, storage, networks, etc.) and software. It refers to a technology that provides services on demand (database, security, web server, etc.), services, and data.
  • all information transmitted and received between the plurality of terminals 10 and the service device 20 is stored in the cloud computing device on the Internet, and can be transmitted anytime, anywhere.
  • the memory mounted in the terminal 10 or the service device 20 stores information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • FIG. 4 is a data flowchart illustrating a voice message generation method in a terminal according to an embodiment of the present invention.
  • a messenger program must be executed in the terminal 10 (S101).
  • the terminal 10 may display a chat window screen of the messenger program according to a user's manipulation (S103).
  • the terminal 10 determines whether a user input corresponding to a preset condition is detected while the chat window screen of the messenger program is being displayed (S105).
  • the user input corresponding to a preset condition may be any one of a touch, a swipe in one direction, a touch and drag, a gesture, a gaze movement, and a shake in the conversation window screen. Can be.
  • the terminal 10 displays a voice message processing area (S107).
  • the voice message processing area is displayed in a certain area within the chat window screen, or is displayed simultaneously with the chat window screen in which the chat window screen is moved in one direction and moved, or is switched in the chat window screen to process the voice message. Only areas can be displayed.
  • the terminal 10 determines whether the user input detected in the step S105 is maintained for a predetermined time (S109), and if maintained for a predetermined time, proceeds with the voice recording (S111).
  • the terminal 10 determines whether the user input is terminated (S113), and when the user input is terminated, the terminal 10 generates a portion in which recording is performed as a voice message (S115).
  • the terminal 10 displays a voice message processing area when a user input corresponding to a preset condition, for example, a touch and drag input upward direction, is detected on a chat window screen of a messenger program. If the user's touch input continues while the voice message processing area is displayed, voice recording is performed. If the touch input is no longer detected, voice recording is terminated to generate a voice message.
  • a preset condition for example, a touch and drag input upward direction
  • the user input corresponding to the preset condition in the step S105 and the user input corresponding to the preset condition in the step S109 may be different.
  • the user input corresponding to the preset condition in step S105 may be a touch and drag input in an upward direction
  • the user input corresponding to the preset condition in step S109 may be a touch input at the end of the drag. Can be.
  • the touch input at the end point of the drag is continued in step S109.
  • the terminal 10 may transmit the generated voice message to the counterpart terminal connected through the chat window screen (S117). Before the transmission, the terminal 10 recognizes the generated voice message and selects a predetermined keyword from the voice message. After generating a text message including a, the text message may be transmitted to the counterpart terminal together with the voice message.
  • the terminal 10 may support only a process until a voice message is generated, and a process of generating a text message based on the voice message may be performed under the control of the service device 20. have.
  • FIG. 5 is a flowchart illustrating a method of generating a voice message in a service apparatus according to another embodiment of the present invention.
  • the service device 20 determines whether voice message processing region display information is received from any one terminal 10 in a standby state S201 (S203).
  • the standby state means that the service device 20 transmits and receives a message between the terminal and the terminal, for example, the first terminal 10a and the second terminal 10b connected through the chat window screen of the first terminal 10a and the messenger program. This refers to a state in which session control, message transmission control, and the like are performed.
  • the service apparatus 20 transmits voice recording request information to the terminal 10 (S205) and the voice message processing region from the terminal 10.
  • the voice recording end request information may be transmitted to the terminal 10 (S209).
  • the voice message processing region display information may be information indicating that the voice message processing region is displayed through the terminal, for example, the first terminal 10a.
  • the voice message processing area deactivation information refers to a state in which the voice message processing area is displayed but the user input is terminated. In other words, the voice message processing area is displayed on the first terminal 10a according to a user input, and the user input is maintained after the user input is maintained for a predetermined time. In this case, the voice message processing area may be continuously displayed.
  • the service device 20 transmits the voice recording end request information to generate a voice message with the voice recorded so far to the first terminal 10a.
  • the service device 20 recognizes the voice message and converts the voice message into text (S213). Thereafter, the service device 20 extracts a keyword satisfying a predetermined condition from the changed text (S215), and generates a text message including the extracted keyword (S217).
  • the service device 20 may transmit the voice message and the text message to the corresponding counterpart terminal.
  • the generated text message may be transmitted to the terminal 10 that has transmitted the voice message.
  • the service apparatus 20 when the voice message processing region activation information is received from any one terminal 10, the service apparatus 20 according to an embodiment of the present invention transmits voice recording request information to the terminal 10 and transmits the voice recording request information.
  • the voice recording end request information is transmitted to the terminal 10 as an example.
  • the present invention is not limited thereto, and steps S201 to S209 may be omitted. Only the process after step S211 may be controlled.
  • a voice message generating method according to an embodiment of the present invention as described above will be described in more detail with reference to the screen example.
  • 6 to 14 are screen views illustrating a voice message generating method according to an embodiment of the present invention.
  • the messenger program dialog window screen may include an upper portion, a message display portion, and a lower portion.
  • an area 500 where information (eg, profile picture, nickname, etc.) about the other party connected through the messenger program chat window screen is displayed, a menu button 501 for adding another user, A call button 502 for conducting a voice call or a video call between users may be displayed.
  • the area 500 in which the information on the counterpart is displayed is a group conversation, the number of users participating in the group conversation and the name of the group conversation may be displayed.
  • a message 520 received from the other party and a message 521 input by the user may be sequentially displayed on the message display part.
  • the message 520 received from the counterpart may be displayed on the left side of the screen, and the message 521 input from the user may be displayed on the right side of the screen, but is not limited thereto.
  • the lower part of the screen of the messenger program chat window displays a content sharing screen display menu 503 for sharing various information, such as a picture or music, with the other terminal connected through the chat window screen, and an emoticon and a sticker to the other terminal.
  • a transmission button 506 for transmitting a message input from the user through the input box 505 to the counterpart terminal connected through the chat window screen may be displayed.
  • the terminal 10 determines whether a user input corresponding to a preset condition, for example, a touch and drag input in an upward direction, is detected from the user.
  • a preset condition for example, a touch and drag input in an upward direction
  • the touch and drag input in the upward direction is preferably detected starting from the point where the input field 505 is displayed to distinguish from the vertical scroll input, but the present invention is not limited thereto.
  • Various preset conditions such as touch-and-drag input in the downward direction starting from, touch-and-drag input in the upward direction starting at the bottom of the messenger program dialog window, or swipe input in one direction detected in the message display area. There may be an input corresponding to.
  • the terminal 10 may control the voice message processing area 507 to be displayed as illustrated in FIG. 6B.
  • the voice message processing area 507 may be displayed in the form of a translucent bar near one area of the chat window screen, preferably near the bottom portion of the chat window screen.
  • the voice message processing area 507 may display an icon 510 indicating that the user input needs to be maintained for a predetermined time or more. This icon may not be able to generate a voice message yet, and may be an icon indicating that user input should be maintained for a predetermined time to generate a voice message. For example, when the user input is a touch and drag input in an upward direction, it may mean that the user is dragged further in an upward direction.
  • the voice message processing region 507 may be wider and displayed.
  • the voice message processing region 507 may be set not to exceed a predetermined range. For example, it may be set not to exceed 1/10 or more of the message display portion, and when the maximum range is reached, the terminal 10 may control the voice message processing region 507 to no longer be widened.
  • the voice message processing area 507 may display an icon indicating that voice recording is in progress, and voice recording progress indicating a voice recording progress state. A status bar may be displayed. This will be described with reference to FIG. 9.
  • the voice message processing area 507 is described as an example that does not exceed a preset maximum range, but the present invention is not limited thereto, and the area may be flexibly adjusted according to a user input.
  • a user input for example, a touch and drag input in an upward direction
  • the voice message processing area 507 may be widened or narrowed according to a drag input.
  • the voice message processing area 507 may display an icon indicating that voice recording is in progress and a voice recording progress bar.
  • the voice message processing area 507 may be displayed according to a user's operation even when the keypad is activated. That is, as shown in FIG. 7A, when the keypad is activated on the chat window screen of the messenger program, the voice message processing area (as shown in FIG. 7B) according to a user input in a upward direction starting from a predetermined area (see FIG. 7B). 507 may be displayed.
  • the user after controlling to display an instruction bar 508 for generating a voice message in a region of a messenger program conversation window screen, the user starts from the vicinity of the instruction bar 508 from a user.
  • a user input in a direction for example, a swipe input to the left
  • the terminal 10 moves the chat window screen to one direction, that is, to the left, as shown in FIG. 8B, and the voice message processing area ( 507 is moved to the left and displayed as if pulled and displayed according to a user input.
  • the chat window screen may be moved only up to a certain area, and the voice message processing area 507 may be displayed as much as the portion where the chat window screen is moved.
  • the voice message processing area 507 may display an icon 510 indicating that the user input needs to be maintained for a predetermined time or more.
  • This icon may not be able to generate a voice message yet, and may be an icon indicating that user input should be maintained for a predetermined time to generate a voice message. In other words, it can be an icon indicating that it should be further dragged to the left.
  • the terminal 10 may display an icon 530 indicating that voice recording has started, as shown in FIG. 8C, and a speaker image is visually displayed around the terminal 10. May be Subsequently, while the user input is maintained, the terminal 10 proceeds with voice recording, and as shown in FIG. 8D, the icon 531 displayed is counted down and displayed starting from the maximum recordable time information. Can be.
  • the voice message processing region 507 can be displayed in various ways.
  • the terminal 10 when the user input is maintained for a predetermined time or more while the voice message processing area 507 is displayed, the terminal 10 performs voice recording to generate a voice message. While voice recording is in progress, the user input is preferably maintained.
  • the voice message processing area 507 is shown in Figure 9a, the voice message processing area 507 is an icon 512 indicating that voice recording is in progress, the voice recording progress status indicating the voice recording progress status A bar may be displayed.
  • the voice recording progress bar for notifying the voice recording progress state includes an area 516 for visually displaying the recording progress state information, and recording progress state information 509, which is information on time recorded so far, in total.
  • the maximum recordable time information 511 which is information on the recordable time may be displayed.
  • the terminal 10 dynamically changes the wavelength 524 corresponding to the size of the user's voice through the icon 512. It can be controlled to be displayed as.
  • wavelengths can be represented in various forms, as indicated by 525 in FIG. 9B.
  • the terminal 10 terminates the user input in a state in which a user input corresponding to a preset condition has not lasted for a predetermined time or more. 10, the voice message generation failure message 513 may be displayed.
  • the terminal 10 After the voice message processing area 507 is displayed, the terminal 10 generates a voice message when the user input is terminated while the user input corresponding to the preset condition is maintained for a predetermined time or more, and FIG. 11. As illustrated in FIG. 3, the voice message processing area 507 may be controlled to display an icon 514 indicating that analysis of a voice message generated is in progress.
  • the total recorded time information may be displayed, and as indicated by 517, an area 517 indicating an analysis progress state may be displayed, as indicated by 518.
  • a menu button for canceling generation of a voice message may be displayed.
  • the analysis of the voice message may be a process of generating a text message including a predetermined keyword in the generated voice message.
  • the terminal 10 when the generated voice message is 'Today's appointment place is Gangnam Station Chicken House', the terminal 10 includes only a keyword corresponding to a preset condition (only a noun is extracted) from the voice message, that is, 'today' Appointment place Gangnam Station Chicken House 'can be created, and the generated text message and voice message can be transmitted to the counterpart terminal connected through the chat window screen.
  • a preset condition only a noun is extracted
  • the counterpart terminal may display a text message generated based on the voice message together with an icon corresponding to the voice message.
  • the voice message is converted into text, and a text message including all the converted texts is generated, and a predetermined effect is applied to a keyword (eg, a noun) corresponding to a preset condition.
  • a keyword eg, a noun
  • an underlined text message may be displayed.
  • the user of the counterpart terminal selects and inputs an icon corresponding to the voice message, thereby outputting and confirming the voice message.
  • an icon corresponding to a voice message in the message indicated by 523 illustrated in FIG. 13 a window 532 for playing the voice message may be popped up and displayed as shown in FIG. 14A. have.
  • the window 532 for reproducing the voice message may include a progress bar 533 for visually confirming the reproducing information, a menu button 534 for canceling reproducing the voice message, and reproducing the voice message. And a menu button 535 for transmitting a menu button 536 for transmitting a voice message to one or more other users.
  • the transmission menu button 536 may not be displayed or displayed in an inactive state, and is activated or displayed only when the voice message is generated by the user. Can be.
  • the icon may be changed to a menu button 535 for stopping a voice message. While the playback is in progress, the playback information may be visually confirmed through the progress bar 533.
  • the user can easily check the voice message based on the text message displayed together with the voice message even without outputting the voice message as described above.
  • the voice message and the text message may be simultaneously displayed on the counterpart terminal as well as the user terminal 10.
  • an apparatus and a system therefor when the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, By recording, a voice message may be generated and transmitted to one or more counterpart terminals connected through the chat window screen.
  • a user using a messenger program can provide a superior effect of generating a voice message through a simpler and more intuitive interface as well as provide UX (User eXperience) of a new messenger program.
  • the voice message generating method, apparatus and system therefor extracting a keyword satisfying a predetermined condition from the generated voice message, and then generating a text message including the extracted keyword and transmitting it to the counterpart terminal.
  • the user as well as the counterpart receiving the voice message and the text message can more easily grasp the contents of the voice message.
  • the voice message generating method according to an embodiment of the present invention described with reference to FIGS. 6 to 13 is an example in which the terminal 10 not only generates a voice message but also generates a text message based on the voice message. Although described, the terminal 10 generates only a voice message, and transmits the generated voice message to the service device 20, the service device 20 may generate a text message based on the voice message.
  • a computer-readable medium suitable for storing computer program instructions and data may include, for example, a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, and a compact disk read only memory (CD-ROM).
  • Optical media such as Digital Video Disk (DVD), magneto-optical media such as Floppy Disk, and ROM (Read Only Memory), RAM
  • semiconductor memory such as a random access memory, a flash memory, an erasable programmable ROM (EPROM), and an electrically erasable programmable ROM (EEPROM).
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention relates to a method of generating a voice message in a messenger program. More particularly, when a voice message processing area is displayed and maintained for a predetermined time while a chat window screen of a messenger program is displayed, the voice recording is performed.
  • the present invention relates to a voice message generating method and apparatus and system for generating a voice message, and to easily generate a voice message and to transmit the generated voice message to one or more counterpart terminals connected through the chat window screen.
  • voice recording is performed by generating a voice message and connected through the chat window screen.
  • the user using the messenger program can generate a voice message through a simpler and more intuitive interface, and transmit the voice message to the counterpart terminal, thereby contributing to the development of the messenger service industry. do.
  • the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Abstract

The present invention relates to a method for generating a voice message in a messenger program, and more particularly to a method for generating a voice message which is obtained readily by recording voiced words if a voice message process region is displayed in a dialogue window screen of a messenger program for a given time, and transmitted to at least one of the dialoguing terminals connected through the dialogue window screen, and an apparatus and a system therefor. To this end, a terminal according to an embodiment of the present invention includes: an output part for outputting various information pieces generated while executing a messenger program structured so as to exchange an instant message with at least one other terminal; a voice recognition part for generating a voice message by recording voiced words; and a control unit functionally connected to the output part and the voice recognition part, wherein the control unit controls the output part to display the voice message process region in the dialogue window screen of the messenger program displayed through the output part, and also controls the voice recognition part to record voice words if the voice message process region is maintained for a given time.

Description

음성 메시지 생성 방법, 이를 위한 장치 및 시스템Voice message generation method, apparatus and system therefor
본 발명은 메신저 프로그램 내에서의 음성 메시지 생성 방법에 관한 것으로서, 더욱 상세하게는 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성함으로써, 보다 간편하게 음성 메시지를 생성하고, 생성된 음성 메시지를 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 전송할 수 있는 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 관한 것이다.The present invention relates to a method of generating a voice message in a messenger program. More particularly, when a voice message processing area is displayed and maintained for a predetermined time while a chat window screen of a messenger program is displayed, the voice recording is performed. The present invention relates to a voice message generating method and apparatus and system for generating a voice message, and to easily generate a voice message and to transmit the generated voice message to one or more counterpart terminals connected through the chat window screen.
정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.Due to the rapid development of information and communication technology, various types of terminals such as mobile communication terminals and personal computers have been implemented to perform various functions.
이동통신 단말을 예로 들어 설명하면, 이동통신 단말은 기본적인 음성 통신 기능에서 더 나아가 최근에는 데이터 통신, 카메라를 이용한 사진이나 동영상 촬영, 음악 또는 동영상 파일 재생, 게임, 방송 시청 등 다양한 기능들을 이용할 수 있도록 구현되고 있다.Taking the mobile communication terminal as an example, the mobile communication terminal can be used in addition to basic voice communication functions such as data communication, taking a picture or video using a camera, playing a music or video file, playing a game, watching a broadcast, and the like. Is being implemented.
이러한 단말에서 실행될 수 있는 기능의 증대를 위한 기술 개발은 지속적으로 이뤄지고 있으며, 하드웨어 개량 기술은 물론 소프트웨어 개량 기술을 중심으로 지속적으로 이뤄지고 있다.The development of technology for increasing the functions that can be executed in such a terminal is continuously made, and the hardware improvement technology as well as the software improvement technology is continuously made.
한편, 최근에는 이러한 단말을 이용하여 통신망에 접속한 후 다수의 사용자와 메시지를 송수신함으로써, 대화를 진행할 수 있는 메신저 프로그램의 사용 빈도가 지속적으로 증가하고 있다. On the other hand, in recent years by using a terminal to connect to the communication network by sending and receiving a message with a large number of users, the frequency of use of the messenger program that can proceed with the conversation is continuously increasing.
이러한 메신저 프로그램을 통해 사용자는 문자 메시지를 생성하고, 생성된 문자 메시지를 상대방 단말로 전송함으로써, 상대방 단말과 통신을 수행할 수 있으며, 더 나아가 음성 메시지를 이용하여 상대방 단말과 통신을 수행할 수도 있다.Through such a messenger program, a user may create a text message and transmit the generated text message to the counterpart terminal, thereby communicating with the counterpart terminal, and furthermore, may communicate with the counterpart terminal using a voice message. .
그러나, 사용자가 메신저 프로그램을 통해 음성 메시지를 생성하기 위해서는 음성 메시지 생성 기능을 제공하는 메뉴를 확인한 후, 해당 메뉴로 이동하여 상기 메뉴를 선택 입력함으로써, 음성 메시지를 생성할 수 있었다. 이러한 과정은 여러 차례의 사용자 조작을 요구하는 과정으로 사용자 입장에서 많은 불편이 뒤따른다는 문제점이 있다. However, in order for a user to generate a voice message through a messenger program, after confirming a menu providing a voice message generating function, the user may move to a corresponding menu and select and input the menu to generate a voice message. This process is a process that requires a plurality of user operations, there is a problem that a lot of inconvenience follows from the user's point of view.
또한, 사용자가 메신저 프로그램을 통해 음성 메시지를 수신하더라도, 현재 사용자의 주변 환경이 시끄러운 환경일 경우, 상기 음성 메시지의 내용을 파악하기에 어려움이 있으며, 송수신되는 과정에서 음성 메시지 자체가 손실되거나 변형될 경우, 음성 메시지 자체를 재생하기에 어려움이 있다는 문제점이 있다.In addition, even if a user receives a voice message through a messenger program, when the current environment of the user is noisy, it is difficult to grasp the contents of the voice message, and the voice message itself may be lost or modified in the process of being transmitted or received. In this case, there is a problem that it is difficult to reproduce the voice message itself.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하고, 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 생성된 음성 메시지를 전송할 수 있는 음성 메시지 생성 방법, 이를 위한 장치 및 시스템을 제공하는 데 목적이 있다.The present invention has been proposed to solve the above-mentioned problems. When the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, voice recording is performed by performing voice recording. It is an object of the present invention to provide a voice message generating method, an apparatus and a system therefor, which can generate and transmit a generated voice message to one or more counterpart terminals connected through the chat window screen.
아울러, 본 발명은 음성 메시지를 인식하여 상기 음성 메시지에서 기 설정된 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여, 상기 음성 메시지와 함께 상대방 단말로 전송할 수 있는 음성 메시지 생성 방법, 이를 위한 장치 및 시스템을 제공하는 데 목적이 있다.In addition, the present invention, after recognizing a voice message and extracting a predetermined keyword from the voice message, generates a text message including the extracted keyword, the voice message generating method that can be transmitted to the counterpart terminal with the voice message, It is an object to provide an apparatus and system for this purpose.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 단말은 적어도 하나의 상대방 단말과 인스턴트 메시지 송수신이 가능하도록 구성된 메신저 프로그램의 실행 중에 발생되는 정보를 출력하는 출력부; 음성 녹음을 진행하여 음성 메시지를 생성하는 음성 인식부; 및 상기 출력부 및 상기 음성 인식부와 기능적으로 연결되는 제어부를 포함하되, 상기 제어부는 상기 출력부를 통해 상기 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 상기 출력부를 통해 표시되도록 제어한 후, 상기 표시된 음성 메시지 처리 영역이 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하도록 상기 음성 인식부에 제어 명령을 전달할 수 있다.According to an aspect of the present invention, there is provided a terminal including an output unit configured to output information generated during execution of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal; A voice recognition unit for generating a voice message by performing voice recording; And a controller operatively connected to the output unit and the voice recognition unit, wherein the controller is configured to process a voice message for supporting voice message generation while a chat window screen of the messenger program is displayed through the output unit. After the area is controlled to be displayed through the output unit, if the displayed voice message processing area is maintained for a predetermined time, a control command may be transmitted to the voice recognition unit to generate a voice message by performing voice recording.
이때, 사용자 입력을 지원하는 입력부;를 더 포함하며, 상기 제어부는 상기 대화 창 화면이 표시되고 있는 상태에서, 상기 입력부를 통해 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 음성 메시지 처리 영역이 상기 출력부를 통해 표시되도록 제어하고, 상기 사용자 입력이 지속되면, 상기 음성 녹음이 진행되도록 상기 음성 인식부에 제어 명령을 전달할 수 있다.The voice message processing area may further include an input unit supporting a user input, and the controller may detect a user input corresponding to a preset condition through the input unit while the conversation window screen is being displayed. The control unit may be displayed through the output unit, and if the user input is continued, a control command may be transmitted to the voice recognition unit so that the voice recording proceeds.
여기서, 상기 기 설정된 조건에 해당하는 사용자 입력은 상기 대화 창 화면에서 터치 또는 일 방향으로의 스와이프(swipe), 터치 앤 드래그(touch & drag), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나일 수 있다.The user input corresponding to the preset condition may be any one of a touch, a swipe in one direction, a touch and drag, a gesture, a gaze movement, and a shake on the conversation window screen. Can be.
이때, 상기 제어부는 상기 사용자 입력이 종료되면, 상기 음성 녹음을 종료하여 음성 메시지가 생성되도록 상기 음성 인식부에 제어 명령을 전달할 수 있다.In this case, when the user input is terminated, the controller may transmit a control command to the voice recognition unit so that a voice message is generated by ending the voice recording.
아울러, 상기 단말은 하나 이상의 상대방 단말과 상기 메신저 프로그램을 통해 발생되는 다양한 정보를 송수신하는 통신부;를 더 포함하며, 상기 제어부는 상기 음성 인식부를 통해 생성된 음성 메시지를 상기 통신부를 통해 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송되도록 제어할 수 있다.In addition, the terminal further comprises a communication unit for transmitting and receiving a variety of information generated through the messenger program with one or more counterpart terminal, the control unit is a voice message generated through the voice recognition unit via the communication window screen It may be controlled to be transmitted to the other terminal connected through.
또한, 상기 제어부는 상기 음성 메시지 처리 영역이 상기 대화 창 화면 내 일정 영역에 표시되거나, 상기 대화 창 화면이 일 방향으로 이동되어 상기 이동된 대화 창 화면과 동시에 표시되거나, 상기 대화 창 화면에서 전환되어 상기 음성 메시지 처리 영역만이 상기 출력부를 통해 표시되도록 제어할 수 있다.The controller may be configured to display the voice message processing area on a certain area within the chat window screen, move the chat window screen in one direction and simultaneously display the moved chat window screen, or switch from the chat window screen. Only the voice message processing area may be controlled to be displayed through the output unit.
이때, 상기 제어부는 상기 음성 녹음이 진행되는 동안 상기 음성 메시지 처리 영역을 통해 음성 녹음이 진행되고 있음을 알리는 아이콘, 음성 녹음 진행 상태 바(bar) 중 적어도 어느 하나가 표시되도록 제어할 수 있다.In this case, the controller may control to display at least one of an icon indicating that voice recording is in progress and a voice recording progress bar through the voice message processing area while the voice recording is in progress.
이때, 상기 음성 녹음 진행 상태 바는 녹음 진행 상태 정보, 녹음 진행 시간 정보 및 최대 녹음 가능 시간 정보 중 적어도 어느 하나를 포함하여 구성될 수 있다.In this case, the voice recording progress bar may include at least one of recording progress status information, recording progress time information, and maximum recordable time information.
이때, 상기 제어부는 상기 음성 녹음이 종료되면, 상기 음성 인식부를 통해 생성된 음성 메시지에서 소정의 키워드를 포함하는 문자 메시지를 생성할 수 있다.In this case, when the voice recording is terminated, the controller may generate a text message including a predetermined keyword in the voice message generated by the voice recognition unit.
이때, 상기 제어부는 상기 문자 메시지가 생성되는 동안에, 상기 음성 메시지 처리 영역을 통해 상기 음성 메시지의 분석이 진행되고 있음을 알리는 아이콘이 표시되도록 제어할 수 있다.In this case, the controller may control to display an icon indicating that the voice message is being analyzed through the voice message processing area while the text message is generated.
또한, 상기 제어부는 상기 문자 메시지 생성이 완료되면, 상기 음성 메시지 처리 영역이 표시되지 않도록 제어할 수 있다.The controller may control the voice message processing area not to be displayed when the text message generation is completed.
이때, 상기 제어부는 상기 사용자 입력이 일정 시간 이상 지속되지 않은 상태에서, 상기 사용자 입력이 종료되면, 상기 출력부를 통해 음성 메시지 생성 실패 메시지가 출력되도록 제어할 수 있다.In this case, the controller may control to output a voice message generation failure message through the output unit when the user input is terminated while the user input does not last for a predetermined time or more.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 서비스 장치는 하나 이상의 단말과 메신저 프로그램을 통해 다양한 정보를 송수신하는 서비스 통신부; 및 상기 서비스 통신부와 기능적으로 연결되며, 상기 서비스 통신부를 통해 상기 메신저 프로그램의 대화 창 화면이 표시되고 있는 어느 하나의 단말로부터 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 표시되고 있음을 알리는 음성 메시지 처리 영역 표시 정보가 수신되면, 상기 서비스 통신부를 통해 상기 단말로 음성 녹음 요청 정보를 전송하고, 상기 서비스 통신부를 통해 상기 단말로부터 음성 메시지 처리 영역 비활성화 정보가 수신되면, 상기 단말로 상기 서비스 통신부를 음성 녹음 종료 요청 정보가 전송되도록 제어하는 서비스 제어부;를 포함하여 구성될 수 있다.A service apparatus according to an embodiment of the present invention for achieving the above object is a service communication unit for transmitting and receiving a variety of information through one or more terminals and a messenger program; And a voice message operatively connected to the service communication unit and indicating that a voice message processing area for supporting voice message generation is displayed from any one terminal on which a chat window screen of the messenger program is displayed through the service communication unit. When the processing area display information is received, the voice recording request information is transmitted to the terminal through the service communication unit. When the voice message processing area deactivation information is received from the terminal through the service communication unit, the service communication unit is voiced to the terminal. And a service controller for controlling the recording end request information to be transmitted.
이때, 상기 서비스 제어부는 상기 음성 녹음 종료 요청 정보를 상기 단말로 전송한 이후에, 상기 단말로부터 상기 서비스 통신부를 통해 생성된 음성 메시지가 수신되면, 상기 서비스 통신부를 통해 상기 수신된 음성 메시지를 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송되도록 제어할 수 있다.In this case, after the voice control unit transmits the voice recording end request information to the terminal and receives a voice message generated through the service communication unit from the terminal, the service control unit communicates the received voice message through the service communication unit. It may be controlled to be transmitted to the connected counterpart terminal through the window screen.
또한, 상기 서비스 제어부는 상기 단말로부터 수신된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 수신된 음성 메시지 및 상기 생성된 문자 메시지를 상기 서비스 통신부를 통해 상기 상대방 단말로 전송되도록 제어할 수 있다.The service controller may recognize the voice message received from the terminal, convert the voice message into text, extract a keyword satisfying a preset condition from the converted text, and generate a text message including the extracted keyword. The received voice message and the generated text message may be controlled to be transmitted to the counterpart terminal through the service communication unit.
이때, 상기 기 설정된 조건은 명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정된 조건일 수 있다.In this case, the preset condition may be a condition set to extract a keyword corresponding to a noun, a number, and a uniform resource locator (URL), or to analyze a voice size to extract a keyword having a predetermined size or more. .
또한, 상기 서비스 제어부는 상기 추출된 키워드만을 포함하는 문자 메시지를 생성할 수 있다.The service controller may generate a text message including only the extracted keywords.
또한, 상기 서비스 제어부는 상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성할 수 있다.In addition, the service controller may generate a text message to which a predetermined effect is assigned to the extracted keyword.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 메신저 시스템은 적어도 하나의 상대방 단말과 인스턴트 메시지(instant message) 송수신이 가능하도록 구성된 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음 진행하여 음성 메시지를 생성하고, 생성된 음성 메시지를 적어도 하나의 상대방 단말로 전송하는 단말; 및 상기 단말로부터 상기 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 통해 소정의 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 상대방 단말로 전송하는 서비스 장치;를 포함하여 구성될 수 있다.In the messenger system according to an embodiment of the present invention for achieving the above object, in a state where a chat window screen of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal is displayed, When the voice message processing area for supporting message generation is displayed and maintained for a predetermined time, the terminal for generating a voice message by performing voice recording, and transmitting the generated voice message to at least one counterpart terminal; And receiving a voice message transmitted from the terminal to the counterpart terminal, generating a text message including a predetermined keyword through the voice message, and transmitting the generated text message and the voice message to the counterpart terminal. Apparatus; can be configured to include.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 음성 메시지 생성 방법은 단말이 적어도 하나의 상대방 단말과 인스턴트 메시지(instant message) 송수신이 가능하도록 구성된 메신저 프로그램의 대화 창 화면을 표시하는 단계; 상기 단말이 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역을 표시하는 단계; 상기 단말이 상기 음성 메시지 처리 영역이 표시된 상태에서, 상기 음성 메시지 처리 영역이 일정 시간 이상 유지되는지 판단하는 단계; 및 상기 판단 결과, 상기 음성 메시지 처리 영역이 일정 시간 이상 유지되면, 상기 단말이 음성 녹음을 진행하는 단계;를 포함하여 이뤄질 수 있다.According to an aspect of the present invention, there is provided a method of generating a voice message, the method comprising: displaying, by a terminal, a chat window screen of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal; ; Displaying, by the terminal, a voice message processing area for supporting voice message generation; Determining, by the terminal, whether the voice message processing area is maintained for a predetermined time or more while the voice message processing area is displayed; And if the voice message processing area is maintained for a predetermined time or more, performing a voice recording by the terminal.
이때, 상기 음성 메시지 처리 영역을 표시하는 단계는 상기 단말이 상기 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력이 감지되는 지 판단하는 단계; 및 상기 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 단말이 상기 음성 메시지 처리 영역을 표시하는 단계;를 포함하여 이뤄질 수 있다. In this case, the displaying of the voice message processing area may include: determining, by the terminal, a user input corresponding to a preset condition on the chat window screen; And when the user input corresponding to the preset condition is detected, displaying, by the terminal, the voice message processing area.
이때, 상기 일정 시간 이상 유지되는지 판단하는 단계는 상기 단말이 상기 사용자 입력이 일정 시간 이상 지속되는지 판단할 수 있다.In this case, in the determining whether the terminal is maintained for a predetermined time or more, the terminal may determine whether the user input lasts for a predetermined time or longer.
이때, 상기 음성 녹음을 진행하는 단계 이후에, 상기 단말이 상기 사용자 입력이 종료되면, 상기 음성 녹음을 종료하여 음성 메시지를 생성하는 단계; 상기 단말이 상기 음성 메시지를 인식하여 텍스트로 변환하는 단계; 상기 단말이 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하는 단계; 및 상기 단말이 상기 음성 메시지 및 상기 문자 메시지를 상기 대화 창 화면을 통해 연결된 적어도 하나 이상의 상대방 단말로 전송하는 단계;를 더 포함하여 이뤄질 수 있다. In this case, after the voice recording is performed, when the user input is terminated, the terminal ends the voice recording to generate a voice message; Recognizing the voice message and converting the voice message into text; Generating, by the terminal, a keyword that satisfies a predetermined condition in the converted text, and then generating a text message including the extracted keyword; And transmitting, by the terminal, the voice message and the text message to at least one counterpart terminal connected through the chat window screen.
추가로, 본 발명은 상술한 바와 같은 음성 메시지 생성 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.In addition, the present invention can provide a computer readable recording medium having recorded thereon a program for executing the voice message generating method as described above.
본 발명의 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 의하면, 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하고, 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 전송할 수 있게 된다. According to the method for generating a voice message of the present invention, an apparatus and a system therefor, when the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, the voice message is processed to record the voice message. It may be generated and transmitted to one or more counterpart terminals connected through the chat window screen.
이를 통해, 메신저 프로그램을 이용하는 사용자는 보다 간편하고 직관적인 사용자 인터페이스를 통해 음성 메시지를 생성할 수 있다는 우수한 효과가 있다.Through this, a user using a messenger program can have an excellent effect of generating a voice message through a simpler and more intuitive user interface.
아울러, 본 발명의 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 의하면, 생성된 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 키워드를 포함하는 문자 메시지를 생성하여 상대방 단말로 전송함으로써, 사용자는 물론 상기 음성 메시지 및 문자 메시지를 수신한 상대방은 음성 메시지의 내용을 보다 쉽게 파악할 수 있다는 효과가 있다. In addition, according to the voice message generating method, apparatus and system therefor, extracting a keyword satisfying a predetermined condition from the generated voice message, and then generating a text message including the extracted keyword and transmitting it to the counterpart terminal. In addition, the user as well as the counterpart receiving the voice message and the text message can more easily grasp the contents of the voice message.
도 1은 본 발명의 실시 예에 따른 메신저 시스템의 개략적인 구성도이다.1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
도 2는 도 1에 도시된 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.2 is a block diagram illustrating a main configuration of a terminal according to an exemplary embodiment of the present invention shown in FIG. 1.
도 3은 도 1에 도시된 본 발명의 실시 예에 따른 서비스 장치의 주요 구성을 도시한 블록도이다.3 is a block diagram illustrating a main configuration of a service apparatus according to an exemplary embodiment of the present invention illustrated in FIG. 1.
도 4는 본 발명의 일 실시 예에 따른 단말에서의 음성 메시지 생성 방법을 설명하기 위한 데이터 흐름도이다.4 is a data flowchart illustrating a voice message generation method in a terminal according to an embodiment of the present invention.
도 5는 본 발명의 다른 실시 예에 따른 서비스 장치에서의 음성 메시지 생성 방법에 대한 흐름도이다.5 is a flowchart illustrating a method of generating a voice message in a service apparatus according to another embodiment of the present invention.
도 6 내지 도 14는 본 발명의 실시 예에 따른 음성 메시지 생성 방법을 설명하기 위한 화면 예시도이다.6 to 14 are screen views illustrating a voice message generating method according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것은 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. This is to more clearly communicate without obscure the core of the present invention by omitting unnecessary description. In addition, the present invention may be modified in various ways and may have various embodiments, but specific embodiments are illustrated in the drawings and described in detail in the detailed description, which is not intended to limit the present invention to specific embodiments. It is to be understood that all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention are included.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. In addition, when a component is referred to as being "connected" or "connected" to another component, it means that it may be connected or connected logically or physically. In other words, although a component may be directly connected or connected to other components, it should be understood that other components may exist in the middle, and may be connected or connected indirectly.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In addition, the terms "comprises" or "having" described herein are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or the same. It is to be understood that the present invention does not exclude in advance the possibility of the presence or the addition of other features, numbers, steps, operations, components, parts, or a combination thereof.
이제 본 발명의 실시 예에 따른 음성 메시지 생성 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.Now, a method of generating a voice message according to an embodiment of the present invention will be described in detail with reference to the drawings, and the same or corresponding components are denoted by the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. .
먼저, 본 발명의 실시 예에 따른 메신저 시스템에 대해 설명하도록 한다.First, a messenger system according to an embodiment of the present invention will be described.
도 1은 본 발명의 실시 예에 따른 메신저 시스템의 개략적인 구성도이다.1 is a schematic structural diagram of a messenger system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 메신저 시스템(100)은 다수의 단말(10), 서비스 장치(20) 및 통신망(30)을 포함하여 구성될 수 있다.Referring to FIG. 1, the messenger system 100 of the present invention may include a plurality of terminals 10, a service device 20, and a communication network 30.
먼저, 다수의 단말(10)은 메신저 프로그램을 통해 하나 이상의 상대방 단말과 메시지를 송수신하거나 컨텐츠를 송수신하여 공유할 수 있는 장치로, 사용자가 이용 가능한 장치를 의미한다.First, the plurality of terminals 10 are devices that can transmit and receive messages or share contents by transmitting and receiving messages with one or more counterpart terminals through a messenger program.
여기서, 메신저 프로그램은 서비스 장치(20)에 의해 제공될 수 있는 것으로, 인스턴트 메시징 서비스(Instant Messaging Service)를 제공할 수 있는 프로그램이 될 수 있다. 이러한 메신저 프로그램은 서비스 장치(20)로부터 다운로드되어 단말(10)에 설치될 수 있으며, 단말(10)이 메신저 프로그램을 설치하고 있지 않더라도, 서비스 장치(20)에 접속하여 클라우드 서비스 방식으로 메신저 프로그램을 이용할 수도 있다.Here, the messenger program may be provided by the service device 20, and may be a program capable of providing an instant messaging service. The messenger program may be downloaded from the service device 20 and installed in the terminal 10. Even if the terminal 10 does not have a messenger program installed, the messenger program may be connected to the service device 20 to provide a messenger program in a cloud service manner. It can also be used.
이러한 단말(10)은 메신저 프로그램을 실행하고, 메신저 프로그램 실행 화면(예컨대, 초기 화면, 대화 창 화면 등)을 표시할 수 있다. 여기서 메신저 프로그램은 사용자의 요청에 따라 실행되거나 특정 이벤트 발생 시 실행될 수 있다. 예컨대 상대방으로부터 메시지가 수신될 때 또는 서비스 장치(20)로부터 특정 정보가 수신될 때 등과 같이 특정 이벤트 발생 시 단말(10)의 메신저 프로그램이 실행될 수 있다.The terminal 10 may execute a messenger program and display a messenger program execution screen (eg, an initial screen, a chat window screen, and the like). The messenger program may be executed according to a user's request or may be executed when a specific event occurs. The messenger program of the terminal 10 may be executed when a specific event occurs, for example, when a message is received from the counterpart or when specific information is received from the service device 20.
특히, 본 발명의 실시 예에 따른 단말(10)은 메신저 프로그램 실행 중에 사용자의 직관적인 조작만으로 음성 메시지를 보다 용이하게 생성할 수 있다. 다시 말해, 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 사용자의 조작에 따라 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 표시되고, 상기 음성 메시지 처리 영역이 일정 시간 동안 유지되는 경우, 음성 녹음이 진행되도록 제어할 수 있다. 이후, 사용자의 조작에 따라 음성 녹음이 종료되면, 음성 메시지를 생성하고, 상기 대화 창 화면을 통해 연결된 상대방 단말로 상기 음성 메시지가 전송되도록 제어할 수 있다. In particular, the terminal 10 according to an exemplary embodiment of the present invention can more easily generate a voice message only by an intuitive operation of the user while executing a messenger program. In other words, when a chat window screen of a messenger program is being displayed, a voice message processing area for supporting voice message generation is displayed according to a user's operation, and when the voice message processing area is maintained for a predetermined time, You can control the recording to proceed. Thereafter, when the voice recording is terminated according to a user's manipulation, a voice message may be generated, and the voice message may be controlled to be transmitted to the counterpart terminal connected through the chat window screen.
예컨대, 제1 단말(10a)과 제2 단말(10b)이 메신저 프로그램의 대화 창 화면을 통해 연결된 상태에서, 제1 단말(10a)이 생성된 음성 메시지를 상기 대화 창 화면을 통해 제2 단말(10b)로 전송할 수 있으며, 제2 단말(10b)로부터 음성 메시지를 수신할 수 있다.For example, in a state where the first terminal 10a and the second terminal 10b are connected through a chat window screen of a messenger program, a voice message generated by the first terminal 10a is transmitted through a chat window screen. 10b), and may receive a voice message from the second terminal 10b.
더하여, 본 발명의 실시 예에 따른 단말(10)은 생성된 음성 메시지 또는 어느 하나의 상대방 단말로부터 수신된 음성 메시지를 기초로 문자 메시지를 생성하여 상대방 단말로 전송하거나 표시할 수 있다. 이때, 본 발명의 단말(10)은 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성할 수 있다.In addition, the terminal 10 according to an embodiment of the present invention may generate or transmit a text message to the counterpart terminal based on the generated voice message or the voice message received from one counterpart terminal. In this case, the terminal 10 of the present invention recognizes the voice message, converts it into text, extracts a keyword satisfying a predetermined condition from the converted text, and then generates a text message including the extracted keyword. have.
이러한 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 보다 구체적인 동작 방법에 대해서는 후술하도록 한다.The main configuration and more specific operation method of the terminal 10 according to an embodiment of the present invention will be described later.
서비스 장치(20)는 메신저 프로그램을 통해 다수의 단말(10) 사이의 메시지 또는 컨텐츠의 송수신을 지원하는 역할을 수행한다. 예컨대, 서비스 장치(20)는 제1 단말(10a)의 사용자에 의해 메시지가 입력되면, 메신저 프로그램의 대화 창 화면을 통해 연결된 하나 이상의 제2 단말(10b)로 전송하고, 상기 제2 단말(10b)로부터 메시지가 수신되면, 이를 제1 단말(10a)로 전송하는 과정의 전반을 제어할 수 있다.The service device 20 serves to support transmission and reception of messages or content between the plurality of terminals 10 through a messenger program. For example, when a message is input by the user of the first terminal 10a, the service device 20 transmits the message to one or more second terminals 10b connected through the chat window screen of the messenger program, and the second terminal 10b. When a message is received from the N-T, the first half of the process of transmitting the message to the first terminal 10a may be controlled.
또한, 서비스 장치(20)는 사용자의 요청에 따라 현재 대화 창을 통해 송수신되고 있는 메시지 또는 컨텐츠를 저장하고 관리할 수 있다. 이때 바람직하게는 상기 단말(10)의 메신저 프로그램을 통해 송수신되는 메시지 또는 컨텐츠는 상기 단말(10) 내 저장되는 것이 아니라 서비스 장치(20)에 저장되고 관리될 수 있다. 또한, 메신저 프로그램을 통해 송수신된 메시지 또는 컨텐츠는 단말(10)과 서비스 장치(20)에 동시에 저장될 수 있으며, 사용자의 선택에 따라 특정 메시지 또는 특정 컨텐츠만을 서비스 장치(20)에 저장할 수도 있다.In addition, the service device 20 may store and manage a message or content currently being transmitted and received through a chat window according to a user's request. In this case, preferably, the message or content transmitted and received through the messenger program of the terminal 10 may be stored and managed in the service device 20 instead of being stored in the terminal 10. In addition, the message or content transmitted and received through the messenger program may be simultaneously stored in the terminal 10 and the service device 20, and only a specific message or specific content may be stored in the service device 20 according to a user's selection.
이 외에도, 서비스 장치(20)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리할 수 있다. 또한, 서비스 장치(20)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말, 예컨대 제1 단말(10a) 및 제2 단말(10b) 간에 채팅 서비스 제공이 가능하다.In addition, in order to provide a messenger program service to the plurality of terminals 10, the service device 20 divides the subscribed users into user identifiers, and provides status, reception mode, message recipient list, and the like for each subscribed user. It is possible to manage subscriber environment information and to manage an IM conversation session, that is, a conversation channel, for transferring an IM conversation message between on-line users. In addition, the service device 20 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function, and the like, and thus, a plurality of terminals, for example, the first terminal 10a and the second terminal. It is possible to provide a chat service between 10b.
특히, 본 발명의 실시 예에 따른 서비스 장치(20)는 제1 단말(10a)로부터 제2 단말(10b)로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 인식하여 텍스트로 변환하게 된다. 이후, 서비스 장치(20)는 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 제2 단말(10b)로 음성 메시지와 함께 전송할 수 있다.In particular, when a voice message transmitted from the first terminal 10a to the second terminal 10b is received, the service device 20 according to an exemplary embodiment of the present invention recognizes the voice message and converts the voice message into text. Thereafter, the service device 20 may extract a keyword that satisfies a predetermined condition from the converted text, generate a text message including the extracted keyword, and transmit the generated text message to the second terminal 10b together with the voice message. .
이러한 서비스 장치(20)는 상술한 바와 같은 동작을 지원하기 위해 다양한 장치의 집합으로써 구현될 수 있다. 예컨대 관련된 다양한 정보를 저장하고 관리할 수 있는 데이터베이스 서버, 파일 처리를 위한 파일 서버, 단말(10)로 관련된 정보를 자동적으로 푸쉬(push)할 수 있는 푸쉬 서버 등을 포함하여 구현될 수 있다.Such a service device 20 may be implemented as a collection of various devices to support the operation as described above. For example, a database server capable of storing and managing various related information, a file server for file processing, and a push server capable of automatically pushing related information to the terminal 10 may be implemented.
이 외에도 시스템 설계 방식에 따라 다양한 서버들을 포함하여 구현될 수 있다. 또한 상기의 서버에 대응하는 기능을 하나의 모듈로써 하나의 서비스 장치(20) 내에 구현될 수도 있다.In addition, it can be implemented including various servers according to the system design method. In addition, a function corresponding to the server may be implemented in one service apparatus 20 as one module.
상술한 바와 같은 단말(10) 및 서비스 장치(20)의 주요 구성 및 보다 구체적인 동작 방법에 대해서는 후술하여 설명하도록 하며, 본 발명의 실시 예에 따른 단말(10) 및 서비스 장치(20)에 탑재되는 프로세서는 음성 메시지 생성을 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.The main configuration and more specific operation method of the terminal 10 and the service device 20 as described above will be described later, and are mounted in the terminal 10 and the service device 20 according to an embodiment of the present invention. The processor may process a program command for generating a voice message. In one implementation, this processor may be a single-threaded processor, and in other implementations, the processor may be a multithreaded processor. Furthermore, the processor is capable of processing instructions stored on memory or storage devices.
아울러, 앞서 설명한 본 발명에서의 대화 창을 통해 연결된 상태란 다수의 단말(10) 사이에 메시지를 송수신할 수 있는 이동 경로, 즉 세션(session)이 연결된 상태를 의미한다.In addition, the state connected through the chat window according to the present invention described above means a state in which a mobile path, ie, a session, that can transmit and receive messages between a plurality of terminals 10 is connected.
예를 들어, 제1 단말(10a)이 대화를 진행하고자 하는 하나 이상의 제2 단말(10b)을 선택하여 대화 창을 생성하는 행위, 제1 단말(10a)이 사용자로부터 입력된 메시지를 하나 이상의 제2 단말(10b)로 전송하는 행위 등을 모두 포함하는 개념이 될 수 있다.For example, the first terminal 10a selects one or more second terminals 10b to conduct a conversation and generates a chat window, and the first terminal 10a receives one or more messages input from the user. 2 may be a concept including both the transmission to the terminal (10b).
또한, 본 발명의 실시 예에 따른 다수의 단말(10) 및 서비스 장치(20)는 통신망(30)을 통해 관련된 다양한 정보를 송수신하게 되며, 이때의 통신망(30)은 다양한 형태의 통신망이 이용될 수 있다.In addition, the plurality of terminals 10 and the service device 20 according to an exemplary embodiment of the present invention transmit and receive various related information through the communication network 30, and the communication network 30 may use various types of communication networks. Can be.
예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수 있다.For example, wireless communication methods such as wireless LAN (WLAN), Wi-Fi, Wibro, Wimax, Wimax, and High Speed Downlink Packet Access (HSDPA), or Ethernet, xDSL (ADSL, VDSL) , Wired communication methods such as Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.Further, in addition to the above-described communication method, it may include all other types of communication methods that are well known or developed in the future.
이하, 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.Hereinafter, the main configuration and operation method of the terminal 10 according to an embodiment of the present invention.
도 2는 도 1에 도시된 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.2 is a block diagram illustrating a main configuration of a terminal according to an exemplary embodiment of the present invention shown in FIG. 1.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 단말(10)은 통신부(11), 입력부(12), 제어부(13), 저장부(14), 출력부(15) 및 음성 인식부(16)를 포함하여 구성될 수 있다.1 and 2, the terminal 10 according to an exemplary embodiment of the present invention includes a communication unit 11, an input unit 12, a control unit 13, a storage unit 14, an output unit 15, and voice recognition. It may be configured to include a portion (16).
각 구성 요소에 대해 보다 구체적으로 설명하면, 통신부(11)는 서비스 장치(20) 및 하나 이상의 상대방 단말과 관련 정보의 송수신을 지원하는 역할을 수행한다.In more detail with respect to each component, the communication unit 11 serves to support the transmission and reception of related information with the service device 20 and one or more counterpart terminals.
예컨대 통신부(11)는 메신저 프로그램의 대화 창 화면을 통해 사용자로부터 입력된 메시지를 상기 대화 창 화면의 대화 채널을 통해 연결된 상대방 단말로 전송하고, 상기 상대방 단말로부터 메시지를 수신할 수 있다. 특히, 본 발명의 실시 예에 따른 통신부(11)는 메신저 프로그램을 통해 상대방 단말로부터 음성 메시지 또는 문자 메시지를 수신할 수 있으며, 하나 이상의 상대방 단말로 음성 메시지 또는 문자 메시지를 전송할 수 있다.For example, the communication unit 11 may transmit a message input from a user through a chat window screen of a messenger program to a counterpart terminal connected through a chat channel of the chat window screen, and receive a message from the counterpart terminal. In particular, the communication unit 11 according to an embodiment of the present invention may receive a voice message or a text message from a counterpart terminal through a messenger program and transmit a voice message or a text message to one or more counterpart terminals.
또한, 통신부(11)는 사용자로부터 입력된 다양한 요청 정보를 서비스 장치(20)로 전송할 수 있다. 이에 대응하는 정보를 서비스 장치(20)로부터 수신할 수 있다.In addition, the communication unit 11 may transmit various request information input from the user to the service device 20. Information corresponding thereto may be received from the service device 20.
입력부(12)는 사용자로부터 입력되는 숫자 및 문자 정보 등의 다양한 정보, 각종 기능 설정 및 단말(10)의 기능 제어와 관련하여 입력되는 신호를 제어부(13)로 전달한다. 특히, 본 발명의 입력부(12)는 메신저 프로그램을 실행하고, 메신저 프로그램을 통해 사용자로부터의 메시지 입력을 지원한다. 또한, 입력부(12)는 음성 메시지를 생성하기 위한 메신저 프로그램의 대화 창 화면에서의 기 설정된 조건에 해당하는 사용자 입력을 지원한다.The input unit 12 transmits a variety of information such as numeric and text information input from a user, a signal input in connection with various function settings and function control of the terminal 10 to the controller 13. In particular, the input unit 12 of the present invention executes a messenger program and supports message input from a user through the messenger program. In addition, the input unit 12 supports a user input corresponding to a preset condition on a chat window screen of a messenger program for generating a voice message.
여기서, 기 설정된 조건에 해당하는 사용자 입력은 상기 대화 창 화면에서의 터치 입력이 될 수 있다. 예컨대, 긴 터치(long touch), 짧은 터치(short touch), 더블 터치(double touch) 등 다양한 터치 입력이 될 수 있다. 또한, 기 설정된 조건에 해당하는 사용자 입력은 일 방향으로의 스와이프(swipe), 터치 앤 드래그(touch & drag), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나 일 수 있다. 예컨대, 상향 방향으로의 스와이프, 왼쪽 방향으로의 제스처 입력 등이 될 수 있다.Here, the user input corresponding to a preset condition may be a touch input on the chat window screen. For example, various touch inputs such as a long touch, a short touch, and a double touch may be used. In addition, the user input corresponding to a preset condition may be any one of a swipe, a touch and drag, a gesture, a gaze movement, and a shake in one direction. For example, it may be a swipe in an upward direction, a gesture input in a left direction, or the like.
이러한, 사용자 입력을 지원하는 입력부(12)는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 어느 하나로 구성될 수 있다. 또한 입력부(12)가 출력부(15)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되는 경우, 상기 터치패널에서의 사용자 입력이 감지될 수 있다. The input unit 12 supporting the user input may be configured with at least one of a keypad and a touch pad generating an input signal according to a user's touch or manipulation. In addition, when the input unit 12 is configured in the form of a single touch panel (or touch screen) together with the output unit 15, a user input on the touch panel may be sensed.
또한 입력부(12)는 사용자의 음성, 예컨대, "왼쪽 드래그", "오른쪽 드래그" 등과 같은 음성의 입력을 지원할 수 있다. 더불어, 상기 입력부(12)가 제스처 입력 수단을 포함하고 있을 경우, 입력부(12)는 사용자의 기 설정된 제스처를 감지할 수도 있다.In addition, the input unit 12 may support input of a voice of a user, for example, a "left drag", a "right drag", or the like. In addition, when the input unit 12 includes a gesture input unit, the input unit 12 may detect a user's preset gesture.
이러한 입력부(12)는 상술한 바와 같이, 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치 패드와 같은 터치 입력 수단, 음성 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서와 근접 센서, 그리고 카메라 중 적어도 하나 이상을 포함하여 이루어지는 제스처 입력 수단을 포함할 수도 있다.As described above, the input unit 12 includes a key input means such as a keyboard or a keypad, a touch input means such as a touch sensor or a touch pad, a voice input means, a gyro sensor, a geomagnetic sensor, an acceleration sensor and a proximity sensor, and a camera. It may also include a gesture input means comprising at least one or more.
이 외에도 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단이 포함될 수 있다.In addition, it may include all types of input means that are currently under development or may be developed in the future.
제어부(13)는 단말(10)의 전반적인 제어를 수행하는 것으로, 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치, 예컨대, 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다. The controller 13 performs overall control of the terminal 10, and may be a process device that drives an operating system (OS) and each component, for example, a central processing unit (CPU). .
이러한, 본 발명의 제어부(13)는 각 구성 요소와 기능적으로 연결된다. 즉, 제어부(13)는 통신부(11), 입력부(12), 저장부(14), 출력부(15) 및 음성 인식부(16)와 기능적으로 연결되며, 상기 각 구성 요소에 전원 공급 및 기능 수행을 위한 신호의 흐름을 제어하게 된다Such a control unit 13 of the present invention is functionally connected to each component. That is, the controller 13 is functionally connected to the communication unit 11, the input unit 12, the storage unit 14, the output unit 15, and the voice recognition unit 16, and supplies power and functions to each of the above components. To control the flow of signals for execution
특히, 본 발명의 실시 예에 따른 제어부(13)는 메신저 프로그램을 실행하고, 상기 메신저 프로그램을 통해 발생되는 다양한 기능 실행을 제어할 수 있다. 기본적으로 제어부(13)는 사용자의 요청 또는 기 설정된 이벤트 발생이 감지되면, 메신저 프로그램이 실행되도록 제어하며, 메신저 프로그램 실행 화면이 출력부(15)에 표시되도록 제어할 수 있다.In particular, the control unit 13 according to an embodiment of the present invention may execute a messenger program and control execution of various functions generated through the messenger program. Basically, when a user's request or a preset event is detected, the controller 13 may control the messenger program to be executed, and may control the messenger program execution screen to be displayed on the output unit 15.
또한, 제어부(13)는 상기 메신저 프로그램을 통해 사용자의 요청에 따라 특정 상대방을 선택하고, 상기 상대방과의 메시지 또는 컨텐츠 송수신을 위한 전반적인 과정을 지원할 수 있다. 이 외에도 제어부(13)는 메신저 프로그램이 제공하는 각종 기능 수행을 위한 다양한 동작들을 지원할 수 있다.In addition, the controller 13 may select a specific counterpart according to a user's request through the messenger program, and support an overall process for transmitting and receiving a message or content with the counterpart. In addition, the controller 13 may support various operations for performing various functions provided by the messenger program.
특히, 본 발명의 실시 예에 따른 제어부(13)는 출력부(15)를 통해 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 출력부(15)를 통해 표시되도록 제어할 수 있다. 여기서, 음성 메시지 처리 영역은 사용자에게 음성 메시지 생성이 가능함을 보다 직관적으로 알리기 위한 것으로, 이러한 음성 메시지 처리 영역은 입력부(12)를 통해 기 설정된 조건에 해당하는 사용자 입력이 감지되는 경우에 표시될 수 있다.In particular, the control unit 13 according to the embodiment of the present invention has a voice message processing area for supporting voice message generation while the chat window screen of the messenger program is displayed through the output unit 15. Can be displayed through). In this case, the voice message processing area is for more intuitively informing the user that a voice message can be generated. The voice message processing area may be displayed when a user input corresponding to a preset condition is detected through the input unit 12. have.
이때, 기 설정된 조건에 해당하는 사용자 입력은 상술한 바와 같이 상기 대화 창 화면에서 터치 또는 일 방향으로의 스와이프(swipe), 터치 앤 드래그(touch & drag), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나일 수 있다. 이 외에도 음성 입력 등도 될 수 있으며, 일 방향은 메신저 프로그램의 대화 창 화면에서 상하좌우는 물론 대각선 방향이 될 수 있다. 이 외에도, 제어부(13)는 사용자로부터 정해진 메뉴의 선택 입력이 감지되면, 상기 음성 메시지 처리 영역이 표시되도록 제어할 수도 있다.In this case, the user input corresponding to a preset condition is touched or swiped in one direction, touch and drag, gesture, eye movement, and shake on the conversation window screen as described above. It may be any one of. In addition, the voice input may be performed, and one direction may be a diagonal direction as well as up, down, left, and right on the chat window of the messenger program. In addition, the controller 13 may control the voice message processing area to be displayed when a selection input of a predetermined menu is detected by a user.
또한, 제어부(13)는 사용자의 조작에 따라 음성 메시지 처리 영역이 표시될 경우, 대화 창 화면 내 삽입되어 표시되도록 제어하거나, 대화 창 화면을 일 방향으로 이동하고, 상기 이동된 대화 창 화면과 동시에 표시되도록 제어하거나, 상기 대화 창 화면에서 전화되어 상기 음성 메시지 처리 영역만이 표시되도록 제어할 수도 있다.In addition, when the voice message processing area is displayed according to a user's operation, the controller 13 controls the display to be inserted into the chat window screen or moves the chat window screen in one direction and simultaneously with the moved chat window screen. It may be controlled to be displayed, or may be controlled to display only the voice message processing area by being called from the chat window screen.
이에 대해 보다 구체적으로 설명하면, 제어부(13)는 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대 대화 창 화면 하단에서 시작하여 상향 방향으로 진행되는 터치 앤 드래그 입력이 감지되면, 대화 창 화면 내 일 영역, 예컨대 메시지가 표시되는 부분의 일 영역에 상기 음성 메시지 처리 영역이 표시되도록 제어할 수 있다.In more detail, when the user input corresponding to a preset condition is detected in the chat window screen, for example, a touch and drag input starting from the bottom of the chat window screen and proceeding upward, the controller 13 displays the chat window screen. The voice message processing region may be controlled to be displayed in one region of the region, for example, a region where a message is displayed.
또한, 제어부(13)는 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대 대화 창 화면 우측에서 시작하여 좌측 방향으로 진행되는 터치 앤 드래그 입력이 감지되면, 대화 창 화면을 일 방향, 즉 좌측 방향으로 이동하고, 상기 이동된 대화 창 화면과 동시에 상기 음성 메시지 처리 영역이 표시되도록 제어할 수 있다. 이를 통해 사용자는 대화 창 화면이 사용자 입력 방향에 따라 이동되고, 음성 메시지 처리 영역이 좌측으로 당겨져서 표시되는 것을 확인할 수 있게 된다. 이때, 바람직하게는 대화 창 화면을 정해진 거리만큼만 이동하고, 음성 메시지 처리 영역은 상기 대화 창 화면이 이동된 거리만큼 표시될 수 있다.In addition, when a user input corresponding to a preset condition is detected in the chat window screen, for example, a touch and drag input starting from the right side of the chat window screen and proceeding in the left direction, the controller 13 moves the chat window screen in one direction, that is, to the left. Direction, and the voice message processing area is displayed at the same time as the moved chat window screen. Through this, the user can confirm that the chat window screen is moved according to the user input direction and the voice message processing area is pulled to the left and displayed. In this case, the chat window screen may be moved by only a predetermined distance, and the voice message processing area may be displayed by the distance that the chat window screen is moved.
이와 같은 과정을 거쳐, 음성 메시지 처리 영역이 표시되면, 제어부(13)는 상기 음성 메시지 처리 영역이 일정 시간 동안 유지되는 지 여부를 판단하게 된다. 일정 시간 동안 유지되는 것은 상술한 바와 같은 사용자 입력이 지속됨을 의미한다. 전술한 예에서, 사용자 입력이 대화 창 화면 우측에서 시작하여 좌측 방향으로 진행되는 터치 앤 드래그 입력일 경우, 마지막 지점에서의 사용자 손가락이 지속적으로 터치하고 있는 상태를 의미한다. 또한, 사용자 입력이 대각선 방향으로의 시선 이동일 경우, 마지막 지점에서의 시선이 고정되고 있는 상태를 의미한다. After the above process, when the voice message processing region is displayed, the controller 13 determines whether the voice message processing region is maintained for a predetermined time. Maintaining for a certain time means that the user input as described above is maintained. In the above-described example, when the user input is a touch and drag input starting from the right side of the chat window screen and proceeding in the left direction, it means that the user's finger at the last point is continuously touching. In addition, when the user input is a line of sight movement in a diagonal direction, the line of sight at the last point is fixed.
이와 같이 음성 메시지 처리 영역이 표시된 상태에서, 사용자 입력이 일정 시간 동안, 예컨대 3초 동안 유지되면, 제어부(13)는 상기 음성 녹음이 진행되도록 음성 인식부(16)를 제어하게 된다.When the user input is maintained for a predetermined time, for example, 3 seconds while the voice message processing area is displayed as described above, the controller 13 controls the voice recognition unit 16 to proceed with the voice recording.
다시 말해, 제어부(13)는 음성 인식부(16)로 음성 메시지 생성을 요청하게 된다. 음성 인식부(16)는 제어부(13)의 제어 명령에 따라, 음성 녹음 기능을 활성화하여, 마이크(MIC)를 통해 입력되는 정보를 녹음하게 된다. In other words, the controller 13 requests the voice recognition unit 16 to generate a voice message. The voice recognition unit 16 activates the voice recording function according to a control command of the control unit 13 to record the information input through the microphone MIC.
이후에도 제어부(13)는 지속적으로 사용자 입력이 유지되는 지 여부를 판단한다. 이때, 사용자 입력이 종료되어(예컨대, 사용자의 손가락이 터치 되지 않은 상태), 더 이상 감지되지 않으면 제어부(13)는 음성 인식부(16)로 종료 명령을 전송하고, 음성 인식부(16)는 상기 종료 명령이 인가되기 이전까지 녹음된 음성을 음성 메시지로 생성하여 제어부(13)로 전달할 수 있다.Thereafter, the controller 13 continuously determines whether the user input is maintained. At this time, if the user input is terminated (for example, the user's finger is not touched) and no longer detected, the controller 13 transmits an end command to the voice recognition unit 16, and the voice recognition unit 16 The voice recorded until the end command is applied may be generated as a voice message and transmitted to the controller 13.
이후, 제어부(13)는 상기 음성 인식부(16)를 통해 음성 메시지가 전송되면, 통신부(11)를 통해 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 상기 음성 메시지가 전송되도록 제어하게 된다.Thereafter, when the voice message is transmitted through the voice recognition unit 16, the controller 13 controls the voice message to be transmitted to one or more counterpart terminals connected through the chat window screen through the communication unit 11.
아울러, 음성 녹음이 진행되고 있는 동안 제어부(13)는 음성 메시지 처리 영역을 통해 음성 녹음이 진행되고 있음을 알리는 아이콘, 음성 녹음 진행 상태 바(bar) 중 적어도 어느 하나가 표시되도록 제어할 수 있다. 이때, 상기 음성 녹음 진행 상태 바는 녹음 진행 상태 정보, 녹음 진행 시간 정보 및 최대 녹음 가능 시간 정보 중 적어도 어느 하나가 표시되도록 제어할 수 있다.In addition, while the voice recording is in progress, the controller 13 may control at least one of an icon indicating that voice recording is in progress and a voice recording progress bar through the voice message processing area. In this case, the voice recording progress bar may control to display at least one of recording progress status information, recording progress time information, and maximum recordable time information.
또한, 상기 제어부(13)는 음성 메시지 처리 영역이 표시된 이후에, 기 설정된 조건에 해당하는 사용자 입력이 일정 시간 이상 지속되지 않고 상기 사용자 입력이 종료되면, 음성 메시지 생성 실패 메시지가 출력부(15)를 통해 출력되도록 제어할 수 있다. 예컨대, 제어부(13)는 음성 메시지 처리 영역을 표시한 후, 기 설정된 조건에 해당하는 사용자 입력, 예컨대 터치 입력이 3초 이상 지속될 경우, 음성 녹음을 진행하여 음성 메시지가 생성되도록 제어할 수 있으나, 상기 터치 입력이 1초만 지속될 경우, '녹음시간이 짧습니다.'라는 음성 메시지 생성 실패 메시지가 출력부(15)를 통해 출력되도록 제어할 수 있다.In addition, after the voice message processing area is displayed, the controller 13 outputs a voice message generation failure message if the user input corresponding to a preset condition does not last for a predetermined time and the user input is terminated. Can be controlled to output through. For example, after displaying the voice message processing area, the controller 13 may control to generate a voice message by performing voice recording when a user input corresponding to a preset condition, for example, a touch input, lasts for 3 seconds or more. When the touch input lasts only 1 second, the voice message generation failure message of 'recording time is short' may be output through the output unit 15.
더하여, 본 발명의 실시 예에 따른 제어부(13)는 상기 생성된 음성 메시지를 인식하여 상기 음성 메시지에 대응하는 문자 메시지를 생성하고, 생성된 문자 메시지를 함께 상대방 단말로 전송되도록 제어할 수 있다.In addition, the controller 13 may recognize the generated voice message, generate a text message corresponding to the voice message, and control the generated text message to be transmitted to the counterpart terminal together.
이에 대해 보다 구체적으로 설명하면, 제어부(13)는 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 추출된 상기 키워드를 포함하는 문자 메시지를 생성하여 생성된 상기 문자 메시지를 출력부(15)를 통해 표시되도록 제어할 수 있다.In more detail, the controller 13 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the text, and generates and generates a text message including the extracted keyword. The text message may be controlled to be displayed through the output unit 15.
예컨대, 생성된 음성 메시지가 '오늘 7시, 약속 장소는 강남역 치킨집이야'일 경우, 제어부(13)는 상기 음성 메시지를 인식하여 먼저 텍스트로 변환하게 된다. 여기서, 음성 메시지를 인식하여 텍스트로 변환하게 되는 과정은 공지된 다양한 기술을 적용할 수 있다. 예컨대 제어부(13)는 상기 음성 메시지에서 먼저 잡음을 제거하고, 음성 인식을 위한 특징을 추출할 수 있다. 또한, 제어부(13)는 추출된 특징을 기 저장된 음성 모델 데이터베이스와 비교하여, 일치하는 경우, 이를 인식 결과로 출력함으로써, 텍스트로 변환할 수 있다. For example, when the generated voice message is '7 o'clock today, the appointment place is Gangnam station chicken house', the controller 13 recognizes the voice message and converts it into text. Here, the process of recognizing a voice message and converting the voice message into text may apply various known techniques. For example, the controller 13 may first remove noise from the voice message and extract a feature for voice recognition. In addition, the controller 13 may convert the extracted feature into a text by comparing the extracted feature with a pre-stored voice model database and outputting the matching feature as a recognition result.
이후, 제어부(13)는 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하게 된다. 여기서, 기 설정된 조건은 사용자 또는 메신저 프로그램을 서비스하는 서비스 장치(20)에 의해서 설정될 수 있는데, 예컨대, 지명, 숫자 또는 특정 조건이 될 수 있다.Thereafter, the controller 13 extracts a keyword that satisfies a preset condition from the converted text. Here, the preset condition may be set by the service device 20 serving the user or the messenger program. For example, the preset condition may be a place name, a number, or a specific condition.
예컨대, 기 설정된 조건이 지역명만을 추출하는 것일 경우, 제어부(13)는 상기의 음성 메시지, 즉 '오늘 7시, 약속 장소는 강남역 치킨집이야'에서, '강남역'만을 추출할 수 있다. 또한, 기 설정된 조건이 숫자만을 추출하는 것일 경우, 제어부(13)는 상기의 음성 메시지에서 '7'만을 추출할 수 있다. 또한, 기 설정된 조건이 명사만을 추출하는 경우, 제어부(13)는 상기의 음성 메시지에서 '오늘 7시 약속 장소 강남역 치킨집'만을 추출할 수 있다.For example, if the preset condition is to extract only the region name, the controller 13 may extract only the 'Gangnam station' from the voice message, that is, '7 o'clock today, the appointment place is Gangnam station chicken house'. In addition, when the preset condition is to extract only numbers, the controller 13 may extract only '7' from the voice message. In addition, when the preset condition extracts only nouns, the controller 13 may extract only '7 o'clock appointment place Gangnam station chicken house today' from the voice message.
또한, 상술한 예외도 다양한 관점에서 키워드 추출을 위한 조건을 설정할 수 있다. 예컨대, 특정 URL(Uniform Resource Locator), 전화번호, 주소 정보만을 추출할 수도 있으며, 사용자의 음성의 높낮이를 분석하여, 음성의 크기가 높은 구간에 해당하는 단어만을 추출하도록 설정할 수도 있다.In addition, the above-described exception may set conditions for keyword extraction from various viewpoints. For example, only a specific Uniform Resource Locator (URL), a phone number, and address information may be extracted, and the height of the user's voice may be analyzed to set only a word corresponding to a high voice section.
이와 같이, 제어부(13)는 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 키워드를 포함하는 문자 메시지를 생성하게 된다. 이때, 제어부(13)는 추출된 키워드만을 포함하여 문자 메시지를 생성할 수 있으며, 변환된 텍스트 모두를 포함하는 문자 메시지를 생성하되, 상술한 과정과 같이 추출된 키워드에 기 설정된 효과, 예컨대 강조, 밑줄 등 기 설정된 효과를 부여하여 문자 메시지를 생성할 수도 있다.As described above, the controller 13 extracts a keyword that satisfies a predetermined condition from the converted text, and then generates a text message including the extracted keyword. In this case, the control unit 13 may generate a text message including only the extracted keywords, and generate a text message including all of the converted texts. You can also create a text message by assigning an underlined effect.
이후에, 제어부(13)는 생성된 문자 메시지와 음성 메시지를 상대방 단말로 전송할 수 있다. Thereafter, the controller 13 may transmit the generated text message and the voice message to the counterpart terminal.
아울러, 제어부(13)는 상기 문자 메시지가 생성되는 동안 음성 메시지 처리 영역을 통해 상기 음성 메시지의 분석이 진행되고 있음을 알리는 아이콘이 표시되도록 제어할 수 있으며, 문자 메시지 생성이 완료되면, 상기 음성 메시지 처리 영역이 즉 출력부(15)를 통해 더 이상 표시되지 않도록 제어할 수 있다. In addition, the controller 13 may control to display an icon indicating that the voice message is being analyzed through a voice message processing area while the text message is generated. When the text message is generated, the voice message may be displayed. The processing area can be controlled so that it is no longer displayed via the output unit 15.
또한, 제어부(13)는 통신부(11)를 통해 어느 하나의 상대방 단말로부터 음성 메시지가 수신되면, 상술한 바와 같은 과정을 거쳐 문자 메시지를 생성할 수도 있다. 다시 말해, 사용자의 단말은 음성 메시지 및 이에 대응하는 문자 메시지 생성을 지원하나, 상대방 단말은 음성 메시지 생성만을 지원하는 경우, 상기 상대방 단말로부터 음성 메시지만이 수신되면, 제어부(13)가 직접 상기 음성 메시지에 대응하는 문자 메시지를 생성하고 이를 출력부(15)를 통해 출력되도록 제어할 수 있다.In addition, when the voice message is received from one of the counterpart terminals through the communication unit 11, the controller 13 may generate a text message through the above-described process. In other words, if the user terminal supports the generation of a voice message and a corresponding text message, but the counterpart terminal supports only the voice message generation, if only the voice message is received from the counterpart terminal, the controller 13 directly controls the voice. A text message corresponding to the message may be generated and controlled to be output through the output unit 15.
출력부(15)를 통해 출력 시 음성 메시지는 상기 음성 메시지에 대응하는 기 설정된 아이콘 형태로 출력될 수 있다. 이후, 제어부(13)는 사용자로부터 상기 아이콘에 대한 터치 입력, 기타 기 설정된 입력이 감지되면, 상기 음성 메시지를 출력할 수도 있다.When output through the output unit 15, the voice message may be output in the form of a predetermined icon corresponding to the voice message. Thereafter, the controller 13 may output the voice message when a touch input or other preset input for the icon is detected by the user.
아울러, 본 발명의 일 실시 예에서는 메신저 프로그램 실행 중에 발생되는 음성 메시지를 문자 메시지 형태로 변환한 후 이를 메신저 프로그램의 대화 창 화면을 통해 표시하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 단문 메시지(SMS; Short Message Service) 형태로 문자 메시지가 생성될 수도 있다. 이때, 음성 메시지는 상기 메신저 프로그램의 대화 창 화면을 통해 출력될 수 있으며, 단문 메시지 형태의 문자 메시지는 SMS 서버 등을 거쳐 상대방 단말로 전송되거나, SMS 기능을 지원하는 메뉴를 통해 출력될 수 있다.In addition, an embodiment of the present invention has been described with an example of converting a voice message generated during execution of a messenger program into a text message form and displaying the same through a chat window screen of the messenger program, but is not limited thereto. A text message may be generated in the form of a short message service (SMS). In this case, the voice message may be output through the chat window screen of the messenger program, and the text message in the form of a short message may be transmitted to the counterpart terminal through an SMS server or may be output through a menu supporting an SMS function.
더하여, 제어부(13)는 상기 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출할 경우, 상기 추출된 키워드에 특정 시간에 대한 정보를 포함하고 있을 경우, 이를 저장부(14)에 저장할 수 있다. 예컨대, 음성 메시지가 '2월 16일 오후 7시, 강남역 치킨집'일 경우, 제어부(13)는 상기 음성 메시지를 인식하여 기 설정된 조건을 만족하는 키워드(예컨대 날짜 정보 및 시간 정보), 즉 '2월 16일 오후 7시'를 추출할 수 있다.In addition, the controller 13 recognizes the voice message, converts it into text, and extracts a keyword that satisfies a predetermined condition from the converted text, and when the extracted keyword includes information on a specific time. This may be stored in the storage unit 14. For example, when the voice message is' 7 pm on February 16, Gangnam Station Chicken House ', the controller 13 recognizes the voice message and satisfies a preset condition (eg, date information and time information), that is,' February 16th at 7pm '.
이후, 제어부(13)는 저장부(14)에 저장된 일정 어플리케이션, 다이어리 어플리케이션 등에 상기 추출된 키워드 정보를 일정 정보로써 저장할 수 있다. 이후, 제어부(13)는 해당되는 시간에 상기 일정 정보를 출력함으로써, 사용자에게 알림 메시지를 제공할 수도 있다.Thereafter, the controller 13 may store the extracted keyword information as schedule information in a schedule application, a diary application, or the like stored in the storage 14. Thereafter, the controller 13 may provide the notification message to the user by outputting the schedule information at a corresponding time.
상기와 같은 동작을 제어하기 위해 제어부(13)는 메신저 제어 모듈(13a) 및 음성 처리 모듈(13b)을 포함하여 구성될 수 있다.In order to control the above operation, the controller 13 may include a messenger control module 13a and a voice processing module 13b.
여기서, 메신저 제어 모듈(13a)은 메신저 실행, 대화 창 생성 등 메신저 프로그램 실행 전반을 제어하는 역할을 수행하며, 음성 처리 모듈(13b)은 음성 메시지 처리 영역이 표시되는 과정을 제어하거나, 음성 메시지를 인식하여 그 결과를 기초로 문자 메시지를 생성하는 과정 전반을 제어하는 역할을 수행할 수 있다. Here, the messenger control module 13a controls the overall execution of the messenger program, such as messenger execution and conversation window generation, and the voice processing module 13b controls the process of displaying a voice message processing area or controls a voice message. Recognize and play a role in controlling the overall process of generating a text message based on the result.
아울러, 저장부(14)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 그 응용 프로그램 실행 중에 발생되는 다양한 데이터를 일시적으로 저장할 수 있다. 또한, 저장부(14)는 메신저 프로그램을 저장할 수 있으며, 메신저 프로그램을 통해 하나 이상의 상대방 단말과 송수신된 메시지 또는 컨텐츠가 저장될 수도 있다. 특히, 본 발명의 실시 예에 따른 저장부(14)는 음성 메시지 및 상기 음성 메시지를 기초로 생성된 문자 메시지를 저장할 수 있다. 아울러, 저장부(14)는 음성 메시지 인식에 필요한 정보를 저장할 수 있으며, 특히 음성 메시지에서 특정 키워드를 추출하기 위한 조건 정보를 저장할 수 있다.In addition, the storage unit 14 may temporarily store various data generated during execution of the application program, including an application program required for operating a function according to an embodiment of the present invention. In addition, the storage unit 14 may store a messenger program, and a message or content transmitted and received with one or more counterpart terminals through the messenger program may be stored. In particular, the storage unit 14 according to an embodiment of the present invention may store a voice message and a text message generated based on the voice message. In addition, the storage unit 14 may store information necessary for voice message recognition, and in particular, may store condition information for extracting a specific keyword from the voice message.
이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 단말(10)을 부팅시키는 운영체제(OS)와 같은 단말(10) 구동을 위한 관련된 정보들을 저장한다. 데이터 영역은 단말(10)의 사용에 따라 발생되는 데이터가 저장되는 영역으로, 상술한 바와 같이 메신저 프로그램 실행 중에 발생되는 다양한 정보, 예컨대 음성 메시지 및 상기 음성 메시지를 기초로 생성도니 문자 메시지가 저장될 수 있다. 이러한, 저장부(14)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.The storage unit 14 may largely include a program area and a data area. The program area stores related information for driving the terminal 10 such as an operating system (OS) for booting the terminal 10. The data area is an area in which data generated according to the use of the terminal 10 is stored, and as described above, various information generated during execution of the messenger program, for example, a voice message and a text message generated based on the voice message, may be stored. Can be. The storage unit 14 may be a flash memory, a hard disk, a memory of a multimedia card micro type (for example, SD or XD memory, etc.), a RAM, a ROM, or the like. ROM) and a storage medium.
더불어, 본 발명의 일 실시 예에서는 메신저 프로그램, 또는 메신저 프로그램을 통해 송수신된 음성 메시지 또는 문자 메시지를 포함하는 메시지, 컨텐츠 등이 저장부(14)에 저장하고 있는 구성을 중심으로 설명하나 이에 한정되는 것은 아니며, 클라우드 서비스 방식에 따라 서비스 장치(20)와 연동하여 서비스 장치(20)에 저장될 수도 있다.In addition, an embodiment of the present invention will be described with reference to a configuration in which a messenger program or a message or content including a voice message or a text message transmitted and received through the messenger program is stored in the storage unit 14, but is not limited thereto. In other words, it may be stored in the service device 20 in association with the service device 20 according to the cloud service method.
출력부(15)는 단말(10)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 출력하는 역할을 수행한다. 특히, 본 발명의 출력부(15)는 표시 모듈(15a) 및 음원출력모듈(15b)을 포함하여 구성될 수 있다.The output unit 15 outputs information on a series of operation states and operation results generated during the functioning of the terminal 10. In particular, the output unit 15 of the present invention may include a display module 15a and a sound source output module 15b.
이 중에서 표시 모듈(15a)은 메신저 프로그램 실행 중에 발생되는 다양한 정보들을 표시하는 역할을 수행하는 것으로, 예컨대, 제어부(13)의 제어 하에 음성 메시지 처리 영역을 표시하고, 상기 음성 메시지 처리 영역을 통해 다양한 아이콘, 상태 바(bar) 등을 표시할 수 있다. 또한, 음성 메시지에 대응하는 아이콘 및 상기 음성 메시지를 기초로 생성된 문자 메시지를 표시할 수 있다.The display module 15a serves to display various information generated during the execution of the messenger program. For example, the display module 15a displays a voice message processing area under the control of the controller 13, and displays various information through the voice message processing area. An icon, a status bar, and the like can be displayed. In addition, an icon corresponding to the voice message and a text message generated based on the voice message may be displayed.
이러한, 표시 모듈(15a)은 상술한 바와 같이 입력부(12)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구현될 수도 있으며, 상기 입력부(12)와 함께 구현되는 경우, 사용자의 기 설정된 동작 등에 따라 발생되는 다양한 정보들을 표시할 수 있다.As described above, the display module 15a may be implemented in the form of a single touch panel (or touch screen) together with the input unit 12, and when implemented together with the input unit 12, the user's preset Various information generated according to an operation may be displayed.
아울러, 이때의 표시 모듈(15a)은 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다. 또한 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 TOLED(Transparant OLED)를 포함하는 투명 디스플레이 형태로 구성될 수 있다.In addition, the display module 15a may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), organic light emitting diodes (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED), flexible The display may be configured as a flexible display and a three-dimensional display. Some of these displays may also be configured to be transparent or light transmissive so that they can be seen from the outside. It may be configured in the form of a transparent display including a transparent OLED (TOLED).
반면, 음원출력모듈(15b)은 전기적인 신호인 음원을 아날로그 신호로 변환하여 출력하는 역할을 수행하는 것으로, 제어부(13)의 제어에 따라 음성 메시지를 출력하는 역할을 수행할 수 있다.On the other hand, the sound source output module 15b converts a sound source, which is an electrical signal, into an analog signal and outputs the analog signal. The sound source output module 15b may output a voice message under the control of the controller 13.
음성 인식부(16)는 제어부(13)의 제어에 따라 음성 녹음을 진행하여 음성 메시지를 생성하는 것으로, 마이크(MIC) 및 상기 마이크(MIC)를 통해 입력되는 정보를 아날로그 정보를 처리하여 음성 메시지를 생성할 수 있는 처리 모듈을 포함하여 구성될 수 있다. 아울러, 본 발명의 일 실시 예에서는 마이크(MIC)를 통해 입력되는 정보를 처리하여 음성 메시지를 생성할 수 있는 음성 인식부(16)와 상기 음성 메시지를 출력할 수 있는 출력부(15)의 음원출력모듈(15b)을 구분하여 도시하였으나, 이에 한정되는 것은 아니며, 경우에 따라 음성 인싯부(16) 및 음원 출력 모듈(15b)은 하나의 음원 처리부의 형태로 존재할 수도 있다.The voice recognition unit 16 generates a voice message by performing voice recording under the control of the controller 13, and processes the analog information from the microphone MIC and the information input through the microphone MIC to process the voice message. It may be configured to include a processing module capable of generating a. In addition, in an embodiment of the present invention, the sound source of the voice recognition unit 16 capable of generating a voice message by processing information input through a microphone (MIC) and the output unit 15 capable of outputting the voice message. Although the output module 15b is illustrated separately, the present invention is not limited thereto. In some cases, the voice inset unit 16 and the sound source output module 15b may exist in the form of one sound source processor.
이와 같이, 도 2를 참조하여 단말(10)의 주요 구성에 대해 설명하였다. 그러나 도 2를 통해 도시된 구성 요소가 모두 단말(10)의 필수 구성 요소는 아니다.As described above, the main configuration of the terminal 10 has been described with reference to FIG. 2. However, not all components illustrated in FIG. 2 are essential components of the terminal 10.
예컨대, 단말(10)은 방송송신장치(미도시)로부터 수신되는 방송 신호를 출력할 수 있는 방송출력부, 메신저 프로그램 실행 중에 발생되는 다양한 정보를 진동으로 출력할 수 있는 햅틱모듈 등을 더 포함하여 구성될 수 있으며, 그 보다 더 적은 구성 요소에 의해 단말(10)이 구현될 수도 있다.For example, the terminal 10 further includes a broadcast output unit capable of outputting a broadcast signal received from a broadcast transmitter (not shown), a haptic module capable of vibratingly output various information generated during execution of a messenger program, and the like. The terminal 10 may be implemented by fewer components.
또한, 도 2를 통해 도시된 단말(10)의 주요 구성요소의 위치는 얼마든지 편의상 또는 다른 이유로 바뀔 수 있음이 물론이다. 또한, 제어부(13)를 구성하는 모듈은 메신저 제어 모듈(13a) 및 음성 처리 모듈(13b)로 도시하였으나, 이에 한정되는 것은 아니며, 다양한 기능을 수행하는 다양한 모듈로 제어부(13)가 구성될 수도 있다. In addition, the location of the main components of the terminal 10 shown in FIG. 2 may be changed for convenience or other reasons. In addition, the module constituting the control unit 13 is illustrated as a messenger control module 13a and a voice processing module 13b, but is not limited thereto, and the control unit 13 may be configured with various modules that perform various functions. have.
이상으로 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 동작 방법에 대해 설명하였다. 이러한 본 발명의 단말(10)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말(10)은 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있다.It has been described above the main configuration and operation method of the terminal 10 according to an embodiment of the present invention. The terminal 10 of the present invention may be implemented in various forms. For example, the terminal 10 described herein may be a mobile terminal such as a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player. A fixed terminal such as a smart TV, a desktop computer, or the like may be used.
이러한 본 발명의 단말(10)은 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 단말(10)로 사용될 수도 있으며, 통신망(30)을 통해 메신저 서비스 장치(20)를 거쳐 하나 이상의 다른 사용자의 단말과 메시지를 송수신할 수 있는 단말이라면, 그 어떠한 장치도 본 발명의 단말(10)로 적용 가능하다.The terminal 10 of the present invention can not be enumerated because all the variations of the portable device according to the convergence (convergence) trend of the digital device, but the unit of the same level as the above-mentioned unit is a terminal according to the present invention It may also be used as (10), if the terminal that can send and receive messages with the terminal of one or more other users via the messenger service device 20 through the communication network 30, any device to the terminal 10 of the present invention Applicable
이하, 본 발명의 실시 예에 따른 메신저 서비스 장치(20)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.Hereinafter, the main configuration and operation method of the messenger service device 20 according to an embodiment of the present invention will be described.
도 3은 도 1에 도시된 본 발명의 실시 예에 따른 서비스 장치의 주요 구성을 도시한 블록도이다.3 is a block diagram illustrating a main configuration of a service apparatus according to an exemplary embodiment of the present invention illustrated in FIG. 1.
도 1 및 도 3를 참조하면, 본 발명의 서비스 장치(20)는 서비스 통신부(21), 서비스 제어부(22) 및 서비스 저장부(23)를 포함하여 구성될 수 있다.1 and 3, the service device 20 of the present invention may include a service communication unit 21, a service control unit 22, and a service storage unit 23.
여기서 서비스 통신부(21)는 하나 이상의 단말(10)과 메신저 프로그램과 관련된 다양한 정보를 송수신하는 역할을 수행할 수 있다.Here, the service communication unit 21 may play a role of transmitting and receiving various information related to the messenger program with one or more terminals 10.
특히, 서비스 통신부(21)는 어느 하나의 단말과 연결된 다른 단말 사이에 송수신되는 메시지 또는 컨텐츠를 수신할 수 있다. 또한 서비스 통신부(21)는 어느 하나의 단말(10)로부터 다양한 정보에 대한 요청 정보를 수신하고, 이에 대한 정보를 상기 단말(10)로 제공할 수도 있다.In particular, the service communication unit 21 may receive a message or content transmitted and received between any one terminal and another terminal connected thereto. In addition, the service communication unit 21 may receive request information for various information from any one terminal 10 and provide the information to the terminal 10.
서비스 제어부(22)는 본 발명의 서비스 장치(20)의 전반적인 제어를 수행하는 것으로, 특히, 본 발명의 실시 예에 따른 서비스 제어부(22)는 메신저 프로그램과 관련된 다양한 제어를 수행할 수 있다.The service controller 22 performs overall control of the service device 20 of the present invention. In particular, the service controller 22 according to an embodiment of the present invention may perform various controls related to the messenger program.
예컨대, 서비스 제어부(22)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리하게 된다. 또한, 서비스 제어부(22)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말, 예컨대 제1 단말(10a) 및 제2 단말(10b) 간에 메시지 또는 컨텐츠 송수신이 가능하게 된다.For example, in order to provide a messenger program service to the plurality of terminals 10, the service controller 22 divides the subscribed users by user identifiers, and displays the status, reception mode, message recipient list, and subscriber for each subscribed user. It manages environmental information and manages IM chat sessions, or chat channels, for transferring IM chat messages between users who are on-line. In addition, the service controller 22 may perform a Session Initiation Protocol (SIP) call processing and a Message Session Relay Protocol (MSRP) relay function, and the like, and thus, a plurality of terminals, for example, the first terminal 10a and the second terminal. Messages or contents can be transmitted and received between the 10b.
특히, 본 발명의 실시 예에 따른 서비스 제어부(22)는 메신저 프로그램의 대화 창 화면이 표시되고 있는 어느 하나의 단말, 예컨대 제1 단말(10a)로부터 상기 서비스 통신부(21)를 통해 음성 메시지 처리 영역 표시 정보가 수신되면, 상기 제1 단말(10a)로 상기 서비스 통신부(21)를 통해 음성 녹음 요청 정보를 전송하고, 상기 제1 단말(10a)로부터 상기 서비스 통신부(21)를 통해 음성 메시지 처리 영역 비활성화 정보가 수신되면, 제1 단말(10a)로 상기 서비스 통신부(21)를 통해 음성 녹음 종료 요청 정보가 전송되도록 제어할 수 있다.In particular, the service control unit 22 according to an embodiment of the present invention transmits a voice message processing area from one terminal, for example, the first terminal 10a, through the service communication unit 21, on which a chat window screen of a messenger program is displayed. When the display information is received, the voice recording request information is transmitted to the first terminal 10a through the service communication unit 21, and a voice message processing area from the first terminal 10a through the service communication unit 21. When the deactivation information is received, the voice recording end request information may be transmitted to the first terminal 10a through the service communication unit 21.
여기서, 음성 메시지 처리 영역 표시 정보란 상기 제1 단말(10a)을 통해 음성 메시지 처리 영역이 표시되고 있음을 알리는 정보가 될 수 있다. 상기 음성 메시지 처리 영역은 도 2를 참조하여 설명한 바와 같이, 제1 단말(10a)에서의 기 설정된 사용자 입력이 따라 표시될 수 있다. 또한, 제1 단말(10a)은 상기 사용자 입력이 유지되는 동안 일정 간격으로 서비스 장치(20)로 음성 메시지 처리 영역 표시 정보를 전송할 수 있다. Here, the voice message processing region display information may be information indicating that the voice message processing region is displayed through the first terminal 10a. As described above with reference to FIG. 2, the voice message processing area may be displayed according to a preset user input of the first terminal 10a. In addition, the first terminal 10a may transmit the voice message processing region display information to the service device 20 at a predetermined interval while the user input is maintained.
반면, 음성 메시지 처리 영역 비활성화 정보란 상기 음성 메시지 처리 영역이 표시되고 있으나, 사용자 입력이 종료된 상태를 의미한다. 다시 말해, 제1 단말(10a)에서 사용자 입력에 따라 음성 메시지 처리 영역이 표시되고 상기 사용자 입력이 일정 시간 동안 유지된 후, 사용자 입력이 종료된 상태를 의미한다. 이때, 바람직하게는 음성 메시지 처리 영역은 지속적으로 표시될 수 있다. 사용자 입력이 종료되면, 서비스 제어부(22)는 상기 제1 단말(10a)로 현재까지 녹음된 음성으로 음성 메시지를 생성하라는 음성 녹음 종료 요청 정보를 전송하게 되는 것이다. On the other hand, the voice message processing area deactivation information refers to a state in which the voice message processing area is displayed but the user input is terminated. In other words, the voice message processing area is displayed on the first terminal 10a according to a user input, and the user input is maintained after the user input is maintained for a predetermined time. In this case, the voice message processing area may be continuously displayed. When the user input is terminated, the service controller 22 transmits the voice recording end request information for generating a voice message with the voice recorded so far to the first terminal 10a.
그리고 나서, 서비스 제어부(22)는 상기 서비스 통신부(21)를 통해 제1 단말(10a)로부터 음성 메시지가 수신되면, 수신된 음성 메시지를 제1 단말(10a)과 대화 창 화면을 통해 연결된 상대방 단말, 예컨대 제2 단말(10b)로 전송되도록 제어할 수 있다.Then, when the voice control unit 22 receives a voice message from the first terminal 10a through the service communication unit 21, the service control unit 22 connects the received voice message to the first terminal 10a through a chat window screen. For example, it may be controlled to be transmitted to the second terminal 10b.
또한, 본 발명의 실시 예에 따른 서비스 제어부(22)는 상기 제1 단말(10a)로부터 음성 메시지가 수신되면, 수신된 음성 메시지를 기초로 문자 메시지를 생성할 수 있다. 이때, 서비스 제어부(22)는 상기 음성 메시지를 인식하여 텍스트로 변환한 후, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하고, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하게 된다.In addition, the service controller 22 according to an embodiment of the present disclosure may generate a text message based on the received voice message when the voice message is received from the first terminal 10a. In this case, the service controller 22 recognizes the voice message, converts the voice message into text, extracts a keyword satisfying a predetermined condition from the converted text, and generates a text message including the extracted keyword.
더하여, 본 발명의 일 실시 예에서는 서비스 제어부(22)가 어느 하나의 단말(10)로부터 음성 메시지 처리 영역 표시 정보가 수신되면, 상기 단말(10)로 음성 녹음 요청 정보를 전송하고, 상기 단말(10)로부터 음성 메시지 처리 영역 비활성화 정보가 수신되면, 상기 단말(10)로 음성 녹음 종료 요청 정보를 전송한 이후에, 상기 단말(10)로부터 음성 메시지가 수신되면, 수신되는 음성 메시지를 기초로 문자 메시지가 생성되는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 음성 메시지 처리 영역 표시 정보, 음성 메시지 처리 영역 비활성화 정보 수신 여부와는 상관없이 어느 하나의 단말(10)로부터 음성 메시지가 수신되면, 상기 음성 메시지를 기초로 문자 메시지가 생성되는 과정만을 제어할 수도 있다.In addition, in one embodiment of the present invention, when the service control unit 22 receives the voice message processing region display information from any one terminal 10, the service control unit 22 transmits the voice recording request information to the terminal 10, and the terminal ( When the voice message processing area deactivation information is received from 10), and after the voice recording end request information is transmitted to the terminal 10, if a voice message is received from the terminal 10, the text is based on the received voice message. Although a message is generated as an example, the present invention is not limited thereto. When a voice message is received from any one terminal 10 regardless of whether voice message processing region indication information and voice message processing region deactivation information are received, Only a process of generating a text message may be controlled based on the voice message.
다시 말해, 앞서, 본 발명의 일 실시 예에서는 단말(10)을 중심으로 음성 메시지가 생성되는 과정, 상기 음성 메시지를 기초로 문자 메시지가 생성되는 과정에 대해 설명하였으나, 이에 한정되는 것은 아니며, 단말(10)에서 상술한 바와 같은 과정을 거쳐 음성 메시지가 생성되면, 단말(10)이 생성된 음성 메시지를 서비스 장치(20)로 전송하고, 서비스 장치(20)가 상기 음성 메시지를 기초로 문자 메시지를 생성한 후, 생성된 상기 문자 메시지를 상기 단말(10) 및 상대방 단말로 전송되는 과정 전반을 제어할 수도 있다.In other words, in an embodiment of the present invention, a process of generating a voice message based on the terminal 10 and a process of generating a text message based on the voice message have been described, but are not limited thereto. When a voice message is generated through the process as described above at 10, the terminal 10 transmits the generated voice message to the service device 20, and the service device 20 transmits the text message based on the voice message. After generating a, it is possible to control the overall process of transmitting the generated text message to the terminal 10 and the other terminal.
이를 위해, 서비스 제어부(22)는 메신저 관리 모듈(22a) 및 음성 처리 모듈(22b)을 포함하여 구성될 수 있다. 메신저 관리 모듈(22a)은 다수의 단말(10) 사이의 메신저 프로그램을 제공하고 제어하기 위한 다양한 기능들을 수행할 수 있으며, 음성 처리 모듈(22b)은 음성 메시지를 기초로 문자 메시지를 생성하는 과정 전반을 제어할 수 있다. To this end, the service control unit 22 may include a messenger management module 22a and a voice processing module 22b. The messenger management module 22a may perform various functions for providing and controlling a messenger program between the plurality of terminals 10, and the voice processing module 22b generates a text message based on a voice message. Can be controlled.
상술한 바와 같은 메신저 프로그램 이용 중에 발생되는 다양한 정보는 서비스 저장부(23)에 저장될 수 있다. 더하여, 서비스 저장부(23)는 단말(10)과 하나 이상의 상대방 단말과 주고 받은 메시지, 컨텐츠 등이 저장될 수 있으며, 서비스 제어부(22)는 단말(10)의 사용자 식별 정보에 대응하여 상기 정보들이 저장되도록 제어할 수도 있다.Various information generated while using the messenger program as described above may be stored in the service storage unit 23. In addition, the service storage unit 23 may store messages, contents, and the like, which are exchanged with the terminal 10 and one or more counterpart terminals, and the service control unit 22 corresponds to the user identification information of the terminal 10. Can be controlled to be stored.
이러한 서비스 저장부(23)는 메신저 시스템(100) 내의 하나의 저장소일 수 있고, 메신저 시스템(100) 외부에 위치하여 서비스 장치(20)와 데이터 송수신이 가능한 별도의 데이터 저장 장치일 수도 있다.The service storage unit 23 may be a storage in the messenger system 100, or may be a separate data storage device that is located outside the messenger system 100 and that can transmit and receive data with the service device 20.
이상으로 본 발명의 실시 예에 따른 서비스 장치(20)에 대해 설명하였다.The service device 20 according to the embodiment of the present invention has been described above.
앞서 설명한 바와 같이, 본 발명의 서비스 장치(20)는 서버 기반 컴퓨팅 방식 또는 클라우드 방식으로 동작하는 하나 이상의 서버로 구현될 수 있다. 특히, 메신저 시스템(100)을 통해 송수신되는 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 영구적으로 저장될 수 있는 클라우드 컴퓨팅(Cloud Computing) 기능을 통해 제공될 수 있다. 여기서, 클라우드 컴퓨팅은 데스크톱, 태블릿 컴퓨터, 노트북, 넷북 및 스마트폰 등의 디지털 단말기에 인터넷 기술을 활용하여 가상화된 IT(Information Technology) 자원, 예를 들어, 하드웨어(서버, 스토리지, 네트워크 등), 소프트웨어(데이터베이스, 보안, 웹 서버 등), 서비스, 데이터 등을 온 디맨드(On demand) 방식으로 서비스하는 기술을 의미한다. 본 발명에 있어서, 다수의 단말(10)과 서비스 장치(20) 사이에 송수신되는 모든 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 저장되고, 언제 어디서든 전송될 수 있다.As described above, the service device 20 of the present invention may be implemented as one or more servers operating in a server-based computing method or a cloud method. In particular, information transmitted and received through the messenger system 100 may be provided through a cloud computing function that may be permanently stored in a cloud computing device on the Internet. Here, cloud computing utilizes Internet technologies in digital terminals such as desktops, tablet computers, laptops, netbooks, and smartphones to virtualize information technology (IT) resources such as hardware (servers, storage, networks, etc.) and software. It refers to a technology that provides services on demand (database, security, web server, etc.), services, and data. In the present invention, all information transmitted and received between the plurality of terminals 10 and the service device 20 is stored in the cloud computing device on the Internet, and can be transmitted anytime, anywhere.
한편, 단말(10) 또는 서비스 장치(20)에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the memory mounted in the terminal 10 or the service device 20 stores information in the device. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module. The computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
이하, 본 발명의 실시 예에 따른 음성 메시지 생성 방법에 대해 설명하도록 한다.Hereinafter, a voice message generating method according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시 예에 따른 단말에서의 음성 메시지 생성 방법을 설명하기 위한 데이터 흐름도이다.4 is a data flowchart illustrating a voice message generation method in a terminal according to an embodiment of the present invention.
도 1 및 도 4를 참조하면, 먼저, 본 발명의 실시 예에 따른 음성 메시지 생성을 위해서는 단말(10)에서 메신저 프로그램이 실행되어야 한다(S101).1 and 4, first, in order to generate a voice message according to an embodiment of the present invention, a messenger program must be executed in the terminal 10 (S101).
이후, 단말(10)은 사용자의 조작에 따라 메신저 프로그램의 대화 창 화면을 표시할 수 있다(S103). 단말(10)은 상기 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 기 설정된 조건에 해당하는 사용자 입력이 감지되는지 판단하게 된다(S105).Thereafter, the terminal 10 may display a chat window screen of the messenger program according to a user's manipulation (S103). The terminal 10 determines whether a user input corresponding to a preset condition is detected while the chat window screen of the messenger program is being displayed (S105).
이때, 기 설정된 조건에 해당하는 사용자 입력은 상기 대화 창 화면에서 터치 또는 일 방향으로의 스와이프(swipe), 터치 앤 드래그(touch & drag), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나일 수 있다.In this case, the user input corresponding to a preset condition may be any one of a touch, a swipe in one direction, a touch and drag, a gesture, a gaze movement, and a shake in the conversation window screen. Can be.
이후, 단말(10)은 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 음성 메시지 처리 영역을 표시하게 된다(S107). 여기서, 상기 음성 메시지 처리 영역은 상기 대화 창 화면 내 일정 영역에 표시되거나, 상기 대화 창 화면이 일 방향으로 이동되어 이동된 대화 창 화면과 동시에 표시되거나, 상기 대화 창 화면에서 전환되어 상기 음성 메시지 처리 영역만이 표시될 수 있다.Thereafter, when a user input corresponding to a preset condition is detected, the terminal 10 displays a voice message processing area (S107). Here, the voice message processing area is displayed in a certain area within the chat window screen, or is displayed simultaneously with the chat window screen in which the chat window screen is moved in one direction and moved, or is switched in the chat window screen to process the voice message. Only areas can be displayed.
그리고 나서, 단말(10)은 상기 S105 단계에서 감지된 사용자 입력이 일정 시간 동안 유지되는지 판단하고(S109), 일정 시간 동안 유지되면, 음성 녹음을 진행한다(S111).Then, the terminal 10 determines whether the user input detected in the step S105 is maintained for a predetermined time (S109), and if maintained for a predetermined time, proceeds with the voice recording (S111).
이후, 단말(10)은 상기 사용자 입력이 종료되는지를 판단하여(S113), 사용자 입력이 종료되면, 녹음이 진행된 부분을 음성 메시지로 생성하게 된다(S115).Thereafter, the terminal 10 determines whether the user input is terminated (S113), and when the user input is terminated, the terminal 10 generates a portion in which recording is performed as a voice message (S115).
다시 말해, 본 발명의 실시 예에 따른 단말(10)은 메신저 프로그램의 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대 상향 방향으로의 터치 앤 드래그 입력이 감지되면, 음성 메시지 처리 영역을 표시하고, 상기 음성 메시지 처리 영역이 표시된 상태에서 사용자의 터치 입력이 지속되면, 음성 녹음을 진행하고, 터치 입력이 더 이상이 감지되지 않으면, 음성 녹음을 종료하여 음성 메시지를 생성하게 되는 것이다. In other words, the terminal 10 according to an embodiment of the present invention displays a voice message processing area when a user input corresponding to a preset condition, for example, a touch and drag input upward direction, is detected on a chat window screen of a messenger program. If the user's touch input continues while the voice message processing area is displayed, voice recording is performed. If the touch input is no longer detected, voice recording is terminated to generate a voice message.
아울러, 상기 S105 단계에서의 기 설정된 조건에 해당하는 사용자 입력과 S109 단계에서의 기 설정된 조건에 해당하는 사용자 입력은 서로 다른 수 있다. 예컨대, S105 단계에서의 기 설정된 조건에 해당하는 사용자 입력은 상향 방향으로의 터치 앤 드래그 입력이 될 수 있으며, S109 단계에서의 기 설정된 조건에 해당하는 사용자 입력은 드래그 마지막 지점에서의 터치 입력이 될 수 있다. 다시 말해, 사용자 입력이 일정 시간 동안 유지되는 것은 S105 단계에서 상향 방향으로의 터치 앤 드래그 입력이 발생되면, S109 단계에서는 상기 드래그 마지막 지점에서의 터치 입력이 지속되고 있는 상태를 의미하는 것이다.In addition, the user input corresponding to the preset condition in the step S105 and the user input corresponding to the preset condition in the step S109 may be different. For example, the user input corresponding to the preset condition in step S105 may be a touch and drag input in an upward direction, and the user input corresponding to the preset condition in step S109 may be a touch input at the end of the drag. Can be. In other words, when the user input is maintained for a predetermined time, when the touch and drag input in the upward direction is generated in step S105, the touch input at the end point of the drag is continued in step S109.
이후, 단말(10)은 생성된 음성 메시지를 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송할 수 있으며(S117), 전송하기 이전에, 상기 생성된 음성 메시지를 인식하여, 상기 음성 메시지에서 소정의 키워드를 포함하는 문자 메시지를 생성한 후, 상기 음성 메시지와 함께 상기 문자 메시지를 상기 상대방 단말로 전송할 수도 있다.Thereafter, the terminal 10 may transmit the generated voice message to the counterpart terminal connected through the chat window screen (S117). Before the transmission, the terminal 10 recognizes the generated voice message and selects a predetermined keyword from the voice message. After generating a text message including a, the text message may be transmitted to the counterpart terminal together with the voice message.
또한, 본 발명의 다른 실시 예에 따른 단말(10)은 음성 메시지가 생성되기 까지의 과정만을 지원할 수 있으며, 음성 메시지를 기초로 문자 메시지를 생성하는 과정은 서비스 장치(20)의 제어 하에 진행될 수도 있다.In addition, the terminal 10 according to another embodiment of the present invention may support only a process until a voice message is generated, and a process of generating a text message based on the voice message may be performed under the control of the service device 20. have.
이하, 본 발명의 다른 실시 예에 따른 서비스 장치(20)에서의 음성 메시지 생성 방법에 대해 설명하도록 한다.Hereinafter, a method of generating a voice message in the service device 20 according to another embodiment of the present invention will be described.
도 5는 본 발명의 다른 실시 예에 따른 서비스 장치에서의 음성 메시지 생성 방법에 대한 흐름도이다.5 is a flowchart illustrating a method of generating a voice message in a service apparatus according to another embodiment of the present invention.
도 1 및 도 5를 참조하면, 먼저, 서비스 장치(20)는 대기 상태(S201)에서 어느 하나의 단말(10)로부터 음성 메시지 처리 영역 표시 정보가 수신되는 지 여부를 판단한다(S203). 여기서, 대기 상태란 서비스 장치(20)가 단말과 단말, 예컨대 제1 단말(10a)과 상기 제1 단말(10a)과 메신저 프로그램의 대화 창 화면을 통해 연결된 제2 단말(10b) 사이의 메시지 송수신을 위한 세션 제어, 메시지 송수신 제어 등이 이뤄지고 있는 상태를 의미한다. 1 and 5, first, the service device 20 determines whether voice message processing region display information is received from any one terminal 10 in a standby state S201 (S203). Here, the standby state means that the service device 20 transmits and receives a message between the terminal and the terminal, for example, the first terminal 10a and the second terminal 10b connected through the chat window screen of the first terminal 10a and the messenger program. This refers to a state in which session control, message transmission control, and the like are performed.
이후, 서비스 장치(20)는 단말(10)로부터 음성 메시지 처리 영역 표시 정보가 수신되면, 상기 단말(10)로 음성 녹음 요청 정보를 전송하고(S205), 상기 단말(10)로부터 음성 메시지 처리 영역 비활성화 정보가 수신되면(S207), 상기 단말(10)로 음성 녹음 종료 요청 정보를 전송할 수 있다(S209).Subsequently, when the voice message processing region display information is received from the terminal 10, the service apparatus 20 transmits voice recording request information to the terminal 10 (S205) and the voice message processing region from the terminal 10. When the deactivation information is received (S207), the voice recording end request information may be transmitted to the terminal 10 (S209).
여기서, 상기 음성 메시지 처리 영역 표시 정보란 상기 단말, 예컨대 제1 단말(10a)을 통해 음성 메시지 처리 영역이 표시되고 있음을 알리는 정보가 될 수 있다. 반면, 음성 메시지 처리 영역 비활성화 정보란 상기 음성 메시지 처리 영역이 표시되고 있으나, 사용자 입력이 종료된 상태를 의미한다. 다시 말해, 제1 단말(10a)에서 사용자 입력에 따라 음성 메시지 처리 영역이 표시되고 상기 사용자 입력이 일정 시간 동안 유지된 후, 사용자 입력이 종료된 상태를 의미한다. 이때, 바람직하게는 음성 메시지 처리 영역은 지속적으로 표시될 수 있다. 사용자 입력이 종료되면, 서비스 장치(20)는 상기 제1 단말(10a)로 현재까지 녹음된 음성으로 음성 메시지를 생성하라는 음성 녹음 종료 요청 정보를 전송하게 되는 것이다. The voice message processing region display information may be information indicating that the voice message processing region is displayed through the terminal, for example, the first terminal 10a. On the other hand, the voice message processing area deactivation information refers to a state in which the voice message processing area is displayed but the user input is terminated. In other words, the voice message processing area is displayed on the first terminal 10a according to a user input, and the user input is maintained after the user input is maintained for a predetermined time. In this case, the voice message processing area may be continuously displayed. When the user input is terminated, the service device 20 transmits the voice recording end request information to generate a voice message with the voice recorded so far to the first terminal 10a.
이후, 서비스 장치(20)는 단말(10)로부터 음성 메시지가 수신되면(S211), 상기 음성 메시지를 인식하여 텍스트로 변환하게 된다(S213). 이후, 서비스 장치(20)는 상기 변화된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출하고(S215), 추출된 상기 키워드를 포함하는 문자 메시지를 생성한다(S217).After that, when the voice message is received from the terminal 10 (S211), the service device 20 recognizes the voice message and converts the voice message into text (S213). Thereafter, the service device 20 extracts a keyword satisfying a predetermined condition from the changed text (S215), and generates a text message including the extracted keyword (S217).
이후에, 서비스 장치(20)는 상기 음성 메시지 및 문자 메시지를 대응하는 상대방 단말로 전송할 수 있다. 또한, 생성된 문자 메시지를 상기 음성 메시지를 전송한 단말(10)로 전송할 수도 있다. Thereafter, the service device 20 may transmit the voice message and the text message to the corresponding counterpart terminal. In addition, the generated text message may be transmitted to the terminal 10 that has transmitted the voice message.
더하여, 본 발명의 실시 예에 따른 서비스 장치(20)는 어느 하나의 단말(10)로부터 음성 메시지 처리 영역 활성화 정보가 수신되면, 상기 단말(10)로 음성 녹음 요청 정보를 전송하고, 상기 단말(10)로부터 음성 메시지 처리 영역 비활성화 정보가 수신되면, 상기 단말(10)로 음성 녹음 종료 요청 정보를 전송하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 상기 S201 단계부터 S209 단계는 생략될 수 있으며, S211 단계 이후의 과정만을 제어할 수도 있다.In addition, when the voice message processing region activation information is received from any one terminal 10, the service apparatus 20 according to an embodiment of the present invention transmits voice recording request information to the terminal 10 and transmits the voice recording request information. When the voice message processing area deactivation information is received from 10), the voice recording end request information is transmitted to the terminal 10 as an example. However, the present invention is not limited thereto, and steps S201 to S209 may be omitted. Only the process after step S211 may be controlled.
상술한 바와 같은 본 발명의 실시 예에 따른 음성 메시지 생성 방법에 대해 화면 예시도를 참조하여 보다 더 구체적으로 설명하도록 한다.A voice message generating method according to an embodiment of the present invention as described above will be described in more detail with reference to the screen example.
도 6 내지 도 14는 본 발명의 실시 예에 따른 음성 메시지 생성 방법을 설명하기 위한 화면 예시도이다.6 to 14 are screen views illustrating a voice message generating method according to an embodiment of the present invention.
이 중, 도 6a는 사용자의 단말, 예컨대 제1 단말(10a)에서의 메신저 프로그램 대화 창 화면을 도시한 것이다. 메신저 프로그램 대화 창 화면은 상단 부분, 메시지 표시 부분, 하단 부분으로 구성될 수 있다. 메신저 프로그램 대화 창 화면 상단에는 메신저 프로그램 대화 창 화면을 통해 연결된 상대방에 대한 정보(예컨대, 프로필 사진, 닉네임 등)가 표시되는 영역(500), 다른 사용자를 더 추가할 수 있는 메뉴 버튼(501), 사용자 간의 음성 통화 또는 영상 통화를 진행할 수 있는 통화 버튼(502)이 표시될 수 있다. 아울러, 상기 상대방에 대한 정보가 표시되는 영역(500)은 그룹 대화일 경우, 그룹 대화에 참여하고 있는 사용자 수 및 그룹 대화 명이 표시될 수도 있다. 6A illustrates a messenger program dialog window screen of a user's terminal, for example, the first terminal 10a. The messenger program dialog window screen may include an upper portion, a message display portion, and a lower portion. At the top of the screen of the messenger program chat window, an area 500 where information (eg, profile picture, nickname, etc.) about the other party connected through the messenger program chat window screen is displayed, a menu button 501 for adding another user, A call button 502 for conducting a voice call or a video call between users may be displayed. In addition, when the area 500 in which the information on the counterpart is displayed is a group conversation, the number of users participating in the group conversation and the name of the group conversation may be displayed.
또한, 메시지 표시 부분에는 상대방으로부터 수신된 메시지(520)와 사용자가 입력한 메시지(521)가 순차적으로 표시될 수 있다. 이때, 상대방과 사용자간의 구분을 위해, 상대방으로부터 수신된 메시지(520)가 화면 좌측에 표시되고, 사용자로부터 입력된 메시지(521)는 화면 우측에 표시될 수 있으나, 이에 한정되는 것은 아니다. Also, a message 520 received from the other party and a message 521 input by the user may be sequentially displayed on the message display part. In this case, to distinguish between the counterpart and the user, the message 520 received from the counterpart may be displayed on the left side of the screen, and the message 521 input from the user may be displayed on the right side of the screen, but is not limited thereto.
아울러, 메신저 프로그램 대화 창 화면 하단 부분에는 대화 창 화면을 통해 연결된 상대방 단말과 다양한 정보, 예컨대 사진, 음악 등의 컨텐츠를 공유하기 위한 컨텐츠 공유 화면 표시 메뉴(503), 상대방 단말로 이모티콘, 스티커 등을 전송하기 위한 메뉴(504), 메시지를 입력하기 위한 입력란(505) 등을 포함하여 구성될 수 있다. 아울러, 상기 입력란(505)을 통해 사용자로부터 입력된 메시지를 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송하기 위한 전송 버튼(506)이 표시될 수 있다.In addition, the lower part of the screen of the messenger program chat window displays a content sharing screen display menu 503 for sharing various information, such as a picture or music, with the other terminal connected through the chat window screen, and an emoticon and a sticker to the other terminal. And a menu 504 for transmitting, an input field 505 for inputting a message, and the like. In addition, a transmission button 506 for transmitting a message input from the user through the input box 505 to the counterpart terminal connected through the chat window screen may be displayed.
이러한 대화 창 화면이 표시되고 있는 상태에서, 단말(10)은 사용자로부터 기 설정된 조건에 해당하는 사용자 입력, 예컨대, 상향 방향으로의 터치 앤 드래그 입력이 감지되는 지 판단하게 된다. In the state where such a chat window screen is being displayed, the terminal 10 determines whether a user input corresponding to a preset condition, for example, a touch and drag input in an upward direction, is detected from the user.
이때, 상하 스크롤 입력과의 구분을 위해 입력란(505)이 표시되고 있는 지점을 시작으로 상향 방향으로의 터치 앤 드래그 입력이 감지되는 것이 바람직하나, 이에 한정되는 것은 아니며, 메신저 프로그램 대화 창 화면 상단 부분에서 시작되는 하향 방향으로의 터치 앤 드래그 입력, 메신저 프로그램 대화 창 화면 하단 부분에서 시작되는 상향 방향으로의 터치 앤 드래그 입력, 또는 메시지 표시 부분에서 감지되는 일 방향으로의 스와이프 입력 등 다양한 기 설정된 조건에 해당하는 입력이 있을 수 있다.At this time, the touch and drag input in the upward direction is preferably detected starting from the point where the input field 505 is displayed to distinguish from the vertical scroll input, but the present invention is not limited thereto. Various preset conditions, such as touch-and-drag input in the downward direction starting from, touch-and-drag input in the upward direction starting at the bottom of the messenger program dialog window, or swipe input in one direction detected in the message display area. There may be an input corresponding to.
이때, 단말(10)은 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 도 6b에 도시된 바와 같이 음성 메시지 처리 영역(507)이 표시되도록 제어할 수 있다. 상기 음성 메시지 처리 영역(507)은 반투명한 바(bar)의 형태로 대화 창 화면 일 영역, 바람직하게는 대화 창 화면 하단 부분 인근에 표시될 수 있다. 또한, 상기 음성 메시지 처리 영역(507)은 일정 시간 이상 사용자 입력 유지가 필요함을 알리는 아이콘(510)이 표시될 수 있다. 이 아이콘은 아직 음성 메시지를 생성할 수 없으며, 음성 메시지를 생성하기 위해서는 일정 시간 이상 사용자 입력이 유지되어야 함을 알리는 아이콘이 될 수 있다. 예를 들어, 상기 사용자 입력이 상향 방향으로의 터치 앤 드래그 입력일 경우, 상향 방향으로 더 드래그하라는 의미가 될 수 있다. In this case, when a user input corresponding to a preset condition is detected, the terminal 10 may control the voice message processing area 507 to be displayed as illustrated in FIG. 6B. The voice message processing area 507 may be displayed in the form of a translucent bar near one area of the chat window screen, preferably near the bottom portion of the chat window screen. In addition, the voice message processing area 507 may display an icon 510 indicating that the user input needs to be maintained for a predetermined time or more. This icon may not be able to generate a voice message yet, and may be an icon indicating that user input should be maintained for a predetermined time to generate a voice message. For example, when the user input is a touch and drag input in an upward direction, it may mean that the user is dragged further in an upward direction.
이때, 사용자가 상향 방향으로 더 드래그하게 되면, 도 6c에 도시된 바와 같이, 상기 음성 메시지 처리 영역(507)이 더 넓혀져 표시될 수 있다. 이때 상기 음성 메시지 처리 영역(507)은 정해진 범위를 넘지 않도록 설정될 수 있다. 예컨대, 메시지 표시 부분의 1/10 영역 이상을 넘지 않도록 설정될 수 있으며, 최대 범위에 도달하면, 단말(10)은 더 이상 음성 메시지 처리 영역(507)이 넓혀지지 않도록 제어할 수 있다.In this case, when the user further drags upward, as illustrated in FIG. 6C, the voice message processing region 507 may be wider and displayed. In this case, the voice message processing region 507 may be set not to exceed a predetermined range. For example, it may be set not to exceed 1/10 or more of the message display portion, and when the maximum range is reached, the terminal 10 may control the voice message processing region 507 to no longer be widened.
음성 메시지 처리 영역(507)이 최대 범위에 도달한 상태에서, 사용자 입력이 지속되면, 상기 음성 메시지 처리 영역(507)은 음성 녹음이 진행되고 있음을 알리는 아이콘, 음성 녹음 진행 상태를 알리는 음성 녹음 진행 상태 바(bar)가 표시될 수 있다. 이에 대해서는 도 9를 참조하여 설명하도록 한다.When the user input is continued while the voice message processing area 507 reaches the maximum range, the voice message processing area 507 may display an icon indicating that voice recording is in progress, and voice recording progress indicating a voice recording progress state. A status bar may be displayed. This will be described with reference to FIG. 9.
더하여, 본 발명의 일 실시 예에서는 음성 메시지 처리 영역(507)이 기 설정된 최대 범위를 넘지 않는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 사용자 입력에 따라 그 영역이 유동적으로 조절될 수 있다. 다시 말해, 사용자 입력, 예컨대 상향 방향으로의 터치 앤 드래그 입력에서, 드래그 입력에 따라 상기 음성 메시지 처리 영역(507)이 넓혀지거나 좁혀질 수 있다. 이후, 드래그된 마지막 지점에서 일정 시간 이상 유지되면, 음성 메시지 처리 영역(507)은 음성 녹음이 진행되고 있음을 알리는 아이콘, 음성 녹음 진행 상태 바가 표시될 수 있다.In addition, in an embodiment of the present invention, the voice message processing area 507 is described as an example that does not exceed a preset maximum range, but the present invention is not limited thereto, and the area may be flexibly adjusted according to a user input. In other words, in a user input, for example, a touch and drag input in an upward direction, the voice message processing area 507 may be widened or narrowed according to a drag input. Thereafter, when the dragged last point is maintained for a predetermined time or more, the voice message processing area 507 may display an icon indicating that voice recording is in progress and a voice recording progress bar.
또한, 상기 음성 메시지 처리 영역(507)은 키패드가 활성화된 상태에서도 사용자의 조작에 따라 표시될 수 있다. 즉, 도 7a에 도시된 바와 같이, 메신저 프로그램의 대화 창 화면에서 키패드가 활성화된 상태에서, 소정 영역을 시작으로 상향 방향으로의 사용자 입력에 따라, 도 7b에 도시된 바와 같이 음성 메시지 처리 영역(507)이 표시될 수 있다. In addition, the voice message processing area 507 may be displayed according to a user's operation even when the keypad is activated. That is, as shown in FIG. 7A, when the keypad is activated on the chat window screen of the messenger program, the voice message processing area (as shown in FIG. 7B) according to a user input in a upward direction starting from a predetermined area (see FIG. 7B). 507 may be displayed.
또한, 도 8a에 도시된 바와 같이, 메신저 프로그램 대화 창 화면 일 영역에 음성 메시지 생성을 위한 지시 바(bar, 508)가 표시되도록 제어한 후, 사용자로부터 상기 지시 바(508) 인근을 시작으로 일 방향으로의 사용자 입력, 예컨대, 왼쪽으로의 스와이프 입력이 감지되면, 단말(10)은 도 8b에 도시된 바와 같이, 대화 창 화면을 일 방향, 즉, 왼쪽으로 이동하고, 음성 메시지 처리 영역(507)이 사용자 입력에 따라 당겨져 표시되는 듯이 왼쪽으로 이동되어 표시되게 된다. 이때, 대화 창 화면은 일정 영역까지만 이동될 수 있으며, 상기 대화 창 화면이 이동된 부분만큼 음성 메시지 처리 영역(507)이 표시될 수 있다. In addition, as shown in FIG. 8A, after controlling to display an instruction bar 508 for generating a voice message in a region of a messenger program conversation window screen, the user starts from the vicinity of the instruction bar 508 from a user. When a user input in a direction, for example, a swipe input to the left, is detected, the terminal 10 moves the chat window screen to one direction, that is, to the left, as shown in FIG. 8B, and the voice message processing area ( 507 is moved to the left and displayed as if pulled and displayed according to a user input. In this case, the chat window screen may be moved only up to a certain area, and the voice message processing area 507 may be displayed as much as the portion where the chat window screen is moved.
이 경우에도, 상기 음성 메시지 처리 영역(507)은 일정 시간 이상 사용자 입력 유지가 필요함을 알리는 아이콘(510)이 표시될 수 있다. 이 아이콘은 아직 음성 메시지를 생성할 수 없으며, 음성 메시지를 생성하기 위해서는 일정 시간 이상 사용자 입력이 유지되어야 함을 알리는 아이콘이 될 수 있다. 다시 말해, 왼쪽으로 더 드래그되어야 함을 알리는 아이콘이 될 수 있다. In this case, the voice message processing area 507 may display an icon 510 indicating that the user input needs to be maintained for a predetermined time or more. This icon may not be able to generate a voice message yet, and may be an icon indicating that user input should be maintained for a predetermined time to generate a voice message. In other words, it can be an icon indicating that it should be further dragged to the left.
이후, 단말(10)은 일정 시간 이상 사용자 입력이 유지될 경우, 도 8c에 도시된 바와 같이, 음성 녹음이 시작되었음을 알리는 아이콘(530)이 표시될 수 있으며, 그 주변에 스피커 이미지가 시각적으로 표시될 수도 있다. 이후, 사용자 입력이 유지되는 동안 단말(10)은 음성 녹음을 진행하게 되며, 도 8d에 도시된 바와 같이, 최대 녹음 가능 시간 정보를 시작으로 카운트다운(countdown)되며 표시되는 아이콘(531)이 표시될 수 있다. Then, when the user input is maintained for a predetermined time or more, the terminal 10 may display an icon 530 indicating that voice recording has started, as shown in FIG. 8C, and a speaker image is visually displayed around the terminal 10. May be Subsequently, while the user input is maintained, the terminal 10 proceeds with voice recording, and as shown in FIG. 8D, the icon 531 displayed is counted down and displayed starting from the maximum recordable time information. Can be.
더하여, 다양한 방식으로 음성 메시지 처리 영역(507)이 표시될 수 있다.In addition, the voice message processing region 507 can be displayed in various ways.
상술한 바와 같이 음성 메시지 처리 영역(507)이 표시된 상태에서, 사용자 입력이 일정 시간 이상 유지되면, 단말(10)은 음성 녹음을 진행하여 음성 메시지를 생성하게 된다. 음성 녹음이 진행되는 동안에도, 사용자 입력은 지속되는 것이 바람직하다.As described above, when the user input is maintained for a predetermined time or more while the voice message processing area 507 is displayed, the terminal 10 performs voice recording to generate a voice message. While voice recording is in progress, the user input is preferably maintained.
또한, 상기 음성 메시지 처리 영역(507)은 도 9a에 도시된 바와 같이, 음성 메시지 처리 영역(507)은 음성 녹음이 진행되고 있음을 알리는 아이콘(512), 음성 녹음 진행 상태를 알리는 음성 녹음 진행 상태 바(bar)가 표시될 수 있다.In addition, the voice message processing area 507 is shown in Figure 9a, the voice message processing area 507 is an icon 512 indicating that voice recording is in progress, the voice recording progress status indicating the voice recording progress status A bar may be displayed.
상기 음성 녹음 진행 상태를 알리는 음성 녹음 진행 상태 바(bar)는 녹음 진행 상태 정보를 시각적으로 표시하는 영역(516)과 함께, 현재까지 녹음된 시간에 대한 정보인 녹음 진행 상태 정보(509), 총 녹음 가능한 시간에 대한 정보인 최대 녹음 가능 시간 정보(511)가 표시될 수 있다.The voice recording progress bar for notifying the voice recording progress state includes an area 516 for visually displaying the recording progress state information, and recording progress state information 509, which is information on time recorded so far, in total. The maximum recordable time information 511 which is information on the recordable time may be displayed.
이때도 마찬가지로 사용자는 기 설정된 사용자 입력을 유지하고 있는 상태로, 음성 녹음이 진행되고 있는 동안, 단말(10)은 상기 아이콘(512)을 통해 사용자의 음성의 크기에 대응하는 파장(524)이 동적으로 표시되도록 제어할 수 있다. In this case, while the user maintains a preset user input, while the voice recording is in progress, the terminal 10 dynamically changes the wavelength 524 corresponding to the size of the user's voice through the icon 512. It can be controlled to be displayed as.
이러한 파장은 도 9b에서 525가 지시하는 바와 같이, 다양한 형태로 표시될 수 있다. These wavelengths can be represented in various forms, as indicated by 525 in FIG. 9B.
또한, 본 발명의 실시 예에 따른 단말(10)은 상기 음성 메시지 처리 영역(507)이 표시된 이후에, 기 설정된 조건에 해당하는 사용자 입력이 일정 시간 이상 지속되지 않은 상태에서, 상기 사용자 입력이 종료되면, 도 10에 도시된 바와 같이, 음성 메시지 생성 실패 메시지(513)가 표시되도록 제어할 수 있다. In addition, after the voice message processing area 507 is displayed, the terminal 10 according to an exemplary embodiment of the present invention terminates the user input in a state in which a user input corresponding to a preset condition has not lasted for a predetermined time or more. 10, the voice message generation failure message 513 may be displayed.
반면, 단말(10)은 음성 메시지 처리 영역(507)이 표시된 이후에, 기 설정된 조건에 해당하는 사용자 입력이 일정 시간 이상 지속된 상태에서, 사용자 입력이 종료되면, 음성 메시지를 생성하고, 도 11에 도시된 바와 같이, 음성 메시지 처리 영역(507)을 통해 생성된 음성 메시지의 분석이 진행되고 있음을 알리는 아이콘(514)이 표시되도록 제어할 수 있다. On the other hand, after the voice message processing area 507 is displayed, the terminal 10 generates a voice message when the user input is terminated while the user input corresponding to the preset condition is maintained for a predetermined time or more, and FIG. 11. As illustrated in FIG. 3, the voice message processing area 507 may be controlled to display an icon 514 indicating that analysis of a voice message generated is in progress.
이때, 바람직하게는 515이 지시하는 바와 같이, 총 녹음된 시간 정보가 표시될 수 있으며, 517이 지시하는 바와 같이, 분석 진행 상태를 알리는 영역(517)이 표시될 수 있으며, 518이 지시하는 바와 같이, 음성 메시지의 생성을 취소하는 메뉴 버튼이 표시될 수 있다.In this case, preferably, as indicated by 515, the total recorded time information may be displayed, and as indicated by 517, an area 517 indicating an analysis progress state may be displayed, as indicated by 518. Likewise, a menu button for canceling generation of a voice message may be displayed.
여기서, 음성 메시지의 분석이란 생성된 음성 메시지에서 소정의 키워드를 포함하는 문자 메시지를 생성하는 과정이 될 수 있다. Here, the analysis of the voice message may be a process of generating a text message including a predetermined keyword in the generated voice message.
예컨대, 생성된 음성 메시지가 '오늘 약속 장소는 강남역 치킨집이야'일 경우, 단말(10)은 상기 음성 메시지에서 기 설정된 조건(명사만 추출)에 해당하는 키워드만을 포함하여 문자 메시지, 즉 '오늘 약속 장소 강남역 치킨집'을 생성할 수 있으며, 생성된 문자 메시지와 음성 메시지를 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송할 수 있다. For example, when the generated voice message is 'Today's appointment place is Gangnam Station Chicken House', the terminal 10 includes only a keyword corresponding to a preset condition (only a noun is extracted) from the voice message, that is, 'today' Appointment place Gangnam Station Chicken House 'can be created, and the generated text message and voice message can be transmitted to the counterpart terminal connected through the chat window screen.
즉, 도 12에 도시된 바와 같이, 상대방 단말은 음성 메시지에 대응하는 아이콘과 함께 상기 음성 메시지를 기초로 생성된 문자 메시지가 함께 표시될 수 있다. That is, as illustrated in FIG. 12, the counterpart terminal may display a text message generated based on the voice message together with an icon corresponding to the voice message.
또한, 도 13의 523이 지시하는 바와 같이, 음성 메시지를 텍스트로 변환하고, 변환된 텍스트를 모두 포함하는 문자 메시지를 생성하되, 기 설정된 조건에 해당되는 키워드(예컨대, 명사)에 기 설정된 효과(예컨대, 밑줄)를 부여하여 생성된 문자 메시지를 표시할 수 있다.In addition, as indicated by 523 of FIG. 13, the voice message is converted into text, and a text message including all the converted texts is generated, and a predetermined effect is applied to a keyword (eg, a noun) corresponding to a preset condition. For example, an underlined text message may be displayed.
이때, 상대방 단말의 사용자는 상기 음성 메시지에 대응하는 아이콘을 선택 입력함으로써, 음성 메시지를 출력하여 확인할 수 있다. 예컨대, 도 13에 도시된 523이 지시하는 메시지에서 음성 메시지에 대응하는 아이콘을 사용자가 선택 입력하면, 도 14a에 도시된 바와 같이 상기 음성 메시지를 재생할 수 있는 창(532)이 팝업되어 표시될 수 있다.In this case, the user of the counterpart terminal selects and inputs an icon corresponding to the voice message, thereby outputting and confirming the voice message. For example, when a user selects and inputs an icon corresponding to a voice message in the message indicated by 523 illustrated in FIG. 13, a window 532 for playing the voice message may be popped up and displayed as shown in FIG. 14A. have.
상기 음성 메시지를 재생할 수 있는 창(532)은 재생 정보를 시각적으로 확인할 수 있는 진행 바(533)를 포함하여 구성될 수 있으며, 음성 메시지 재생을 취소할 수 있는 메뉴 버튼(534), 음성 메시지 재생을 위한 메뉴 버튼(535), 하나 이상의 다른 사용자에게 음성 메시지를 전송할 수 있는 전송 메뉴 버튼(536) 중 어느 하나를 포함하여 구성될 수 있다. 이때, 상기 전송 메뉴 버튼(536)은 상기 음성 메시지가 어느 하나의 단말로부터 수신된 음성 메시지일 경우, 비활성화 상태로 표시되거나 표시되지 않을 수 있으며, 사용자가 직접 생성한 음성 메시지일 경우에만 활성화되거나 표시될 수 있다.The window 532 for reproducing the voice message may include a progress bar 533 for visually confirming the reproducing information, a menu button 534 for canceling reproducing the voice message, and reproducing the voice message. And a menu button 535 for transmitting a menu button 536 for transmitting a voice message to one or more other users. In this case, when the voice message is a voice message received from one of the terminals, the transmission menu button 536 may not be displayed or displayed in an inactive state, and is activated or displayed only when the voice message is generated by the user. Can be.
또한, 사용자가 음성 메시지 재생을 위한 메뉴 버튼(535)을 선택 입력하면, 도 14b에 도시된 바와 같이 상기 메뉴 버튼은 음성 메시지 정지를 위한 메뉴 버튼(535)로 아이콘이 변경될 수 있으며, 음성 메시지 재생이 진행되는 동안 진행 바(533)를 통해 재생 정보를 시각적으로 확인할 수 있다.In addition, when a user selects and inputs a menu button 535 for playing a voice message, as shown in FIG. 14B, the icon may be changed to a menu button 535 for stopping a voice message. While the playback is in progress, the playback information may be visually confirmed through the progress bar 533.
더하여, 사용자는 상술한 바와 같은 음성 메시지를 출력하지 않더라도, 상기 음성 메시지와 함께 표시되는 문자 메시지를 기초로 상기 음성 메시지를 용이하게 확인할 수 있다.In addition, the user can easily check the voice message based on the text message displayed together with the voice message even without outputting the voice message as described above.
이러한 음성 메시지 및 문자 메시지는 상대방 단말은 물론 사용자의 단말(10)에서도 동시에 표시될 수 있다. The voice message and the text message may be simultaneously displayed on the counterpart terminal as well as the user terminal 10.
이와 같이, 본 발명의 실시 예에 따른 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 의하면, 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하고, 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 전송할 수 있게 된다. As described above, according to the method for generating a voice message, an apparatus and a system therefor according to the present invention, when the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, By recording, a voice message may be generated and transmitted to one or more counterpart terminals connected through the chat window screen.
이를 통해, 메신저 프로그램을 이용하는 사용자는 보다 간편하고 직관적인 인터페이스를 통해 음성 메시지를 생성할 수 있다는 우수한 효과는 물론 새로운 메신저 프로그램의 UX(User eXperience)를 제공할 수 있게 된다.Through this, a user using a messenger program can provide a superior effect of generating a voice message through a simpler and more intuitive interface as well as provide UX (User eXperience) of a new messenger program.
아울러, 본 발명의 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 의하면, 생성된 음성 메시지에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 키워드를 포함하는 문자 메시지를 생성하여 상대방 단말로 전송함으로써, 사용자는 물론 상기 음성 메시지 및 문자 메시지를 수신한 상대방은 음성 메시지의 내용을 보다 쉽게 파악할 수 있다는 효과가 있다. In addition, according to the voice message generating method, apparatus and system therefor, extracting a keyword satisfying a predetermined condition from the generated voice message, and then generating a text message including the extracted keyword and transmitting it to the counterpart terminal. In addition, the user as well as the counterpart receiving the voice message and the text message can more easily grasp the contents of the voice message.
아울러, 도 6 내지 도 13을 참조하여 설명한 본 발명의 일 실시 예에 따른 음성 메시지 생성 방법은 단말(10)이 음성 메시지를 생성함은 물론 상기 음성 메시지를 기초로 문자 메시지를 생성하는 것을 예로 들어 설명하였으나, 단말(10)은 음성 메시지만을 생성하고, 생성된 음성 메시지를 서비스 장치(20)로 전송하면, 서비스 장치(20)가 상기 음성 메시지를 기초로 문자 메시지를 생성할 수도 있다. In addition, the voice message generating method according to an embodiment of the present invention described with reference to FIGS. 6 to 13 is an example in which the terminal 10 not only generates a voice message but also generates a text message based on the voice message. Although described, the terminal 10 generates only a voice message, and transmits the generated voice message to the service device 20, the service device 20 may generate a text message based on the voice message.
이상으로 본 발명의 실시 예에 따른 음성 메시지 생성 방법에 대해 설명하였다.The voice message generating method according to the embodiment of the present invention has been described above.
상술한 바와 같은 본 발명의 음성 메시지 생성 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이때, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The voice message generating method of the present invention as described above may be provided in the form of a computer readable medium suitable for storing computer program instructions and data. In this case, a computer-readable medium suitable for storing computer program instructions and data may include, for example, a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, and a compact disk read only memory (CD-ROM). , Optical media such as Digital Video Disk (DVD), magneto-optical media such as Floppy Disk, and ROM (Read Only Memory), RAM And a semiconductor memory such as a random access memory, a flash memory, an erasable programmable ROM (EPROM), and an electrically erasable programmable ROM (EEPROM). The processor and memory can be supplemented by or integrated with special purpose logic circuitry. Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although the specification includes numerous specific implementation details, these should not be construed as limiting to any invention or the scope of the claims, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It must be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination Or a combination of subcombinations.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. Moreover, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples for clarity and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.
본 발명은 메신저 프로그램 내에서의 음성 메시지 생성 방법에 관한 것으로서, 더욱 상세하게는 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성함으로써, 보다 간편하게 음성 메시지를 생성하고, 생성된 음성 메시지를 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 전송할 수 있는 음성 메시지 생성 방법, 이를 위한 장치 및 시스템에 관한 것이다.The present invention relates to a method of generating a voice message in a messenger program. More particularly, when a voice message processing area is displayed and maintained for a predetermined time while a chat window screen of a messenger program is displayed, the voice recording is performed. The present invention relates to a voice message generating method and apparatus and system for generating a voice message, and to easily generate a voice message and to transmit the generated voice message to one or more counterpart terminals connected through the chat window screen.
본 발명에 의하면, 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하고, 상기 대화 창 화면을 통해 연결된 하나 이상의 상대방 단말로 전송함으로써, 메신저 프로그램을 이용하는 사용자는 보다 간편하고 직관적인 인터페이스를 통해 음성 메시지를 생성하고, 상대방 단말로 전송할 수 있다는 우수한 효과가 있으며, 이를 통해 메신저 서비스 산업의 발전에 이바지할 수 있게 된다.According to the present invention, if the voice message processing area is displayed and maintained for a predetermined time while the chat window screen of the messenger program is being displayed, voice recording is performed by generating a voice message and connected through the chat window screen. By transmitting to the counterpart terminal, the user using the messenger program can generate a voice message through a simpler and more intuitive interface, and transmit the voice message to the counterpart terminal, thereby contributing to the development of the messenger service industry. do.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.In addition, the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Claims (24)

  1. 적어도 하나의 상대방 단말과 인스턴트 메시지 송수신이 가능하도록 구성된 메신저 프로그램의 실행 중에 발생되는 정보를 출력하는 출력부; An output unit for outputting information generated during execution of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal;
    음성 녹음을 진행하여 음성 메시지를 생성하는 음성 인식부; 및A voice recognition unit for generating a voice message by performing voice recording; And
    상기 출력부 및 상기 음성 인식부와 기능적으로 연결되는 제어부를 포함하되, A control unit that is functionally connected to the output unit and the voice recognition unit,
    상기 제어부는 상기 출력부를 통해 상기 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 상기 출력부를 통해 표시되도록 제어한 후, 상기 표시된 음성 메시지 처리 영역이 일정 시간 동안 유지되면, 음성 녹음을 진행하여 음성 메시지를 생성하도록 상기 음성 인식부에 제어 명령을 전달하는 것을 특징으로 하는 단말.The controller controls the voice message processing region for supporting voice message generation to be displayed through the output unit while the chat window screen of the messenger program is displayed through the output unit, and then displays the displayed voice message processing region. If maintained for a predetermined time, the terminal characterized in that for transmitting a control command to the voice recognition unit to proceed with voice recording to generate a voice message.
  2. 제1항에 있어서,The method of claim 1,
    사용자 입력을 지원하는 입력부;An input unit supporting user input;
    를 더 포함하며,More,
    상기 제어부는 The control unit
    상기 대화 창 화면이 표시되고 있는 상태에서, 상기 입력부를 통해 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 음성 메시지 처리 영역이 상기 출력부를 통해 표시되도록 제어하고, 상기 사용자 입력이 지속되면, 상기 음성 녹음이 진행되도록 상기 음성 인식부에 제어 명령을 전달하는 것을 특징으로 하는 단말.When the dialog window screen is displayed, if a user input corresponding to a preset condition is detected through the input unit, the voice message processing area is controlled to be displayed through the output unit, and if the user input continues, And a control command is transmitted to the voice recognition unit so that voice recording is performed.
  3. 제2항에 있어서,The method of claim 2,
    상기 기 설정된 조건에 해당하는 사용자 입력은The user input corresponding to the preset condition is
    상기 대화 창 화면에서 터치 또는 일 방향으로의 스와이프(swipe), 터치 앤 드래그(touch & drag), 제스처, 시선 이동, 쉐이크(shake) 중 어느 하나인 것을 특징으로 하는 단말.Terminals, characterized in that any one of the touch or swipe in one direction, touch and drag, gestures, eye movements, shake in the chat window screen.
  4. 제2항에 있어서,The method of claim 2,
    상기 제어부는The control unit
    상기 사용자 입력이 종료되면, 상기 음성 녹음을 종료하여 음성 메시지가 생성되도록 상기 음성 인식부에 제어 명령을 전달하는 것을 특징으로 하는 단말.And when the user input ends, transmitting a control command to the voice recognition unit so that the voice message is generated by ending the voice recording.
  5. 제4항에 있어서,The method of claim 4, wherein
    하나 이상의 상대방 단말과 상기 메신저 프로그램을 통해 발생되는 다양한 정보를 송수신하는 통신부;Communication unit for transmitting and receiving a variety of information generated through the messenger program with one or more counterpart terminal;
    를 더 포함하며, More,
    상기 제어부는The control unit
    상기 음성 인식부를 통해 생성된 음성 메시지를 상기 통신부를 통해 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송되도록 제어하는 것을 특징으로 하는 단말.And controlling the voice message generated by the voice recognition unit to be transmitted to the counterpart terminal connected through the chat window screen through the communication unit.
  6. 제1항에 있어서,The method of claim 1,
    상기 제어부는The control unit
    상기 음성 메시지 처리 영역이 상기 대화 창 화면 내 일정 영역에 표시되거나, 상기 대화 창 화면이 일 방향으로 이동되어 상기 이동된 대화 창 화면과 동시에 표시되거나, 상기 대화 창 화면에서 전환되어 상기 음성 메시지 처리 영역만이 상기 출력부를 통해 표시되도록 제어하는 것을 특징으로 하는 단말.The voice message processing area is displayed on a certain area within the chat window screen, or the chat window screen is moved in one direction and displayed simultaneously with the moved chat window screen, or is switched on the chat window screen to change the voice message processing area. Terminal only characterized in that the control to be displayed through the output unit.
  7. 제1항에 있어서,The method of claim 1,
    상기 제어부는The control unit
    상기 음성 녹음이 진행되는 동안 상기 음성 메시지 처리 영역을 통해 음성 녹음이 진행되고 있음을 알리는 아이콘, 음성 녹음 진행 상태 바(bar) 중 적어도 어느 하나가 표시되도록 제어하는 것을 특징으로 하는 단말.And at least one of an icon indicating that voice recording is in progress and a voice recording progress bar are displayed through the voice message processing area while the voice recording is in progress.
  8. 제7항에 있어서,The method of claim 7, wherein
    상기 음성 녹음 진행 상태 바는 녹음 진행 상태 정보, 녹음 진행 시간 정보 및 최대 녹음 가능 시간 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 단말.The voice recording progress bar includes at least one of recording progress status information, recording progress time information, and maximum recordable time information.
  9. 제4항에 있어서,The method of claim 4, wherein
    상기 제어부는The control unit
    상기 음성 녹음이 종료되면, 상기 음성 인식부를 통해 생성된 음성 메시지에서 소정의 키워드를 포함하는 문자 메시지를 생성하는 것을 특징으로 하는 단말.When the voice recording is finished, the terminal characterized in that for generating a text message containing a predetermined keyword from the voice message generated by the voice recognition unit.
  10. 제9항에 있어서,The method of claim 9,
    상기 제어부는The control unit
    상기 문자 메시지가 생성되는 동안에, 상기 음성 메시지 처리 영역을 통해 상기 음성 메시지의 분석이 진행되고 있음을 알리는 아이콘이 표시되도록 제어하는 것을 특징으로 하는 단말.While the text message is being generated, the terminal is controlled to display an icon indicating that the analysis of the voice message is in progress through the voice message processing area.
  11. 제9항에 있어서,The method of claim 9,
    상기 제어부는The control unit
    상기 문자 메시지 생성이 완료되면, 상기 음성 메시지 처리 영역이 표시되지 않도록 제어하는 것을 특징으로 하는 단말.When the text message generation is complete, the terminal characterized in that the control to not display the voice message processing area.
  12. 제4항에 있어서,The method of claim 4, wherein
    상기 제어부는The control unit
    상기 사용자 입력이 일정 시간 이상 지속되지 않은 상태에서, 상기 사용자 입력이 종료되면, 상기 출력부를 통해 음성 메시지 생성 실패 메시지가 출력되도록 제어하는 것을 특징으로 하는 단말.And a terminal in which the voice message generation failure message is output through the output unit when the user input is terminated while the user input is not maintained for a predetermined time or more.
  13. 하나 이상의 단말과 메신저 프로그램을 통해 다양한 정보를 송수신하는 서비스 통신부; 및A service communication unit for transmitting and receiving various information through at least one terminal and a messenger program; And
    상기 서비스 통신부와 기능적으로 연결되며, 상기 서비스 통신부를 통해 상기 메신저 프로그램의 대화 창 화면이 표시되고 있는 어느 하나의 단말로부터 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 표시되고 있음을 알리는 음성 메시지 처리 영역 표시 정보가 수신되면, 상기 서비스 통신부를 통해 상기 단말로 음성 녹음 요청 정보를 전송하고, 상기 서비스 통신부를 통해 상기 단말로부터 음성 메시지 처리 영역 비활성화 정보가 수신되면, 상기 단말로 상기 서비스 통신부를 음성 녹음 종료 요청 정보가 전송되도록 제어하는 서비스 제어부;Voice message processing, which is functionally connected to the service communication unit and informs that a voice message processing area for supporting voice message generation is displayed from any one terminal in which a chat window screen of the messenger program is displayed through the service communication unit. When the area indication information is received, the voice recording request information is transmitted to the terminal through the service communication unit. When voice message processing area deactivation information is received from the terminal through the service communication unit, the service communication unit is voice recorded. A service controller which controls the termination request information to be transmitted;
    를 포함하는 것을 특징으로 하는 서비스 장치.Service device comprising a.
  14. 제13항에 있어서,The method of claim 13,
    상기 서비스 제어부는The service control unit
    상기 음성 녹음 종료 요청 정보를 상기 단말로 전송한 이후에, 상기 단말로부터 상기 서비스 통신부를 통해 생성된 음성 메시지가 수신되면, 상기 서비스 통신부를 통해 상기 수신된 음성 메시지를 상기 대화 창 화면을 통해 연결된 상대방 단말로 전송되도록 제어하는 것을 특징으로 하는 서비스 장치.After the voice recording end request information is transmitted to the terminal, when a voice message generated through the service communication unit is received from the terminal, the other party connected the received voice message through the conversation window screen through the service communication unit. The service device characterized in that the control to be transmitted to the terminal.
  15. 제14항에 있어서,The method of claim 14,
    상기 서비스 제어부는The service control unit
    상기 단말로부터 수신된 음성 메시지를 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후 상기 추출된 키워드를 포함하는 문자 메시지를 생성하여, 상기 수신된 음성 메시지 및 상기 생성된 문자 메시지를 상기 서비스 통신부를 통해 상기 상대방 단말로 전송되도록 제어하는 것을 특징으로 하는 서비스 장치.The voice message received from the terminal is recognized and converted into text, a keyword satisfying a predetermined condition is extracted from the converted text, and a text message including the extracted keyword is generated to generate the received voice message and the And controlling the generated text message to be transmitted to the counterpart terminal through the service communication unit.
  16. 제15항에 있어서,The method of claim 15,
    상기 기 설정된 조건은The preset condition is
    명사, 숫자, URL(Uniform Resource Locator)에 해당하는 키워드를 추출하도록 설정되거나, 음성의 크기를 분석하여, 음성의 크기가 일정 수준 이상인 키워드를 추출하도록 설정된 조건인 것을 특징으로 하는 서비스 장치.And a condition set to extract a keyword corresponding to a noun, a number, and a uniform resource locator (URL), or to analyze a volume of a voice to extract a keyword having a predetermined size or more.
  17. 제15항에 있어서,The method of claim 15,
    상기 서비스 제어부는The service control unit
    상기 추출된 키워드만을 포함하는 문자 메시지를 생성하는 것을 특징으로 하는 서비스 장치.And a text message including only the extracted keywords.
  18. 제15항에 있어서,The method of claim 15,
    상기 서비스 제어부는The service control unit
    상기 추출된 키워드에 기 설정된 효과가 부여된 문자 메시지를 생성하는 것을 특징으로 하는 서비스 장치.And a text message to which a predetermined effect is assigned to the extracted keyword.
  19. 적어도 하나의 상대방 단말과 인스턴트 메시지(instant message) 송수신이 가능하도록 구성된 메신저 프로그램의 대화 창 화면이 표시되고 있는 상태에서, 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역이 표시되어 일정 시간 동안 유지되면, 음성 녹음 진행하여 음성 메시지를 생성하고, 생성된 음성 메시지를 적어도 하나의 상대방 단말로 전송하는 단말; 및When a chat window screen of a messenger program configured to transmit and receive instant messages with at least one counterpart terminal is being displayed, if a voice message processing area for supporting voice message generation is displayed and maintained for a predetermined time, A terminal for generating a voice message by performing voice recording and transmitting the generated voice message to at least one counterpart terminal; And
    상기 단말로부터 상기 상대방 단말로 전송되는 음성 메시지가 수신되면, 상기 음성 메시지를 통해 소정의 키워드를 포함하는 문자 메시지를 생성하고, 상기 생성된 문자 메시지 및 상기 음성 메시지를 상기 상대방 단말로 전송하는 서비스 장치;When the voice message transmitted from the terminal to the counterpart terminal is received, a service device for generating a text message including a predetermined keyword through the voice message, and transmits the generated text message and the voice message to the counterpart terminal ;
    를 포함하는 것을 특징으로 하는 메신저 시스템.Messenger system comprising a.
  20. 단말이 적어도 하나의 상대방 단말과 인스턴트 메시지(instant message) 송수신이 가능하도록 구성된 메신저 프로그램의 대화 창 화면을 표시하는 단계;Displaying, by a terminal, a chat window screen of a messenger program configured to transmit and receive an instant message with at least one counterpart terminal;
    상기 단말이 음성 메시지 생성을 지원하기 위한 음성 메시지 처리 영역을 표시하는 단계;Displaying, by the terminal, a voice message processing area for supporting voice message generation;
    상기 단말이 상기 음성 메시지 처리 영역이 표시된 상태에서, 상기 음성 메시지 처리 영역이 일정 시간 이상 유지되는지 판단하는 단계; 및Determining, by the terminal, whether the voice message processing area is maintained for a predetermined time or more while the voice message processing area is displayed; And
    상기 판단 결과, 상기 음성 메시지 처리 영역이 일정 시간 이상 유지되면, 상기 단말이 음성 녹음을 진행하는 단계;When the voice message processing area is maintained for a predetermined time or more, the terminal performing voice recording;
    를 포함하는 것을 특징으로 하는 음성 메시지 생성 방법.Voice message generation method comprising a.
  21. 제20항에 있어서,The method of claim 20,
    상기 음성 메시지 처리 영역을 표시하는 단계는Displaying the voice message processing area is
    상기 단말이 상기 대화 창 화면에서 기 설정된 조건에 해당하는 사용자 입력이 감지되는 지 판단하는 단계; 및Determining, by the terminal, whether a user input corresponding to a preset condition is detected on the chat window screen; And
    상기 기 설정된 조건에 해당하는 사용자 입력이 감지되면, 상기 단말이 상기 음성 메시지 처리 영역을 표시하는 단계;Displaying, by the terminal, the voice message processing area when a user input corresponding to the preset condition is detected;
    를 포함하는 것을 특징으로 하는 음성 메시지 생성 방법.Voice message generation method comprising a.
  22. 제21항에 있어서,The method of claim 21,
    상기 일정 시간 이상 유지되는지 판단하는 단계는Determining whether the predetermined time or more is maintained
    상기 단말이 상기 사용자 입력이 일정 시간 이상 지속되는지 판단하는 것을 특징으로 하는 음성 메시지 생성 방법.The terminal determines whether the user input lasts for a predetermined time or more.
  23. 제21항에 있어서,The method of claim 21,
    상기 음성 녹음을 진행하는 단계 이후에,After the step of proceeding with the voice recording,
    상기 단말이 상기 사용자 입력이 종료되면, 상기 음성 녹음을 종료하여 음성 메시지를 생성하는 단계;Generating a voice message by terminating the voice recording when the user input is terminated;
    상기 단말이 상기 음성 메시지를 인식하여 텍스트로 변환하는 단계;Recognizing the voice message and converting the voice message into text;
    상기 단말이 상기 변환된 텍스트에서 기 설정된 조건을 만족하는 키워드를 추출한 후, 추출된 상기 키워드를 포함하는 문자 메시지를 생성하는 단계; 및Generating, by the terminal, a keyword that satisfies a predetermined condition in the converted text, and then generating a text message including the extracted keyword; And
    상기 단말이 상기 음성 메시지 및 상기 문자 메시지를 상기 대화 창 화면을 통해 연결된 적어도 하나 이상의 상대방 단말로 전송하는 단계;Transmitting, by the terminal, the voice message and the text message to at least one counterpart terminal connected through the chat window screen;
    를 더 포함하는 것을 특징으로 하는 음성 메시지 생성 방법.Voice message generation method further comprising.
  24. 제20항 내지 제23항 중 적어도 한 항에 기재된 음성 메시지 생성 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for executing the voice message generating method according to any one of claims 20 to 23.
PCT/KR2013/005076 2013-03-13 2013-06-10 Method for generating voice message, and apparatus and system therefor WO2014142391A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0026953 2013-03-13
KR1020130026953A KR101363866B1 (en) 2013-03-13 2013-03-13 Method for generating of voice message, apparatus and system for the same

Publications (1)

Publication Number Publication Date
WO2014142391A1 true WO2014142391A1 (en) 2014-09-18

Family

ID=50271196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005076 WO2014142391A1 (en) 2013-03-13 2013-06-10 Method for generating voice message, and apparatus and system therefor

Country Status (2)

Country Link
KR (1) KR101363866B1 (en)
WO (1) WO2014142391A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193389A (en) * 2016-03-14 2017-09-22 中兴通讯股份有限公司 A kind of method and apparatus for realizing input
CN109831375A (en) * 2019-03-18 2019-05-31 努比亚技术有限公司 Receiving/transmission method, terminal and the computer readable storage medium of instant messaging information

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049318B (en) * 2015-05-22 2019-01-08 腾讯科技（深圳）有限公司 Message method and device, message treatment method and device
KR102665972B1 (en) * 2017-02-15 2024-05-20 삼성전자주식회사 Electronic apparatus and method for outputting message data thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034257A (en) * 2005-09-23 2007-03-28 엘지전자 주식회사 Mobile communication terminal and text message display method therefor
KR20070104968A (en) * 2006-04-24 2007-10-30 삼성전자주식회사 Mobile terminal and method for transmitting voice message during use of mobile messenger service
KR20090120669A (en) * 2008-05-20 2009-11-25 주식회사 케이티테크 Apparatus and method for voice recording
KR20110062094A (en) * 2009-12-02 2011-06-10 엘지전자 주식회사 Mobile terminal and method for controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034257A (en) * 2005-09-23 2007-03-28 엘지전자 주식회사 Mobile communication terminal and text message display method therefor
KR20070104968A (en) * 2006-04-24 2007-10-30 삼성전자주식회사 Mobile terminal and method for transmitting voice message during use of mobile messenger service
KR20090120669A (en) * 2008-05-20 2009-11-25 주식회사 케이티테크 Apparatus and method for voice recording
KR20110062094A (en) * 2009-12-02 2011-06-10 엘지전자 주식회사 Mobile terminal and method for controlling the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193389A (en) * 2016-03-14 2017-09-22 中兴通讯股份有限公司 A kind of method and apparatus for realizing input
CN109831375A (en) * 2019-03-18 2019-05-31 努比亚技术有限公司 Receiving/transmission method, terminal and the computer readable storage medium of instant messaging information

Also Published As

Publication number Publication date
KR101363866B1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2019156314A1 (en) Electronic device for chatting with chatbot and operation method thereof
WO2014123270A1 (en) Method for providing instant messaging service, recording medium on which program for same is recorded, and terminal
WO2019164140A1 (en) System for processing user utterance and controlling method thereof
WO2014133225A1 (en) Voice message providing method, and apparatus and system for same
WO2014007545A1 (en) Method and apparatus for connecting service between user devices using voice
WO2013055089A1 (en) Method and apparatus for operating function in touch device
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2018182298A1 (en) Method for operating speech recognition service and electronic device supporting the same
WO2012046891A1 (en) Mobile terminal, display device, and method for controlling same
WO2019059642A1 (en) Method for providing natural language expression and electronic device supporting same
WO2020091183A1 (en) Electronic device for sharing user-specific voice command and method for controlling same
WO2016188285A1 (en) Process management method and device of terminal application
WO2020197263A1 (en) Electronic device and multitasking supporting method thereof
WO2018203620A1 (en) Electronic device for processing user utterance
WO2014042357A1 (en) Screen synchronization control system, and method and apparatus for synchronizing a screen using same
WO2019190062A1 (en) Electronic device for processing user voice input
WO2014142391A1 (en) Method for generating voice message, and apparatus and system therefor
WO2019112181A1 (en) Electronic device for executing application by using phoneme information included in audio data and operation method therefor
WO2020032655A1 (en) Method for executing function based on voice and electronic device supporting the same
WO2021060728A1 (en) Electronic device for processing user utterance and method for operating same
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2016129792A1 (en) Object recognition-based retargeting advertisement product recommendation server, control method therefor, and recording medium having computer program recorded thereon
WO2014092293A1 (en) Method for providing immediate result for user input, and system and apparatus therefor
WO2015099472A1 (en) Method for controlling data and electronic device thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878027

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13878027

Country of ref document: EP

Kind code of ref document: A1