KR100775190B1 - Method for multimedia synthesis and terminal using the same - Google Patents

Method for multimedia synthesis and terminal using the same Download PDF

Info

Publication number
KR100775190B1
KR100775190B1 KR1020060046751A KR20060046751A KR100775190B1 KR 100775190 B1 KR100775190 B1 KR 100775190B1 KR 1020060046751 A KR1020060046751 A KR 1020060046751A KR 20060046751 A KR20060046751 A KR 20060046751A KR 100775190 B1 KR100775190 B1 KR 100775190B1
Authority
KR
South Korea
Prior art keywords
data
motion
voice
recognized
multimedia
Prior art date
Application number
KR1020060046751A
Other languages
Korean (ko)
Inventor
박운기
황영휘
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060046751A priority Critical patent/KR100775190B1/en
Application granted granted Critical
Publication of KR100775190B1 publication Critical patent/KR100775190B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

A multimedia synthesis method and a terminal using the method are provided to synthesize various multimedia data with video data in real time by recognizing inputted data so as to use the synthesized data for various application services. At least one piece of information such as motion information of an inputted object, motion information of a terminal, voice information, and character information is recognized(S11-S13). A DB is searched by using the recognized information, and multimedia data stored according to the recognized information is detected(S14). The detected multimedia data is automatically synthesized with video data inputted in real time(S15,S16).

Description

멀티미디어 합성 방법 및 이를 이용한 단말기{Method for Multimedia Synthesis and terminal using the same}Method for Multimedia Synthesis and terminal using the same

도 1은 본 발명의 실시 예에 따른 멀티미디어 합성 기능을 가지는 단말기의 구성을 나타내는 도면.1 is a view showing the configuration of a terminal having a multimedia synthesis function according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 동작 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트.2 is a flowchart illustrating a method of synthesizing image data using motion recognition according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 음성 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트.3 is a flowchart illustrating a method of synthesizing image data using speech recognition according to an exemplary embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 움직이는 캐릭터를 나타내는 도면.4 is a view showing a moving character according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 동작 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면.5 is a diagram illustrating a screen for registering gesture recognition and multimedia data according to an embodiment of the present invention.

도 6은 본 발명의 실시 예에 따른 음성 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면.6 is a diagram illustrating a screen for registering voice recognition and multimedia data according to an embodiment of the present invention.

도 7은 본 발명의 실시 예예 따른 화상 통화 화면을 보여주는 도면. 7 is a view showing a video call screen according to an embodiment of the present invention.

본 발명은 입력되는 데이터를 인식하여 다양한 멀티미디어 데이터와 화상 데이터를 실시간 합성하여 이를 다양한 응용 서비스에 이용할 수 있도록 하는 멀티미디어 데이터 합성 방법 및 이를 이용한 단말기에 관한 것이다.The present invention relates to a method for synthesizing multimedia data and a terminal using the same, by recognizing input data, real-time synthesis of various multimedia data and image data, and using the same in various application services.

일반적으로 이동통신 단말기는 이동 중에도 양자간에 의사소통을 가능하게 하며, 초기에 음성급 신호 매체를 위주로 통신하였고, 다음 세대에서는 문자급 데이터 신호 매체를 이용하여 메시지 또는 이메일 등과 같은 대량의 정보를 빠르게 전송하는 통신방식으로 발전하게 되었으며, 현재의 3세대에서는 상기의 음성급 매체와 문자급 매체에 영상급 매체를 포함하는 멀티미디어(Multimedia) 방식으로, 보다 많은 정보를 상대방에게 신속하게 전송하는 통신방식으로 발전하였다.In general, mobile communication terminals can communicate with each other while on the move, and initially focused on voice-level signal media. In the next generation, a large-scale information such as a message or an e-mail can be quickly transmitted using a text-level data signal media. In the current 3rd generation, it is a multimedia method that includes a video-quality medium in the voice- and media-type media, and has developed into a communication method for quickly transmitting more information to the other party. It was.

따라서 최근에는 멀티미디어 서비스(Multimedia Service)에 대한 요구 및 그 활용이 높아지고 있으며, 특히 이동통신 단말기의 경우 카메라 기능을 이용한 동영상 녹화 서비스(Camcorder Serviec), 멀티미디어 메시지 서비스(MMS;Multimedia Messaging Service), 화상 통화 서비스(Video Telephony Service)등 오디오, 비디오, 이미지 등의 다양한 멀티미디어 데이터를 이용한 서비스가 제공되고 있다.Therefore, in recent years, the demand for multimedia service (Multimedia Service) and its utilization is increasing, especially in the case of mobile communication terminal, video recording service (Camcorder Serviec), multimedia messaging service (MMS), video call using a camera function Services such as video telephony service are provided using various multimedia data such as audio, video, and images.

하지만 이동통신 단말기에서 동영상 녹화 서비스나 화상통화 시에 실시간 영상 및 음성 데이터를 주고 받는 것을 제외하고 추가적인 멀티미디어 데이터를 합성하여 전송하는 기술은 아직까지 제안되지 않고 있다.However, a technology for synthesizing and transmitting additional multimedia data except for transmitting and receiving real-time video and audio data in a video recording service or video call in a mobile communication terminal has not been proposed until now.

본 발명의 목적은 입력되는 움직임 정보, 음성 정보, 문자 정보 등을 인식하고 그 인식된 정보에 대응되는 멀티미디어 데이터를 화상 데이터와 실시간 합성하 여 다양한 응용 서비스에 이용할 수 있도록 하는 멀티미디어 데이터 합성 방법 및 이를 이용한 단말기를 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is a method of synthesizing multimedia data for recognizing input motion information, voice information, text information, and the like, and synthesizing multimedia data corresponding to the recognized information with image data for use in various application services. In providing a terminal used.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 멀티미디어 데이터 합성 방법은, 입력되는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 어느 하나 이상의 정보를 인식하는 단계; 상기 인식된 정보를 이용하여 데이터 베이스를 검색하고 인식된 정보에 대응되어 저장된 멀티미디어 데이터를 검출하는 단계; 상기 검출된 멀티미디어 데이터를 실시간 입력되는 동영상 데이터에 자동으로 합성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of synthesizing multimedia data, the method comprising: recognizing at least one or more of motion information of an input object, motion information of a terminal, voice information, and text information; Searching a database using the recognized information and detecting multimedia data stored corresponding to the recognized information; And automatically synthesizing the detected multimedia data into video data input in real time.

삭제delete

또한 상기와 같은 목적을 달성하기 위한 본 발명에 따른 단말기는, 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상의 데이터를 입력받아 이를 인식하는 동작 인식 모듈과; 상기 인식된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.In addition, the terminal according to the present invention for achieving the above object, the motion recognition module for receiving any one or more data of the movement data of the object and the movement data of the terminal; A moving picture synthesizing unit for synthesizing the stored multimedia data corresponding to the recognized motion data with image data input in real time; And a controller configured to search whether the motion data recognized through the motion recognition module is registered in the database, and detect multimedia data stored in correspondence with the searched motion data to be synthesized through the video synthesizing unit.

또한 본 발명에 따른 단말기는, 음성 데이터를 입력받고 이를 인식하는 음성 인식 모듈과; 상기 인식된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 음성 인식 모듈을 통해 인식된 음성 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.In addition, the terminal according to the present invention comprises a voice recognition module that receives voice data and recognizes it; A moving picture synthesizing unit for synthesizing the stored multimedia data corresponding to the recognized voice data with image data input in real time; And a controller configured to search whether the voice data recognized through the voice recognition module is registered in the database, detect the multimedia data stored in correspondence with the searched voice data, and synthesize the synthesized data through the video synthesizer.

또한 본 발명에 따른 단말기는, 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; 상기 인식된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 문자 인식 모듈을 통해 인식된 문자 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.In addition, the terminal according to the present invention comprises: a character recognition module which receives text data and recognizes it; A moving picture synthesizing unit for synthesizing the multimedia data stored corresponding to the recognized text data with image data input in real time; And a controller for searching whether the text data recognized through the text recognition module is registered in the database, and detecting the multimedia data stored in correspondence with the searched text data to be synthesized through the video synthesizing unit.

또한 본 발명에 따른 단말기는, 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상을 입력받아 이를 인식하는 동작 인식 모듈과; 음성 데이터를 입력받아 이를 인식하는 음성 인식 모듈과; 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; 상기 인식된 데이터와 대응하여 저장된 멀티미디어 데이터와 실시간 입력되는 화상 데이터를 합성하는 동영상 합성부와; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터와 음성 인식 모듈을 통해 인식된 음성 데이터과 문자 인식 모듈을 통해 인식된 문자 데이터 중 적어도 어느 하나 이상의 데이터가 데이터 베이스에 등록되어 있는지 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.In addition, the terminal according to the present invention, the motion recognition module for receiving any one or more of the movement data of the object and the movement data of the terminal to recognize it; A voice recognition module which receives voice data and recognizes the voice data; A text recognition module which receives text data and recognizes the text data; A moving picture synthesizing unit for synthesizing the stored multimedia data and the real-time input image data corresponding to the recognized data; Search for whether at least one or more of the movement data recognized by the motion recognition module, the voice data recognized by the voice recognition module, and the text data recognized by the text recognition module are registered in the database, and stored accordingly. It characterized in that it comprises a control unit for detecting the control to be synthesized through the video synthesis unit.

본 발명에서는 이통통신 단말기를 이용하여 화상 통화시 화상 데이터와 멀티미디어 데이터의 합성을 실시 예로 들어 설명하며 이에 한정되지 않는다.In the present invention, a synthesis of image data and multimedia data during a video call using a mobile communication terminal is described as an example, but is not limited thereto.

또한 상기 화상 통화시 송수신되는 동영상 데이터와 음성 데이터를 화상 데이터로 지칭하여 설명한다.In addition, video data and audio data transmitted and received during the video call will be described as image data.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 멀티미디어 합성 기능을 가지는 단말기의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of a terminal having a multimedia synthesis function according to an embodiment of the present invention.

도 1을 참조하면, 단말기 사용을 위한 키조작 및 멀티미디어 컨텐츠 합성과 관련한 명령과 문자 등의 데이터를 입력하는 키 입력부(11)와, 상기 입력된 문자를 인식하는 문자 인식 수단(12)을 포함하는 문자 인식 모듈(10)과; 사물의 움직임 정보를 입력받는 카메라(21)와, 단말기의 움직임 정보를 입력받는 동작 검출 센서와(22), 상기 사물과 단말기의 움직임 정보 중 어느 하나 이상의 정보를 이용하여 동작을 인식하는 동작 인식 수단(23)을 포함하는 동작 인식 모듈(20)과; 음성 데이터를 입력받는 오디오 입력부(31)와, 상기 입력된 음성을 인식하는 음성 인식 수단(32)을 포함하는 음성 인식 모듈(30)과; 다양한 멀티미디어 데이터를 저장하고 있는 메모리부(40)와; 상기 멀티미디어 데이터를 디코딩하는 디코더부(50)와; 실시간 입력되는 화상 데이터에 상기 디코딩된 멀티미디어 데이터를 합성하는 동영상 합성 부(60)와; 상기 합성된 화상 데이터의 동영상을 출력하는 디스플레부(70)와; 음성을 출력하는 오디오 출력부(80)와; 상기 합성된 화상 데이터를 압축하는 인코더부(90)와; 상기 압축된 화상 데이터를 상대방 단말기로 전송하는 송수신부(100)와; 상기 단말기 각 부의 동작을 제어하며 상기 입력되는 데이터를 인식하여 미리 등록되어 있는 인식 데이터를 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 합성되도록 제어하는 제어부(110)를 포함하여 구성된다.Referring to FIG. 1, a key input unit 11 for inputting data such as commands and characters related to key manipulation and multimedia content synthesis for use of a terminal, and a character recognition unit 12 for recognizing the input characters are included. A character recognition module 10; Motion recognition means for recognizing a motion using at least one of the camera 21 receiving the motion information of the object, the motion detection sensor 22 receiving the motion information of the terminal, and the motion information of the object and the terminal. A motion recognition module 20 comprising a 23; A voice recognition module 30 including an audio input unit 31 for receiving voice data and voice recognition means 32 for recognizing the input voice; A memory unit 40 storing various multimedia data; A decoder unit 50 for decoding the multimedia data; A video synthesizing unit 60 for synthesizing the decoded multimedia data with real-time input image data; A display unit 70 for outputting a moving image of the synthesized image data; An audio output unit 80 for outputting voice; An encoder unit (90) for compressing the synthesized image data; A transmitter / receiver 100 for transmitting the compressed image data to a counterpart terminal; The controller 110 controls the operation of each of the terminals, and recognizes the input data to search for pre-registered recognition data, and detects and stores the multimedia data corresponding to the input data.

여기서 상기 디코더(50)는 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더를 더 포함하여 구성할 수 있다.Here, the decoder 50 may further include a separate multimedia decoder for decoding only multimedia data.

화상 통화를 위해 상기 송수신부(100)는 호 관련 정보를 포함한 호 접속 메시지 및 화상 데이터를 상대 단말로 전송하고, 상대 단말로부터 전송되는 호 관련 정보를 포함하는 호 접속 메시지 및 상대 단말 사용자의 화상 데이터를 수신한다.In order to make a video call, the transceiver 100 transmits a call connection message and video data including call related information to the counterpart terminal, and a call connection message and call data including call related information transmitted from the counterpart terminal. Receive

상기 카메라(21)는 화상 통화시 상대방 단말에 출력될 사용자를 촬영하며, 오디오 입력부(31)로는 상대방 단말에 출력될 음성이 입력되어 상기 인코더부(90)를 통해 압축되어 상대방 단말기로 전송된다.The camera 21 photographs a user to be output to the counterpart terminal during a video call, and a voice to be output to the counterpart terminal is input to the audio input unit 31 and is compressed through the encoder unit 90 to be transmitted to the counterpart terminal.

또한 상대방 단말로부터 전송되어 수신된 화상 데이터는 디코더(50)부에서 디코딩하여 동영상은 디스플레이부(70)에 표시되고 음성은 오디오 출력부(80)로 출력되어 상대방과 화상통화를 실시하게 된다.Also, the image data transmitted and received from the counterpart terminal is decoded by the decoder 50 so that the video is displayed on the display 70 and the audio is output to the audio output unit 80 to perform a video call with the counterpart.

이때, 화상 통화시 입력되는 문자 정보, 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보 등을 인식하여 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 자동으로 합성할 수 있다.In this case, the multimedia information may be automatically synthesized with the image data input in real time by recognizing text information input during a video call, motion information of an object, motion information of a terminal, voice information, and the like.

예를 들면, 사용자는 키 입력부(11)를 통해 입력되는 문자, 카메라(21)를 통해 입력되는 사물의 움직임 정보, 동작 검출 센서(22)로부터 입력되는 단말기의 움직임 정보, 오디오 입력부(31)로 입력되는 음성정보 중 어느 하나 이상을 선택하여 멀티미디어 데이터가 화상 데이터에 합성되도록 선택할 수 있다.For example, the user may enter text input through the key input unit 11, motion information of an object input through the camera 21, motion information of the terminal input from the motion detection sensor 22, and an audio input unit 31. Any one or more of the input voice information may be selected to select the multimedia data to be combined with the image data.

상기 메모리(40)에는 멀티미디어 데이터로 사용하기 위한 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예:AAC, QCELP 등) 등의 일반적인 모든 멀티미디어 데이터가 저장되어 있다.The memory 40 may include graphics (eg, AGIF, SVG, Flast, etc.), images (eg, JPEG, BMP, etc.), video (eg, MPEG4, H.263, H.264, etc.) for use as multimedia data. All general multimedia data such as text (e.g. Text) and audio (e.g. AAC, QCELP, etc.) are stored.

여기서 사용자는 인식되기 원하는 문자를 등록하고 그 문자와 대응되도록 멀티미디어 데이터를 저장할 수 있으며, 또한 인식되기 원하는 움직임 정보 또는 인식되기 원하는 음성 정보 등을 등록하고 그에 대응되도록 멀티미디어 데이터를 저장하여 데이터 베이스를 생성하고 상기 데이터 베이스는 메모리(40)에 저장된다.Here, the user may register a character to be recognized and store the multimedia data to correspond to the character, and also register a movement information or voice information to be recognized and store the multimedia data so as to correspond to the character and generate a database. The database is stored in the memory 40.

상기 문자 인식 수단(12)은 키 입력부(11)를 통해 실시간 입력되는 문자를 인식하고 이를 제어부(110)로 출력한다.The character recognition unit 12 recognizes a character input in real time through the key input unit 11 and outputs it to the controller 110.

이때 상기 제어부(110)는 인식된 문자 정보를 이용하여 메모리부(40)의 데이터 베이스를 검색하여 그 인식된 문자 정보가 등록되어 있는지 검색한 후 그 문자 정보에 대응되어 저장된 멀티미디어 데이터를 검출한다. At this time, the controller 110 searches the database of the memory unit 40 using the recognized character information, searches whether the recognized character information is registered, and detects multimedia data stored corresponding to the character information.

상기 카메라(21)는 실시간으로 사용자의 움직임 정보 등 사물의 움직임 정보를 동작 인식 수단(23)으로 출력하며, 상기 동작 검출 센서(22)는 단말기 내에 장착되어 단말기의 실시간 움직임 정보를 동작 인식 수단(23)으로 출력한다.The camera 21 outputs motion information of an object, such as user's motion information, to the motion recognition means 23 in real time, and the motion detection sensor 22 is mounted in the terminal to recognize real-time motion information of the terminal. 23)

여기서 상기 동작 검출 센서(22)는 자이로 센서(Gyro sensor)를 포함할 수 있으며 단말기의 움직임을 감지할 수 있는 어떠한 센서라도 가능하며, 단말기의 전후 또는 좌우 방향 등의 움직임을 인식한다. Here, the motion detection sensor 22 may include a gyro sensor, any sensor capable of detecting the movement of the terminal, and recognizes the movement of the terminal in front, rear, left, and right directions.

상기 동작 인식 수단(23)은 입력되는 단말기의 움직임 정보, 사용자의 움직임 정보를 적어도 하나 이상 이용하여 움직임을 인식하고 이를 제어부(110)로 출력한다.The motion recognition means 23 recognizes a motion by using at least one of the input motion information of the terminal and the motion information of the user, and outputs the motion to the controller 110.

이때 상기 제어부(110)는 인식된 움직임 정보를 이용하여 그 인식된 움직임정보가 등록되어 있는지 메모리부(40)의 데이터 베이스를 검색하고 그 움직임 정보에 대응되어 저장된 멀티미디어 데이터를 검출한다. At this time, the controller 110 searches the database of the memory unit 40 to determine whether the recognized motion information is registered using the recognized motion information, and detects the multimedia data stored corresponding to the motion information.

또한 상기 오디오 입력부(31)로 실시간 입력되는 음성을 음성 인식 수단(32)으로 출력되고, 상기 음성 인식 수단(32)은 입력되는 음성을 인식하여 제어부(110)로 출력한다.In addition, the voice input in real time to the audio input unit 31 is output to the voice recognition means 32, the voice recognition means 32 recognizes the input voice and outputs it to the control unit 110.

마찬가지로, 상기 제어부(110)는 상기 인식된 음성을 이용하여 그 인식된 음성 정보가 등록되어 있는지 메모리부(40)의 데이터 베이스를 검색하고 그 음성에 대응되어 저장된 멀티미디어 데이터를 검출한다. Similarly, the controller 110 searches the database of the memory unit 40 to determine whether the recognized voice information is registered by using the recognized voice and detects multimedia data stored corresponding to the voice.

상기와 같이 검출된 멀티미디어 데이터는 디코더부(50)를 통해 디코딩되어 동영상 합성부(60)로 출력된다The multimedia data detected as described above is decoded through the decoder 50 and output to the video synthesizing unit 60.

여기서 디코더부(50)는 합성을 위해 메모리(40)에 저장된 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더부를 포함할 수 있으며, 단말기를 이용하여 합성할 수 있는 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동 영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예: AAC, QCELP 등) 등의 모든 멀티미디어 데이터를 디코딩할 수 있다.Here, the decoder unit 50 may include a separate multimedia decoder unit for decoding only multimedia data stored in the memory 40 for synthesis, and graphics that can be synthesized by using a terminal (eg, AGIF, SVG, Flast, etc.) All multimedia data such as, images (e.g. JPEG, BMP, etc.), movies (e.g. MPEG4, H.263, H.264, etc.), text (e.g. Text, etc.), audio (e.g. AAC, QCELP, etc.) Can be decoded.

상기 동영상 합성부(60)는 디코딩된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하여 디스플레이부(70) 및 오디오 출력부(80)로 출력하고 이를 통해 합성된 화상 데이터를 확인할 수 있다. The video synthesizing unit 60 may synthesize the decoded multimedia data with the image data input in real time and output the synthesized multimedia data to the display unit 70 and the audio output unit 80 to confirm the synthesized image data.

또한 인코더부(90)에서는 상기 합성된 화상 데이터를 압축하여 송수신부(100)를 통해 상대방 단말기에 전송하게 된다.In addition, the encoder unit 90 compresses the synthesized image data and transmits the synthesized image data to the counterpart terminal through the transceiver unit 100.

상기 제어부(110)는 단말기 각 부의 동작을 전반적으로 제어하며 키 입력부(11)를 통해 입력되는 문자 정보와, 카메라(21)를 통해 입력되는 사용자의 움직임 정보와, 동작 검출 센서(22)를 통해 입력되는 단말기의 움직임 정보와, 오디오 입력부(31)로 입력되는 음성 정보 중 어느 하나 이상의 정보가 인식되도록 문자 인식 수단(12), 동작 인식 수단(23), 음성인식 수단(32)을 제어하고, 메모리부(40)에서 상기 인식된 정보가 등록되어 있는지 검색하여 그 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부(60)를 통해 실시간 입력되는 화상 데이터와 합성되도록 제어한다.The control unit 110 controls the operation of each unit of the overall and through the text information input through the key input unit 11, the user's motion information input through the camera 21, and through the motion detection sensor 22 Controlling the text recognition means 12, the motion recognition means 23, and the voice recognition means 32 so that any one or more information of the movement information of the input terminal and the voice information input to the audio input unit 31 is recognized, The memory unit 40 searches whether the recognized information is registered, detects the corresponding stored multimedia data, and controls the synthesized image to be combined with image data input in real time through the video synthesizing unit 60.

예를 들면, 사용자는 미리 카메라(21)를 통해 손을 좌우로 흔드는 동작을 인식시켜 등록하고 상기 동작에 대응하여 손을 흔드는 모습의 캐릭터를 저장한다.For example, the user recognizes and registers an action of shaking a hand from side to side through the camera 21 in advance, and stores a character of a state of waving a hand in response to the action.

이후, 화상 통화시 카메라(21)를 통해 사용자가 손을 흔드는 동작을 취하면 동작 인식 수단(23)에서는 이를 인식하여 제어부(110)로 출력하고, 제어부(110)는 상기 인식된 정보를 이용하여 메모리부(40)에 미리 인식시킨 동작 정보를 검색하고 그와 함께 대응되어 저장된 손을 흔드는 모습의 캐릭터를 검출하게 된다.Subsequently, when the user shakes his hand through the camera 21 during the video call, the gesture recognition unit 23 recognizes the motion and outputs it to the controller 110, and the controller 110 uses the recognized information. The motion information pre-recognized in the memory unit 40 is searched for and the character of the figure shaking the stored hand corresponding thereto is detected.

동시에 카메라(21)를 통해 입력되는 사용자가 손을 흔드는 화상 데이터는 카메라의 입력버퍼에 저장되고 상기 검출된 캐릭터는 디코더부(50)에서 디코딩된다.At the same time, the image data waving by the user input through the camera 21 is stored in the input buffer of the camera and the detected character is decoded by the decoder unit 50.

이때 상기 입력버퍼에 저장되어 있는 실시간 입력되는 화상 데이터와 상기 디코딩된 캐릭터는 동영상 합성부(60)를 통해 합성되며 이를 디스플레이부(70)와 오디오 출력부(80)로 출력하여 합성된 화상 데이터를 확인할 수 있으며, 인코더부(90)를 통해 합성된 화상 데이터를 압축하고 송수신부(100)를 통해 실시간 전송 또는 메모리부(40)에 저장된다.In this case, the real-time input image data and the decoded character stored in the input buffer are synthesized through the video synthesizing unit 60 and outputted to the display unit 70 and the audio output unit 80 to synthesize the synthesized image data. The image data synthesized through the encoder unit 90 may be compressed and stored in the real-time transmission or the memory unit 40 through the transceiver unit 100.

또한 전술한 바와 같이, 화상 통화시 입력되는 음성 또는 단말기 움직임 정보를 입력받아 이를 인식하고 그 인식된 정보에 의해 메모리(40)에 미리 등록되어 있는 해당하는 음성 또는 단말기의 움직임에 대응되어 저장되어 있는 멀티미디어 데이터를 검출하여 실시간으로 입력되는 화상 데이터에 합성할 수 있다.In addition, as described above, the voice or terminal movement information input during the video call is received and recognized and stored in correspondence with the movement of the corresponding voice or terminal registered in advance in the memory 40 by the recognized information. The multimedia data can be detected and synthesized into image data input in real time.

따라서 사용자가 손을 흔드는 동작을 취할 때, 상기 손을 흔드는 모습의 캐릭터가 단말기 화면의 소정의 위치에 실시간으로 표시됨으로써 화상 통화시 재미를 유발시킬 수 있다. 여기서 상기 캐릭터의 크기 및 위치는 변경될 수 있다.Therefore, when the user shakes hands, the waving character is displayed in a predetermined position on the terminal screen in real time, thereby causing fun during a video call. Here, the size and position of the character may be changed.

도 2는 본 발명의 실시 예에 따른 동작 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트이다.2 is a flowchart illustrating a method of synthesizing image data using motion recognition according to an exemplary embodiment of the present invention.

도2를 참조하면, 카메라(21)를 통해 실시간으로 영상이 입력되면(S11), 상기 영상을 카메라 입력버퍼에 저장한다(S12).Referring to FIG. 2, when an image is input in real time through the camera 21 (S11), the image is stored in the camera input buffer (S12).

이때, 동작인식 수단(23)에서는 영상의 움직임을 인식하고(S13), 상기 인식 된 움직임 정보를 이용하여 메모리부(40)의 데이터 베이스에 인식될 움직임 정보가 등록되어 있는지 검색하고, 상기 검색된 움직임 정보와 함께 대응되어 저장된 멀티미디어 데이터를 검출한다(S14).At this time, the motion recognition means 23 recognizes the motion of the image (S13), searches whether the motion information to be recognized in the database of the memory unit 40 is registered using the recognized motion information, and the searched motion Corresponding with the information is detected (S14).

이후, 상기 검출된 멀티미디어 데이터를 디코딩하여(S15), 상기 입력버퍼에 저장되어 있는 실시간 영상과 자동으로 합성하고(S16), 상기 합성된 멀티미디어 데이터는 인코더부(90)를 통해 압축되어(S17), 실시간 전송 또는 사용자 단말기에 저장된다(S18).Thereafter, the detected multimedia data is decoded (S15), and automatically synthesized with the real-time image stored in the input buffer (S16), and the synthesized multimedia data is compressed through the encoder unit 90 (S17). , Real time transmission or stored in the user terminal (S18).

예를 들면, 동영상 압축 표준인 MPEG4로 압축하고 상대방에게 실시간 전송하여 화상 통화시 사용자의 영상과 함께 멀티미디어 데이터가 표시되도록 하거나 사용자 단말기에 저장할 수 있다.For example, it may be compressed to MPEG4, which is a video compression standard, and transmitted to the other party in real time so that multimedia data is displayed along with the user's video during a video call or stored in the user terminal.

여기서, 상기 멀티미디어 데이터는 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예: AAC, QCELP 등) 등을 포함할 수 있으며, 인터넷을 통해 다운로드 하거나 상기 멀티미디어 데이터를 제공하는 사업자가 있으면 사업자로부터 구매하여 사용할 수 있다.Here, the multimedia data may include graphics (eg, AGIF, SVG, Flast, etc.), images (eg, JPEG, BMP, etc.), video (eg, MPEG4, H.263, H.264, etc.), text (eg, Text, etc.). ), Audio (eg, AAC, QCELP, etc.) may be included. If there is a service provider who downloads through the Internet or provides the multimedia data, the service provider may purchase and use the service provider.

또한 상기 멀티미디어 데이터는 실시간 영상과 합성되도록 사용자가 소정의 동작을 미리 등록하고 그 동작에 대응되는 적어도 하나 이상의 멀티미디어 데이터를 저장하여, 예를 들면 인식된 동작에 대응하여 저장되어 있는 음악을 배경음악으로 삽입함과 동시에 움직이는 캐릭터 등을 실시간 입력되는 화상 데이터에 자동으로 삽입 및 합성시킬 수 있다. In addition, the multimedia data is registered by a user in advance to synthesize the real-time video and stores at least one or more multimedia data corresponding to the operation, for example, music stored in response to the recognized operation as a background music Simultaneously inserting and moving characters can be automatically inserted and synthesized into real-time input image data.

또한 사용자는 상기 멀티미디어 데이터가 합성되어 화면에 표시될 위치 및 크기 등을 미리 등록 또는 수정할 수 있으며 별도의 폴더를 생성하여 멀티미디어 데이터를 저장하여 관리할 수 있다.In addition, the user may register or modify the location and size of the multimedia data to be displayed on the screen in advance, and may store and manage the multimedia data by creating a separate folder.

도 3은 본 발명의 실시 예에 따른 음성 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트이다.3 is a flowchart illustrating a method of synthesizing image data using speech recognition according to an exemplary embodiment of the present invention.

도 3을 참조하면, 카메라(21)를 통해 실시간으로 영상이 입력되고(S21), 상기 입력되는 영상을 카메라 입력버퍼에 저장하고(S22), 동시에 오디오 입력부(31)를 통해서는 실시간으로 음성이 입력되고(S31), 상기 실시간 입력되는 음성을 오디오 버퍼에 저장한다(S32).Referring to FIG. 3, an image is input in real time through the camera 21 (S21), the input image is stored in the camera input buffer (S22), and at the same time, the audio is input in real time through the audio input unit 31. In operation S31, the real-time input voice is stored in an audio buffer in operation S32.

이때, 음성 인식 수단(32)에서는 입력되는 음성을 인식하고, 상기 인식된 음성이 메모리부(40)의 데이터 베이스에 등록되어 있는지 검색하고, 음성이 검색되면 그 음성과 함께 대응되어 저장된 멀티미디어 데이터를 검출한다(S33).At this time, the voice recognition unit 32 recognizes the input voice, searches whether the recognized voice is registered in the database of the memory unit 40, and if the voice is retrieved, stores the multimedia data correspondingly with the voice. It is detected (S33).

상기 검출된 멀티미디어 데이터를 디코딩하여(S34), 상기 입력버퍼에 저장되어 있는 실시간 영상과 자동으로 합성하고(S23), 상기 합성된 멀티미디어 데이터는 인코더부(90)를 통해 압축되어(S24), 실시간 전송 또는 사용자 단말기에 저장된다(S25).The detected multimedia data is decoded (S34), and automatically synthesized with the real-time image stored in the input buffer (S23). The synthesized multimedia data is compressed through the encoder unit 90 (S24), and the real-time. It is transmitted or stored in the user terminal (S25).

또한 다른 실시 예로 화상 통화시 실시간 입력되는 문자를 인식하여 메모리부(40)의 데이터 베이스에 미리 인식되도록 등록된 문자를 검색하고 그 대응되어 저장되어 있는 멀티미디어 데이터를 검출하여 화상 데이터와 실시간으로 합성할 수 있다.In another embodiment, a character inputted in real time during a video call is recognized to search for a character registered to be recognized in advance in a database of the memory unit 40, and the multimedia data stored therein is detected to be synthesized in real time with the image data. Can be.

다음으로 전술한 동작 인식과 음성 인식 방법을 통해 화상 데이터와 멀티미디어 데이터를 합성하는 방법을 이동통신 단말기에 디스플레이 되는 화면을 예로 들어 자세히 설명한다.Next, a method of synthesizing image data and multimedia data through the above-described motion recognition and voice recognition method will be described in detail with reference to a screen displayed on a mobile communication terminal as an example.

도 4는 본 발명의 실시 예에 따른 움직이는 캐릭터를 나타내는 도면이며, 도 5는 본 발명의 실시 예에 따른 동작 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면이며, 도 6은 본 발명의 실시 예에 따른 음성 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면이다.4 is a view showing a moving character according to an embodiment of the present invention, Figure 5 is a view showing a screen for registering the motion recognition and multimedia data according to an embodiment of the present invention, Figure 6 is an embodiment of the present invention FIG. 7 is a diagram illustrating a screen for registering voice recognition and multimedia data. FIG.

도 5를 참조하면, 사용자는 단말기의 화면(121)에서 메뉴 버튼(121-1)을 눌러 아이콘으로 디스플레이되는 세부 메뉴 화면(122)에서 카메라 관련 메뉴(122-1)를 선택한다.Referring to FIG. 5, a user selects a camera related menu 122-1 on a detailed menu screen 122 displayed as an icon by pressing a menu button 121-1 on a screen 121 of a terminal.

이후 카메라 관련 메뉴가 목록 메뉴 화면(123)으로 상세히 디스플레이 되면, 그 목록에서 캐릭터를 등록 및 수정할 수 있는 메뉴를 선택한다. After the menu related to the camera is displayed in detail on the list menu screen 123, a menu for registering and modifying a character is selected from the list.

즉, 도 4의 움직이는 캐릭터에서 화상 데이터에 합성시킬 하트 캐릭터(120)를 선택하여 등록된 모습을 화면(124)으로 확인할 수 있으며, 상기 등록된 하트 캐릭터(120)를 다시 선택하면, 상기 하트 캐릭터(120)의 위치를 변경할 수 있는 화면(125)이 디스플레이 된다.That is, the registered state can be confirmed by selecting the heart character 120 to be synthesized with the image data in the moving character of FIG. 4 on the screen 124. When the registered heart character 120 is selected again, the heart character is selected. A screen 125 for changing the position of 120 is displayed.

이때 사용자는 키 입력부(11)에 포함된 방향키 등을 이용하여 하트 캐릭터(120)의 위치를 이동시키고 이를 화면(126)으로 확인할 수 있으며 저장 버튼을 눌러 저장한다.At this time, the user can move the position of the heart character 120 using the direction key included in the key input unit 11 and confirm it with the screen 126 and press the save button to save it.

이후 상기 하트 캐릭터(120)의 크기를 변경할 수 있는 화면(127)이 디스플레 이 되어 하트 캐릭터(120)의 크기를 변경할 수 있으며 크기 변경 후 동작 등록 버튼(127-1)을 누른다.Thereafter, the screen 127 for changing the size of the heart character 120 is displayed to change the size of the heart character 120. After the size change, the operation registration button 127-1 is pressed.

이후 동작 관련 목록 화면(128)이 디스플레이 되고, 사용자는 상기 목록(128-1~128-3)중에서 어느 하나 이상을 선택하여 상기 하트 캐릭터(120)를 검출하여 합성되도록 하는 동작을 선택하게 된다.Thereafter, the operation related list screen 128 is displayed, and the user selects one or more of the lists 128-1 to 128-3 to select an operation to detect and synthesize the heart character 120.

자세히 설명하면, '핸드폰을 좌우로 흔든다'(128-1)라는 메뉴를 선택하여 상기 하트 캐릭터(120)를 저장하면, 화상 통화시 동작 검출 센서(22)를 통해 단말기의 좌우 움직임이 감지되면 이를 동작 인식 수단(23)으로 출력하고, 메모리부(40)에 미리 등록된 핸드폰을 좌우로 흔드는 움직임 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.In detail, if the user selects the menu 'Shake the mobile phone left and right' (128-1) and stores the heart character 120, if the left and right movements of the terminal are detected through the motion detection sensor 22 during a video call, It outputs to the motion recognition means 23, retrieves the motion information to shake the mobile phone registered in advance in the memory 40 to the left and right, detects the correspondingly stored heart character 120, and automatically synthesizes the image data input in real time. Done.

또한 '카메라에서 손을 좌우로 흔든다'(128-3)라는 메뉴를 선택하여 상기 하트 캐릭터(120)를 저장한다고 하면, 화상 통화시 카메라(21)를 통해 입력되는 사용자의 손을 좌우로 흔드는 움직임을 인식하여 이를 동작 인식 수단(23)으로 출력하고, 메모리부(40)에 미리 등록된 손을 좌우로 흔드는 움직임 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.In addition, if the user selects a menu of 'shake his hand from side to side' (128-3) to store the heart character 120, the user shakes his / her hand left and right through the camera 21 during a video call. Image data to be recognized and outputted to the motion recognition means 23, the motion information for shaking the hand registered in advance in the memory 40 to the left and right, the corresponding detected heart character 120 is detected, and inputted in real time. Will be automatically synthesized in.

여기서 동작 인식을 위한 상기 움직임 정보들은 사용자가 임의로 등록하여 설정하거나, 단말기 구매시 인식될 동작을 미리 등록시켜 출시하고 사용자가 그 동작에 대응되는 멀티미디어 데이터만을 저장하게 할 수 있다.In this case, the motion information for motion recognition may be registered and set by a user at random, or may be pre-registered to be released when a user purchases a terminal, and the user may store only multimedia data corresponding to the motion.

또한 도 6과 같이 음성 인식을 통한 화상 데이터 방법은 전술한 동작 인식과 동일한 화면을 거쳐 하트 캐릭터(120)를 선택하여 화면에 표시될 위치 및 크기를 변경하고 음성 등록 메뉴(127-2)를 누른다.In addition, as shown in FIG. 6, the image data method through voice recognition selects the heart character 120 through the same screen as the above-described motion recognition, changes the position and size to be displayed on the screen, and presses the voice registration menu 127-2. .

이후 음성 등록 화면(138)이 디스플레이 되고, 사용자는 상기 캐릭터가 검출될 수 있도록 원하는 음성을 녹음한다.The voice registration screen 138 is then displayed, and the user records the desired voice so that the character can be detected.

자세히 설명하면, 상기 음성 등록 화면(138)에서 하트 캐릭터(120)에 해당하는 음성을 "사랑해"라는 음성으로 녹음하여 저장하면, 화상 통화시 오디오 입력부(31)를 통해 "사랑해"라는 음성이 입력되면 음성 인식 수단(32)에서는 이를 인식하여, 메모리부(40)에 미리 등록된 "사랑해"라는 음성 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.In detail, if the voice corresponding to the heart character 120 is recorded and stored in the voice registration screen 138 as a voice of "I love you", a voice of "I love you" is input through the audio input unit 31 during a video call. When the voice recognition unit 32 recognizes the voice information, the voice recognition unit 32 retrieves the voice information "I love you" registered in advance in the memory unit 40, detects the correspondingly stored heart character 120, and automatically inputs the image data input in real time. Will be synthesized.

또한 다른 실시 예로서, 인식될 문자를 미리 등록하고 그 대응되는 멀티미디어 데이터를 저장하고, 화상 통화시 키 입력부(11)를 통해 해당하는 문자가 입력되면 그 대응되는 멀티미디어 데이터를 검출하여 화상 데이터와 자동으로 합성할 수 있다.In another embodiment, a character to be recognized is registered in advance, and corresponding multimedia data is stored in advance, and when a corresponding character is input through the key input unit 11 during a video call, the corresponding multimedia data is detected and automatically displayed. Can be synthesized.

예를 들면, 인식되기 원하는 "사랑"이라는 문자를 등록하고 그 대응되는 멀티미디어 데이터를 하트 캐릭터로 저장한다.For example, a character "love" is desired to be recognized, and the corresponding multimedia data is stored as a heart character.

이후, 화상 통화시 키 입력부(11)를 통해 "사랑"이라는 문자를 실시간으로 입력하면 문자 검출 수단(12)에서는 이를 인식하여 메모리부(40)에 미리 등록되어 있는 "사랑"이라는 문자를 검색하고 그 대응하여 저장된 하트 캐릭터를 실시간 입 력되는 화상 데이터에 자동으로 합성하여 표시되도록 한다.Subsequently, when a character called "love" is input in real time through the key input unit 11 during a video call, the character detecting unit 12 recognizes this and searches for the character "love" previously registered in the memory unit 40. Correspondingly, the stored heart character is automatically synthesized and displayed on the image data input in real time.

또한 전술한 움직임, 음성, 문자 인식 정보를 등록하고 그 대응되는 멀티미디어 데이터를 하나 이상 저장하여 복수의 멀티미디어 데이터가 화상 데이터에 합성되도록 할 수 있다.In addition, the above-described motion, voice, and text recognition information may be registered and one or more corresponding multimedia data may be stored so that the plurality of multimedia data may be synthesized with the image data.

예를 들면, "사랑해"이라는 음성이 인식될 때 하트 캐릭터를 합성함과 동시에 Perhaps love 라는 음악을 삽입하여 화상 데이터를 전송할 수 있다.For example, when a voice of "I love you" is recognized, image data can be transmitted by synthesizing a heart character and inserting music called Perhaps love.

도 7은 본 발명의 실시 예예 따른 화상 통화 화면을 보여주는 도면이다. 7 is a diagram illustrating a video call screen according to an embodiment of the present invention.

도 7을 참조하면, 화상 통화시 발신자의 화상 데이터(141)와 수신자의 화상 데이터(142)가 동시에 표시되는 화면을 보여주고 있으며, 상기 화면이 수신자의 단말기에 표시되는 화면이라고 하면, 화상 통화시 발신자가 "사랑해" 라고 말을 하면 발신자 단말기에서는 상기 음성을 인식하여 등록되어 있는 "사랑해" 라는 음성을 검색하고 그 대응하는 하트 캐릭터를 검출하여 화상 데이터에 자동으로 합성하여 수신자 단말기로 전송함으로써 하트 캐릭터가 합성된 발신자의 화상 데이터(141)가 수신자 단말기의 화면에 출력되게 된다.Referring to FIG. 7, a screen is displayed in which a caller's video data 141 and a receiver's video data 142 are simultaneously displayed, and the screen is displayed on a receiver's terminal. When the caller says "I love you", the caller terminal recognizes the voice, searches for the registered voice "I love you", detects the corresponding heart character, automatically synthesizes the image data, and transmits it to the receiver terminal. The synthesized sender's image data 141 is output on the screen of the receiver terminal.

또한 도 7의 화면은 발신자 단말기의 화면에도 표시되어 합성되어 전송된 화상 데이터를 발신자가 확인할 수 있다.In addition, the screen of FIG. 7 is displayed on the screen of the caller terminal so that the caller can confirm the image data transmitted by combining.

또한 이동통신 단말기에 제한되지 않고 동영상을 녹화할 수 있는 캠코더(camcorder)등의 영상 촬영 수단에 적용하여 별도의 편집없이 자동적으로 독창적인 동영상을 제작할 수 있다.In addition, it is possible to produce an original video automatically without additional editing by applying to a video recording means such as a camcorder (camcorder) that can record a video without being limited to a mobile communication terminal.

이와 같이, 본 발명은 화상 통화시 또는 동영상 녹화시 동작, 음성, 문자 등 의 데이터 중 어느 하나 이상을 인식하고 그 대응되는 멀티미디어 데이터를 검출하여 영상 데이터와 합성되도록 함으로써 사용자에게 다양한 서비스를 제공할 수 있는 장점이 있다.As described above, the present invention can provide various services to the user by recognizing any one or more of data such as an operation, voice, text, etc. during video call or video recording, and detecting corresponding multimedia data to be synthesized with the video data. There is an advantage.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments, and those skilled in the art to which the present invention pertains may implement embodiments of the present invention in a different form from the detailed description of the present invention within the essential technical scope of the present invention. Could be. Here, the essential technical scope of the present invention is shown in the claims, and all differences within the equivalent range will be construed as being included in the present invention.

본 발명에 따른 멀티미디어 합성 방법 및 이를 이용한 단말기에 의하면, 입력되는 동작, 음성, 문자 등의 데이터 중 어느 하나 이상을 인식하고 그 대응되는 멀티미디어 데이터를 검출하여 실시간 화상 데이터와 합성되도록 함으로써 사용자에게 다양한 서비스를 제공할 수 있는 효과가 있다.According to a multimedia synthesis method and a terminal using the same, various services are provided to a user by recognizing any one or more of input data, voice, text, and the like, and detecting corresponding multimedia data to be synthesized with real-time image data. There is an effect that can provide.

또한 캠코더(camcorder)등의 영상 촬영 수단에 적용하여 별도의 편집없이 자동적으로 독창적인 동영상을 제작할 수 있는 효과가 있다.In addition, by applying to a video recording means such as a camcorder (camcorder) there is an effect that can produce an original video automatically without additional editing.

Claims (18)

입력되는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 어느 하나 이상의 정보를 인식하는 단계;Recognizing at least one or more pieces of input motion information, motion information of a terminal, voice information, and text information; 상기 인식된 정보를 이용하여 데이터 베이스를 검색하고 인식된 정보에 대응되어 저장된 멀티미디어 데이터를 검출하는 단계;Searching a database using the recognized information and detecting multimedia data stored corresponding to the recognized information; 상기 검출된 멀티미디어 데이터를 실시간 입력되는 동영상 데이터에 자동으로 합성하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 합성 방법. And automatically synthesizing the detected multimedia data into video data input in real time. 제 1항에 있어서, The method of claim 1, 상기 합성된 화상 데이터를 압축하여 실시간으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 합성 방법.And compressing the synthesized image data and transmitting the compressed image data in real time. 제 1항에 있어서, The method of claim 1, 상기 멀티미디어 데이터는 그래픽, 이미지, 동영상, 문자, 오디오 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 멀티미디어 합성 방법.The multimedia data comprises at least one of graphics, images, moving pictures, text, audio information. 제 1항에 있어서, The method of claim 1, 상기 데이터 베이스는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 하나 이상의 인식될 정보를 미리 등록하고 그에 대응하는 멀티미디어 데이터를 저장하여 생성되는 것을 특징으로 하는 멀티미디어 합성 방법.The database may be generated by registering at least one or more information to be recognized among motion information of a thing, motion information of a terminal, voice information, and text information, and storing multimedia data corresponding thereto. 제 1항에 있어서, The method of claim 1, 상기 멀티미디어 데이터의 크기와 위치를 변경할 수 있는 것을 특징으로 하는 멀티미디어 합성 방법.Multimedia synthesis method characterized in that the size and position of the multimedia data can be changed. 삭제delete 삭제delete 제 1항에 있어서, The method of claim 1, 상기 데이터 중 적어도 어느 하나 이상이 인식되도록 선택 가능한 것을 특징으로 하는 멀티미디어 합성방법. And at least one of the data can be selected to be recognized. 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상의 데이터를 입력받아 이를 인식하는 동작 인식 모듈과;A motion recognition module that receives any one or more pieces of data of the motion data and the motion data of the terminal and recognizes the received data; 상기 인식된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;A moving picture synthesizing unit for synthesizing the stored multimedia data corresponding to the recognized motion data with image data input in real time; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.And a controller for searching whether the motion data recognized by the motion recognition module is registered in the database, and detecting the multimedia data stored in correspondence with the searched motion data to be synthesized through the video synthesizing unit. . 제 9항에 있어서, The method of claim 9, 상기 동작 인식 모듈은 사물의 움직임 데이터를 입력받는 카메라와; The motion recognition module may include a camera configured to receive motion data of an object; 단말기의 움직임 데이터를 입력받는 동작 검출 센서와;A motion detection sensor receiving motion data of the terminal; 상기 카메라와 동작검출 센서의 움직임 데이터를 입력받아 움직임 동작을 인 식하는 동작 인식 수단을 포함하는 것을 특징으로 하는 단말기.And motion recognition means for receiving motion data of the camera and the motion detection sensor to recognize a motion motion. 음성 데이터를 입력받고 이를 인식하는 음성 인식 모듈과; A voice recognition module which receives voice data and recognizes the voice data; 상기 인식된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;A moving picture synthesizing unit for synthesizing the stored multimedia data corresponding to the recognized voice data with image data input in real time; 상기 음성 인식 모듈을 통해 인식된 음성 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.And a controller configured to search whether the voice data recognized by the voice recognition module is registered in the database, detect the multimedia data stored in correspondence with the searched voice data, and synthesize the synthesized data through the video synthesizer. . 제 11항에 있어서, The method of claim 11, 상기 음성 인식 모듈은 음성 데이터를 입력받는 오디오 입력부와; The voice recognition module includes an audio input unit for receiving voice data; 상기 음성 데이터를 입력받아 음성을 인식하는 음성 인식 수단을 포함하는 것을 특징으로 하는 단말기.And voice recognition means for receiving the voice data and recognizing the voice. 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; A text recognition module which receives text data and recognizes the text data; 상기 인식된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;A moving picture synthesizing unit for synthesizing the multimedia data stored corresponding to the recognized text data with image data input in real time; 상기 문자 인식 모듈을 통해 인식된 문자 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.And a controller for searching whether the text data recognized through the text recognition module is registered in the database, and detecting the multimedia data stored in correspondence with the searched text data to be synthesized through the video synthesizing unit. . 제 13항에 있어서,The method of claim 13, 상기 문자 인식 모듈은 문자를 입력하는 키 입력부와;The character recognition module includes a key input unit for inputting a character; 상기 문자를 입력받아 문자를 인식하는 문자 검출 수단을 포함하는 것을 특징으로 하는 단말기.And a character detecting means for receiving the character and recognizing the character. 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상을 입력받아 이를 인식하는 동작 인식 모듈과;A motion recognition module which receives any one or more of motion data of a thing and motion data of a terminal and recognizes the motion data; 음성 데이터를 입력받아 이를 인식하는 음성 인식 모듈과; A voice recognition module which receives voice data and recognizes the voice data; 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; A text recognition module which receives text data and recognizes the text data; 상기 인식된 데이터와 대응하여 저장된 멀티미디어 데이터와 실시간 입력되는 화상 데이터를 합성하는 동영상 합성부와;A moving picture synthesizing unit for synthesizing the stored multimedia data and the real-time input image data corresponding to the recognized data; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터와 음성 인식 모듈을 통해 인식된 음성 데이터과 문자 인식 모듈을 통해 인식된 문자 데이터 중 적어도 어느 하나 이상의 데이터가 데이터 베이스에 등록되어 있는지 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.Search for whether at least one or more of the motion data recognized by the motion recognition module, the voice data recognized by the voice recognition module, and the text data recognized by the text recognition module are registered in the database, and the multimedia data stored corresponding thereto. And a controller configured to detect and control the synthesized video through the video synthesizer. 제 15항에 있어서,The method of claim 15, 상기 인식될 데이터를 미리 등록하고 그 대응하는 멀티미디어 데이터를 함께 저장하는 메모리를 더 포함하는 것을 특징으로 하는 단말기.And a memory which registers the data to be recognized in advance and stores corresponding multimedia data together. 제 15항에 있어서,The method of claim 15, 상기 합성을 위해 멀티미디어 데이터를 디코딩하는 디코더와; A decoder for decoding multimedia data for the synthesis; 상기 디코딩된 멀티미디어 데이터와 실시간 입력되는 데이터를 합성하여 생성된 화상 데이터를 압축하는 인코더부와; An encoder unit for compressing image data generated by synthesizing the decoded multimedia data and real-time input data; 상기 압축된 화상 데이터를 전송하는 송수신부를 더 포함하는 것을 특징으로 하는 단말기.And a transceiver for transmitting the compressed image data. 제 15항에 있어서,The method of claim 15, 상기 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더를 더 포함하는 것을 특징으로 하는 단말기.And a separate multimedia decoder for decoding only the multimedia data.
KR1020060046751A 2006-05-24 2006-05-24 Method for multimedia synthesis and terminal using the same KR100775190B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060046751A KR100775190B1 (en) 2006-05-24 2006-05-24 Method for multimedia synthesis and terminal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060046751A KR100775190B1 (en) 2006-05-24 2006-05-24 Method for multimedia synthesis and terminal using the same

Publications (1)

Publication Number Publication Date
KR100775190B1 true KR100775190B1 (en) 2007-11-12

Family

ID=39061622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060046751A KR100775190B1 (en) 2006-05-24 2006-05-24 Method for multimedia synthesis and terminal using the same

Country Status (1)

Country Link
KR (1) KR100775190B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031800A (en) * 2008-07-15 2017-03-21 임머숀 코퍼레이션 Systems and methods for transmitting haptic messages

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234639A (en) 1998-02-17 1999-08-27 Matsushita Electric Ind Co Ltd Video telephone set
KR20040110875A (en) * 2003-06-20 2004-12-31 엘지전자 주식회사 Method for expressing user's feeling of video telephony
KR20050001149A (en) * 2003-06-27 2005-01-06 주식회사 팬택 Mobile station with image creating function
KR20050005091A (en) * 2003-07-01 2005-01-13 엘지전자 주식회사 Image telephone terminal and method for transmitting an image using the same
JP2005079882A (en) 2003-08-29 2005-03-24 Sega Corp Dynamic image two-way communication terminal, video-phone system, and computer program
JP2006005440A (en) 2004-06-15 2006-01-05 Sony Corp Speech transmission and reception method and speech terminal
KR20060022494A (en) * 2004-09-07 2006-03-10 엘지전자 주식회사 Video effect provide apparatus for mobile station at video telephony and the method of the same
KR20060098151A (en) * 2005-03-10 2006-09-18 김화진 Hand phone real-time image transmission method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234639A (en) 1998-02-17 1999-08-27 Matsushita Electric Ind Co Ltd Video telephone set
KR20040110875A (en) * 2003-06-20 2004-12-31 엘지전자 주식회사 Method for expressing user's feeling of video telephony
KR20050001149A (en) * 2003-06-27 2005-01-06 주식회사 팬택 Mobile station with image creating function
KR20050005091A (en) * 2003-07-01 2005-01-13 엘지전자 주식회사 Image telephone terminal and method for transmitting an image using the same
JP2005079882A (en) 2003-08-29 2005-03-24 Sega Corp Dynamic image two-way communication terminal, video-phone system, and computer program
JP2006005440A (en) 2004-06-15 2006-01-05 Sony Corp Speech transmission and reception method and speech terminal
KR20060022494A (en) * 2004-09-07 2006-03-10 엘지전자 주식회사 Video effect provide apparatus for mobile station at video telephony and the method of the same
KR20060098151A (en) * 2005-03-10 2006-09-18 김화진 Hand phone real-time image transmission method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031800A (en) * 2008-07-15 2017-03-21 임머숀 코퍼레이션 Systems and methods for transmitting haptic messages
US9612662B2 (en) 2008-07-15 2017-04-04 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US9785238B2 (en) 2008-07-15 2017-10-10 Immersion Corporation Systems and methods for transmitting haptic messages
KR20180051675A (en) * 2008-07-15 2018-05-16 임머숀 코퍼레이션 Systems and methods for transmitting haptic messages
US10019061B2 (en) 2008-07-15 2018-07-10 Immersion Corporation Systems and methods for haptic message transmission
US10203756B2 (en) 2008-07-15 2019-02-12 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US10248203B2 (en) 2008-07-15 2019-04-02 Immersion Corporation Systems and methods for physics-based tactile messaging
US10416775B2 (en) 2008-07-15 2019-09-17 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
KR102045128B1 (en) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 Systems and methods for transmitting haptic messages
KR102045165B1 (en) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 Systems and methods for transmitting haptic messages

Similar Documents

Publication Publication Date Title
US10325394B2 (en) Mobile communication terminal and data input method
KR100816286B1 (en) Display apparatus and support method using the portable terminal and the external device
CN104866264B (en) Mobile terminal, display equipment and its control method
CN106488251B (en) Realize the method and device, main broadcaster's client and user client for connecting wheat in live streaming
US20110039598A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
KR100678206B1 (en) Method for displaying emotion in video telephone mode of wireless terminal
WO2011019467A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
CN103945065A (en) Message reminding method and device
CN108270661A (en) The method, apparatus and equipment of a kind of information-reply
JP2003143257A (en) Mobile phone, mobile terminal, control program for the mobile phone, and control program for the mobile terminal
KR100775190B1 (en) Method for multimedia synthesis and terminal using the same
JP2007089025A (en) Information processing apparatus for viewing content during speech, information processing method and program therefor
CN105100946A (en) Video communication method and apparatus
JP3641631B2 (en) Mobile phone device, control method for mobile phone device, control program for mobile phone device, and computer-readable recording medium recording control program for mobile phone device
JP4296976B2 (en) Communication terminal device
JP4047834B2 (en) Portable information terminal
KR100703333B1 (en) Method for multi media message transmitting and receiving in wireless terminal
KR20080032751A (en) Method of creating moving pictures and method of offering contents in portable terminal
CN112804440B (en) Method, device and medium for processing image
KR100724965B1 (en) Mobile communication terminal and a method for outputting image using that
KR101364844B1 (en) Mobile communication terminal with video call function and method of controlling the same
KR100596001B1 (en) A method for providing contents with a user terminal and a system thereof
JP3589702B2 (en) Communication terminal device
KR101023301B1 (en) Method for sending and editing mp3 file in wireless terminal
CN101185320A (en) Image display system, terminal device, image display method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100929

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee