KR20090090861A - Apparatus and method for voice processing in mobile communication terminal - Google Patents

Apparatus and method for voice processing in mobile communication terminal Download PDF

Info

Publication number
KR20090090861A
KR20090090861A KR1020080016382A KR20080016382A KR20090090861A KR 20090090861 A KR20090090861 A KR 20090090861A KR 1020080016382 A KR1020080016382 A KR 1020080016382A KR 20080016382 A KR20080016382 A KR 20080016382A KR 20090090861 A KR20090090861 A KR 20090090861A
Authority
KR
South Korea
Prior art keywords
voice
signal
noise
microphone
processing unit
Prior art date
Application number
KR1020080016382A
Other languages
Korean (ko)
Other versions
KR101450108B1 (en
Inventor
박성수
이상신
유재황
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080016382A priority Critical patent/KR101450108B1/en
Priority to JP2009548173A priority patent/JP4847590B2/en
Priority to US12/525,050 priority patent/US8537977B2/en
Priority to CN200880009418.1A priority patent/CN101641871B/en
Priority to PCT/KR2008/001942 priority patent/WO2008123721A1/en
Publication of KR20090090861A publication Critical patent/KR20090090861A/en
Application granted granted Critical
Publication of KR101450108B1 publication Critical patent/KR101450108B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/62—Constructional arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H04M1/236—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof including keys on side or rear faces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65—Recording arrangements for recording a message from the calling party
    • H04M1/6505—Recording arrangements for recording a message from the calling party storing speech in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

A speech processing unit performing sound recording which a user does not open a mobile communications terminal in a mobile communications terminal and a method thereof are provided to remove ambient noise in the voice communications by using a plurality of microphones. A first microphone is used as a main part micro for the input of the acoustic signal. A second microphone is used as a sub microphone for the input of the acoustic signal. The acoustic signal is input through the first and second microphones and the voice and noises processing unit(20) removes interference. A service selecting unit(50) converts the route of the signal inputted from the voice and noises processing unit. A voice record function processing unit(60) encodes the signal transmitted through the service selecting unit.

Description

이동통신단말기에서의 음성 처리 장치 및 방법{Apparatus and Method for Voice Processing in Mobile Communication Terminal}Apparatus and Method for Voice Processing in Mobile Communication Terminal

본 발명은 이동통신단말기에서의 음성 처리에 관한 것으로, 특히 이동통신단말기에 설치된 복수의 마이크를 이용하여 음성 통화시에 주변 소음으로부터 잡음을 제거하여 양질의 음성 통화를 가능하게 함과 아울러 음성 녹음 및 동영상 촬영시에 해당 마이크의 조합을 통해 원음을 생생하게 녹취할 수 있도록 하는 이동통신단말기에서의 음성 처리 장치 및 방법에 관한 것이다.The present invention relates to voice processing in a mobile communication terminal, and in particular, by using a plurality of microphones installed in the mobile communication terminal to remove noise from ambient noise during a voice call to enable a high quality voice call, as well as voice recording and The present invention relates to a voice processing apparatus and a method of a mobile communication terminal for vividly recording original sound through a combination of a corresponding microphone during video shooting.

일반적으로 음성 통화 서비스를 제공하는 통신기기들은 통화자의 음성을 효과적으로 전달하기 위해 주변 소음을 제거하는 기술들을 반영하고 있다.In general, communication devices providing a voice call service reflect technologies that remove ambient noise to effectively deliver a caller's voice.

종래의 이동통신단말기에서는 음성 통화시에 사용자에게 양질의 통화 음성을 제공하기 위하여 주변 소음 간섭을 제거하는 처리를 수행하는데, 이와 같이 주변 소음 간섭을 제거하는 처리를 수행하는 경우에 단순히 필터를 이용하여 낮은 세기로 입력되는 주변 잡음을 제거하고 상대적으로 높은 세기로 입력되는 음성 신호만을 증폭하여 전송하는 방식으로 처리한다. 그런데, 이와 같은 종래의 주변 잡음 간섭 제거 기술은 단순히 필터를 사용하여 잡음을 제거하므로 기술 구현이 간단하다 는 장점이 있지만, 주변 소음이 큰 지역에서는 주변 잡음 제거시에 음성 신호도 함께 제거하게 되어서 상대방에게 전달되는 통화자 음성 신호가 끊겨져서 들리게 되는 문제점이 있다.The conventional mobile communication terminal performs a process of removing the ambient noise interference in order to provide a good voice call to the user during a voice call, in the case of performing the process of removing the ambient noise interference, by simply using a filter It removes the ambient noise input at low intensity and amplifies and transmits only the voice signal input at relatively high intensity. However, this conventional noise reduction technology has the advantage that the implementation of the technology is simple because it simply removes the noise by using a filter, but in the area with high ambient noise, the voice signal is also removed when the noise is removed. There is a problem in that the caller's voice signal delivered to the user is cut off and heard.

그리고, 기술 발전에 따라 이동통신단말기에 구비되는 기능 모듈들의 고성능 및 소형화 추세와 사용자 요구의 다양화로 인하여 카메라, MP3 등의 다양한 기능들이 이동통신단말기에 추가되고 있는데, 그 중에는 외부의 음성 녹음이나 통화 내용을 녹음하는 기능이 포함되어 있다. 이와 같은 외부의 음성 녹음이나 통화 내용을 녹음하는 기능은 이동통신단말기에서 별도의 메뉴를 선택하여 동작하는 것으로, 항상 사용자가 이동통신단말기의 폴더나 슬라이더를 열어서 메뉴를 통해 해당 기능을 선택해야 하고, 폴더나 슬라이더를 닫은 상태에서는 소리 입력을 위한 마이크가 가려져 있으므로, 녹음을 위해서는 사용자가 이동통신단말기의 폴더나 슬라이더를 반드시 열어야 한다는 불편함이 있다. 또한, 종래에는 스테레오 방식이 아닌, 모노 방식의 녹음만이 가능하기 때문에, 동영상 촬영시에 현장감있는 음향을 녹음하는데 한계가 있다.In addition, due to the development of technology, various functions such as camera and MP3 are added to the mobile communication terminal due to the high performance and miniaturization trend of the functional modules provided in the mobile communication terminal and the diversification of user's demands. Includes the ability to record content. Such a function of recording an external voice or a call is operated by selecting a separate menu on the mobile terminal. The user should always open a folder or slider on the mobile terminal to select the corresponding function through the menu. Since the microphone for sound input is covered while the folder or the slider is closed, the user must open the folder or the slider of the mobile terminal for recording. In addition, conventionally, since only the mono recording, not the stereo recording, is possible, there is a limit to recording the realistic sound when shooting a video.

본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위하여 제안된 것으로, 복수의 마이크를 이용하여 음성 통화시에 주변 소음을 제거하여 고품질의 음성통화 및 화상통화가 가능하도록 하며, 사용자가 이동통신단말기를 열지 않고서도 음성 녹음이 가능하도록 하는 이동통신단말기에서의 음성 처리 장치 및 방법을 제공함에 목적이 있다.The present invention has been proposed to solve the problems of the prior art as described above, by using the plurality of microphones to remove the ambient noise during voice calls to enable high quality voice calls and video calls, the user mobile communication It is an object of the present invention to provide an apparatus and method for processing a voice in a mobile communication terminal that enables voice recording without opening the terminal.

그리고, 본 발명은 음성을 녹음하거나 동영상 촬영시의 음향을 녹음하는 경우에 이동통신단말기에 구비되는 복수의 마이크를 효율적으로 활용하여 양질의 녹음이 가능하도록 하는 이동통신단말기에서의 음성 처리 장치 및 방법을 제공함에 목적이 있다.In addition, the present invention provides a voice processing apparatus and method in a mobile communication terminal to enable a high quality recording by efficiently utilizing a plurality of microphones provided in the mobile communication terminal when recording a voice or recording a sound when shooting a video. The purpose is to provide.

상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 이동통신단말기에서의 음성 처리 장치는, 이동통신단말기의 본체에 설치되어 음향 신호의 입력을 위한 주 마이크로 사용되는 제1 마이크와; 상기 제1 마이크와 다른 방향으로 이동통신단말기의 외부에 노출되도록 설치되어 음향 신호의 입력을 위한 보조 마이크로 사용되는 제2 마이크와; 상기 제1 및 제2 마이크를 통해 음향 신호를 입력받아서 잡음을 제거하여 출력하는 음성 및 잡음 처리부와; 상기 음성 및 잡음 처리부로부터 입력되는 신호를 경로 전환하여 전달하는 서비스 선택부와; 상기 서비스 선택부를 통해 전달되는 신호를 인코딩하여 메모리에 저장시켜 녹음하는 음성녹음기능 처리부 와; 상기 서비스 선택부를 통해 전달되는 신호를 코딩하여 모뎀에 출력하는 음성 코덱 처리부와; 사용자 기능 키의 입력에 따라 상기 제1 및 제2 마이크를 활성화하고 상기 음성 및 잡음 처리부와 상기 서비스 선택부의 동작을 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a voice processing apparatus in a mobile communication terminal, comprising: a first microphone installed in a main body of a mobile communication terminal and used as a main microphone for inputting an acoustic signal; A second microphone installed to be exposed to the outside of the mobile communication terminal in a direction different from the first microphone and used as an auxiliary microphone for inputting an acoustic signal; A voice and noise processor configured to receive an acoustic signal through the first and second microphones, remove noise, and output the noise; A service selector for converting and transferring a signal input from the voice and noise processor; A voice recording function processor which encodes the signal transmitted through the service selector, stores the signal in a memory, and records the same; A voice codec processor for coding a signal transmitted through the service selector and outputting the signal to a modem; And a controller configured to activate the first and second microphones according to an input of a user function key and to control operations of the voice and noise processor and the service selector.

상기 음성녹음기능 처리부는 상기 제1 및 제2 마이크를 통하여 수신된 음향 신호를 스테레오 처리하기 위한 스테레오 처리부를 포함할 수 있다.The voice recording function processor may include a stereo processor configured to stereo process sound signals received through the first and second microphones.

또한, 상기 음성 및 잡음 처리부는, 상기 제어부의 제어에 따라 동작 수행하고, 상기 제1 및 제2 마이크를 통해 신호를 입력받으면 자체에 구비된 음성신호 식별을 위한 신호식별정보에 의거하여 입력 신호로부터 음성신호를 식별하여 출력하는 음성신호식별부와; 상기 제어부의 제어에 따라 동작 수행하고, 상기 음성신호식별부로부터의 입력 음성신호에서 상기 제2 마이크를 통해 입력된 신호의 잡음에 의거하여 잡음을 제거하거나, 상기 음성신호식별부로부터의 음성신호와 제2 마이크로부터의 신호를 노이즈 제거 처리 없이 그대로 바이패스(Bypass) 하는 노이즈 처리부와; 상기 제어부의 제어에 따라 동작 수행하고, 상기 노이즈 처리부를 통해 입력받은 잡음 제거된 신호에 대해 추가적인 필터링을 수행하거나, 상기 노이즈 처리부를 통해 바이패스 받은 두 입력 신호를 결합하거나, 필터링 또는 결합처리 없이 그대로 바이패스하여 상기 서비스 선택부로 전달하는 신호 필터링/결합 처리부를 포함한다.In addition, the voice and noise processing unit may be operated according to the control of the controller, and when the signal is input through the first and second microphones, the voice and noise processing unit may perform an operation based on the signal identification information for identifying the voice signal provided therein. A voice signal identification unit for identifying and outputting a voice signal; Perform the operation according to the control of the controller, remove the noise based on the noise of the signal input through the second microphone from the input voice signal from the voice signal identification unit, or the voice signal from the voice signal identification unit A noise processing unit for bypassing the signal from the second micro signal without noise removal processing; The controller performs an operation under the control of the controller, performs additional filtering on the noise canceled signal input through the noise processor, or combines two input signals bypassed through the noise processor, or without filtering or combining processing. And a signal filtering / combining processing unit which bypasses and delivers the service selection unit.

한편, 상술한 목적을 달성하기 위한 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 제어부에서 동영상 촬영 기능이 선택되는 경우에 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 그대로 바이패스하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에서 스테레오 처리하여 인코딩하여 메모리에 저장하여 스테레오 방식으로 녹음하는 과정을 포함한다.On the other hand, in the mobile communication terminal according to the present invention for achieving the above object, when the video recording function is selected in the control unit activates the first and second microphones, the voice and noise processing unit The signals received through the first and second microphones are bypassed as they are without noise reduction processing or additional filtering processing, and are transmitted to the voice recording function processing unit through the service selection unit. Stereo processing by the function processing unit includes the process of encoding in the memory to record in stereo.

또한, 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 제어부에서 동영상 촬영 기능이 선택되는 경우에 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 결합하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 모노 방식으로 녹음하는 과정을 더 포함할 수 있다.In addition, in the mobile communication terminal according to the present invention, when the video recording function is selected in the control unit, the first and second microphones are activated, and the voice and noise processing unit activates the first and second microphones. Signals received through the service selection unit are combined with the signals of the first and second microphones without a noise removing process or an additional filtering process, and transmitted to the voice recording function processing unit, encoded by the voice recording function processing unit, and stored in the memory. The method may further include recording in a mono manner.

상기 이동통신단말기 사용자가 동영상 촬영 기능을 선택하여 음향을 녹음하는 경우에, 상기 음향을 스테레오 방식으로 녹음할 것인지 또는 모노 방식으로 녹음할 것인지를 사용자가 선택하게 할 수 있다.When the user of the mobile communication terminal selects a video recording function to record a sound, the user may select whether to record the sound in a stereo manner or a mono manner.

또한, 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 제어부에서 음성 통화 기능이 선택되는 경우에 음향 신호 주 입력용으로 사용하기 위한 제1 마이크와 외부에 노출되게 상기 제1 마이크와 다른 방향에 설치되어 음향 신호 보조 입력용으로 사용하기 위한 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상 기 제1 마이크로부터 입력된 신호에서 제2 마이크로부터 입력된 신호의 잡음에 의거하여 잡음을 제거한 후 추가 필터링하여 서비스 선택부를 통해 음성 코덱 처리부에 전달하여, 음성 코덱 처리부에 의해 코딩하여 모뎀에 출력하는 과정을 더 포함할 수 있다.In addition, the voice processing method in the mobile communication terminal according to the present invention, when the voice call function is selected in the control unit, a first microphone for use for the main input of the sound signal and a direction different from the first microphone to be exposed to the outside A second microphone for use for the auxiliary input of the acoustic signal installed in the audio signal, and the voice and noise processing unit removes the noise based on the noise of the signal input from the second microphone from the signal input from the first microphone. The method may further include performing filtering to transfer the voice codec processor to the voice codec processor through the service selector and to code the voice codec processor to output the codec to the modem.

또한, 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 상기 제어부에서 음성 녹음 기능이 선택되는 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 열린 상태에 있으면 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 마이크로부터 입력된 신호에서 제2 마이크로부터 입력된 신호의 잡음에 의거하여 잡음을 제거한 후 추가 필터링하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정과; 상기 제어부에서 동영상 촬영 기능이 선택되는 경우에 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 그대로 결합하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 포함한다.The voice processing method in the mobile communication terminal according to the present invention activates the first and second microphones when the folder or the slider of the mobile communication terminal is open when the voice recording function is selected by the controller. In the voice and noise processing unit, the noise is removed based on the noise of the signal input from the second microphone from the signal input from the first microphone, and then further filtered and transmitted to the voice recording function processing unit through the service selection unit. Encoding by storing in the memory and recording; When the video recording function is selected in the control unit, the first and second microphones are activated, and the voice and noise processing unit does not perform a noise removing process or an additional filtering process on the signal received through the first and second microphones. And combining the signals of the first and second microphones as they are and transmitting the same through the service selection unit to the voice recording function processing unit, encoding the voice recording function processing unit, and storing the encoded data in the memory.

그리고, 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 상기 제어부에서 음성 녹음 기능이 선택되는 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 닫힌 상태에 있으면 상기 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필 터링 처리를 하지 않고 제2 마이크의 신호를 그대로 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 더 포함하는 것을 특징으로 한다.The voice processing method of the mobile communication terminal according to the present invention activates the second microphone when the folder or the slider of the mobile communication terminal is closed when the voice recording function is selected by the controller. The noise processing unit transfers the signal of the second microphone to the voice recording function processing unit through the service selection unit without performing noise removing processing or additional filtering processing on the signal input through the second microphone, and then, by the voice recording function processing unit. The method may further include encoding and storing the recording in the memory.

또한, 본 발명에 따른 이동통신단말기에서의 음성 처리 방법은, 상기 제어부에서 음성 녹음이 선택된 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 열린 상태에 있으면 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 그대로 결합하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 더 포함한다.The voice processing method of the mobile communication terminal according to the present invention activates the first and second microphones when the folder or the slider of the mobile communication terminal is open when voice recording is selected in the controller. And combining the signals of the first and second microphones as they are, without performing noise removing processing or additional filtering on the signals received through the first and second microphones from the noise processing unit, and transferring the signals from the first and second microphones to the voice recording function processing unit through the service selection unit. The method may further include encoding the voice recording function processing unit and storing the same in a memory.

그리고, 상기 이동통신단말기의 폴더 또는 슬라이더가 닫힌 상태에서 음성 녹음 기능을 선택하기 위한 녹음 기능 키는 이동통신단말기의 외부에 노출되도록 설치되어 있는 것을 특징으로 한다.The recording function key for selecting the voice recording function while the folder or the slider of the mobile communication terminal is closed is installed to be exposed to the outside of the mobile communication terminal.

본 발명은 복수의 마이크를 이용하여 음성 통화시에 주변 소음을 제거하여 고품질의 음성통화 및 화상통화가 가능하고, 사용자가 이동통신단말기를 열지 않고서도 음성 녹음이 가능하며, 음성을 녹음하거나 동영상 촬영시의 음향을 녹음하는 경우에 이동통신단말기에 구비되는 복수의 마이크를 효율적으로 활용하여 양질의 녹음이 가능하고, 이동통신단말기의 폴더나 슬라이더를 닫아 놓은 상태에서도 편리하게 녹음할 수 있으므로, 이동통신단말기의 사용 편리성을 향상시키게 된다.The present invention removes ambient noise during voice calls using a plurality of microphones, so that high quality voice calls and video calls are possible, and voice recording is possible without the user opening the mobile communication terminal. In the case of recording the sound of the poem, it is possible to efficiently use a plurality of microphones provided in the mobile communication terminal to record high quality, and to conveniently record even when the folder or the slider of the mobile communication terminal is closed. The convenience of use of the terminal is improved.

이하 첨부 도면을 참조하여 본 발명의 실시 예를 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명은 이동통신단말기에 복수의 마이크를 구비하고 해당 복수의 마이크를 이용하여 음성 통화시에 주변 소음을 제거하여서 고품질의 음성통화 및 화상통화가 가능하고, 사용자가 이동통신단말기를 열지 않고서도 음성 녹음이 가능하며, 음성을 녹음하거나 동영상 촬영시의 음향을 녹음하는 경우에 이동통신단말기에 구비되는 복수의 마이크를 다양하게 효율적으로 활용하여 양질의 녹음이 가능하도록 구현된다.The present invention is provided with a plurality of microphones in the mobile communication terminal and by using the plurality of microphones to remove the ambient noise during voice calls, high-quality voice calls and video calls are possible, the user does not have to open the mobile communication terminal voice Recording is possible, and in the case of recording a voice or recording a sound when shooting a video, it is implemented to enable high quality recording by efficiently utilizing a plurality of microphones provided in the mobile communication terminal.

이와 같은 본 발명의 구현을 위한 본 발명에 따른 이동통신단말기에서의 음성 처리 장치는 도 1에 도시된 바와 같이 제1 및 제2 마이크(10a, 10b), 음성 및 잡음 처리부(20), 제어부(30), 사용자 키 입력부(40), 서비스 선택부(50), 음성녹음기능 처리부(60), 음성 코덱 처리부(70), 메모리(80) 및 모뎀(90)을 구비하여 이루어진다.The voice processing apparatus in the mobile communication terminal according to the present invention for implementing the present invention as shown in Figure 1, the first and second microphone (10a, 10b), voice and noise processing unit 20, the control unit ( 30), a user key input unit 40, a service selection unit 50, a voice recording function processing unit 60, a voice codec processing unit 70, a memory 80 and a modem 90.

제1 마이크(10a)는 음성 통화시에 주 마이크로 사용되는 것으로, 초기 튜닝 과정을 통하여 잡음 제거가 효과적으로 이루어지도록 음성 입력 파라미터들이 최적화된다. 그리고, 제2 마이크(10b)는 제1 마이크(10a)와 다른 방향을 행하도록 배치되는데, 그 이유는 제2 마이크(10b)가 제1 마이크(10a)와 동일한 방향으로 배치되면 음성 및 잡음 처리부(20)에서의 주변 소음 제거 처리 성능이 감소하기 때문이며, 이에 따라 제2 마이크(10b)의 위치는 이동통신단말기의 설계 및 개발 과정에서 주변 소음 간섭의 성능이 보장되는 범위 내에서 외부 음향 녹음을 원활히 수행할 수 있는 위치로 선택하여 배치하여야 한다. 이와 같은 제1 및 제2 마이크(10a, 10b)는 제어부(30)의 제어에 따라 선택적으로 활성화 또는 비활성화된다.The first microphone 10a is used as a main microphone in a voice call, and voice input parameters are optimized to effectively remove noise through an initial tuning process. In addition, the second microphone 10b is arranged to perform a different direction from the first microphone 10a, because the second microphone 10b is disposed in the same direction as the first microphone 10a. This is because the performance of the ambient noise reduction processing at 20 is reduced. Accordingly, the position of the second microphone 10b is such that external sound recording is performed within the range in which the performance of the ambient noise interference is ensured during the design and development of the mobile communication terminal. It should be selected and arranged to be able to perform smoothly. The first and second microphones 10a and 10b are selectively activated or deactivated under the control of the controller 30.

그리고, 음성 및 잡음 처리부(20)는 제1 및 제2 마이크(10a, 10b)로부터 입력되는 음성 및 잡음 신호를 제어부(30)의 제어에 따라 처리하여 서비스 선택부(50)에 출력하며, 음성신호식별부(21), 노이즈 처리부(22) 및 신호 필터링/결합처리부(23)를 구비하여 이루어진다. 음성 및 잡음 처리부(20)는 제어부(30)의 제어에 따라 음성 통화, 음성 녹음 또는 동영상 촬영 음향 녹음을 위하여 입력받은 음성 및 잡음을 처리하는데, 음성 통화하는 경우에는 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력하고, 음성 녹음하는 경우에는 제1 및 제2 마이크(10a, 10b)를 통해서 입력받은 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력하거나 제2 마이크(10b)만을 통해 입력받은 신호를 그대로 서비스 선택부(50)에 출력하거나 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 신호를 그대로 결합하여 서비스 선택부(50)에 출력하며, 동영상 촬영시 음향 녹음을 하는 경우에는 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 신호를 결합하거나, 결합하지 아니하고 그대로 바이패스하여 서비스 선택부(50)에 출력한다. The voice and noise processor 20 processes the voice and noise signals input from the first and second microphones 10a and 10b according to the control of the controller 30 and outputs the voice and noise signals to the service selector 50. And a signal discriminating unit 21, a noise processing unit 22, and a signal filtering / combining processing unit 23. The voice and noise processor 20 processes the voice and noise received for voice call, voice recording, or video recording sound recording under the control of the controller 30. In the case of a voice call, the first and second microphones 10a , And removes noise from the voice and noise signals input through the 10b) and outputs the noise to the service selector 50, and when recording voice, the voice and noise signals received through the first and second microphones 10a and 10b. The noise is removed and output to the service selector 50 or the signal received through the second microphone 10b is output to the service selector 50 as it is or through the first and second microphones 10a and 10b. Combining the received signal as it is and output to the service selector 50, when recording the video when recording the video signal received through the first and second microphones (10a, 10b), or not combined as it is Bypass is output to the service selector 50.

음성신호식별부(21)는 제어부(30)의 제어에 따라 동작 수행하되, 내부에 음성신호 식별을 위한 신호식별정보를 구비하여, 제1 및 제2 마이크(10a, 10b)를 통해 신호를 입력받는 경우 해당 신호식별정보에 의거하여 입력 신호로부터 음성신호를 식별해내어 노이즈 처리부(22)에 출력한다. 음성신호식별부(21)는 음성 통화를 수행하거나 음성 녹음을 수행하는 경우에, 제1 마이크(10a)를 통해 주된 음성 신호와 잡음을 함께 입력받고, 제2 마이크(10b)를 통해 상대적으로 약한 음성 신호 및 잡음을 입력받으면, 자체 내부에 저장되어 있는 음성신호 식별정보에 의거하여 해당 제1 및 제2 마이크(10a, 10b)로부터 입력되는 신호에서 음성 신호를 식별해내어 노이즈 처리부(22)에 출력한다.The voice signal identification unit 21 performs an operation under the control of the control unit 30, and has signal identification information for voice signal identification therein, and inputs signals through the first and second microphones 10a and 10b. When receiving, the voice signal is identified from the input signal based on the signal identification information, and output to the noise processor 22. When performing a voice call or performing a voice recording, the voice signal identification unit 21 receives a main voice signal and noise together through the first microphone 10a and is relatively weak through the second microphone 10b. When the voice signal and the noise are received, the voice signal is identified from the signals input from the first and second microphones 10a and 10b based on the voice signal identification information stored therein, and the noise processor 22 is identified. Output

그리고, 노이즈 처리부(22)는 제어부(30)의 제어에 따라 동작 수행하되, 입력 신호로부터 노이즈를 제거하는 처리를 수행하거나 입력 신호를 노이즈 처리 없이 그대로 바이패스(Bypass) 하는 처리를 수행하는데, 음성으로부터 노이즈를 제거하여서 음성 통화나 음성 녹음을 수행하는 경우에는 제2 마이크(10b)로부터 입력받은 잡음에 의거하여 음성신호처리부(21)로부터 입력된 신호에서 노이즈를 제거하거나 필요에따라 잡음을 분리하며, 노이즈 제거 없이 음성 녹음하거나 동영상 촬영 녹음하는 경우에는 입력받은 신호에 대한 노이즈 제거 처리를 수행하지 않고 신호를 그대로 바이패스 시킨다.The noise processor 22 performs an operation under the control of the controller 30 and performs a process of removing noise from the input signal or bypasses the input signal without noise processing. When the voice call or voice recording is performed by removing the noise from the voice signal, the noise is removed from the signal input from the voice signal processor 21 or the noise is separated as necessary based on the noise received from the second microphone 10b. In the case of voice recording or video recording without noise reduction, the signal is bypassed without performing noise reduction processing on the input signal.

또한, 신호 필터링/결합 처리부(23)는 제어부(30)의 제어에 따라 동작 수행하되, 노이즈 처리부(22)를 통해 입력받은 신호에 대해 추가적인 필터링을 수행하여 노이즈 제거하여 서비스 선택부(50)로 전달하거나 노이즈 처리부(22)를 통해 입력받은 음성 및 잡음 신호를 결합하거나, 결합하지 아니하고 그대로 바이패스하여 서비스 선택부(50)로 전달한다. 신호 필터링/결합 처리부(23)는 음성으로부터 노이즈를 제거하여서 음성 통화나 음성 녹음을 수행하는 경우에는 노이즈 처리부(22)를 통해 입력되는 신호에 대해 추가적인 필터링을 수행하여 노이즈 제거하여 출력하 고, 노이즈 제거 없이 음성 녹음하거나 동영상 촬영 녹음하는 경우에는 노이즈 처리부(22)를 통해 입력되는 음성 및 잡음 신호에 대하여 추가적인 필터링을 수행하지 않고 해당 음성 및 잡음 신호를 결합하거나(모노 방식 녹음의 경우), 결합하지 아니하고 그대로 바이패스하여(스테레오 방식 녹음의 경우) 출력한다.In addition, the signal filtering / combining processing unit 23 performs an operation under the control of the control unit 30, but performs additional filtering on the signal received through the noise processing unit 22 to remove the noise to the service selection unit 50. The voice and noise signals received through the noise processor 22 or combined, or bypassed without being combined, are transmitted to the service selector 50. When the voice filtering or voice recording is performed by removing noise from the voice, the signal filtering / combining processor 23 performs additional filtering on the signal input through the noise processor 22 to remove noise and output the noise. In the case of voice recording or video recording without removing, the voice and noise signals are combined (in the case of mono mode recording) or combined without performing additional filtering on the voice and noise signals input through the noise processing unit 22. If not, the output is bypassed (in the case of stereo recording).

그리고, 서비스 선택부(50)는 제어부(30)의 제어에 따라 구동되어 음성 녹음, 동영상 촬영 음성 녹음 또는 음성 통화의 서비스를 선택적으로 제공하도록 음성 및 잡음 처리부(20)로부터 인가되는 신호를 음성녹음기능 처리부(60)와 음성 코덱 처리부(70) 중의 하나에 전달하는데, 음성 녹음이나 동영상 촬영 음성 녹음하는 경우에는 음성 및 잡음 처리부(20)로부터 인가되는 음향 신호를 음성녹음기능 처리부(60)에 전달하고, 음성 통화하는 경우에는 음성 및 잡음 처리부(20)로부터 인가되는 음향 신호를 음성 코덱 처리부(70)에 전달한다.In addition, the service selector 50 is driven under the control of the controller 30 to record a signal applied from the voice and noise processor 20 to selectively provide a service of voice recording, video recording voice recording, or voice call. The voice signal is transmitted to one of the function processor 60 and the voice codec processor 70. In the case of voice recording or video recording voice recording, the audio signal applied from the voice and noise processor 20 is transmitted to the voice recording function processor 60. In the case of a voice call, an audio signal applied from the voice and noise processor 20 is transmitted to the voice codec processor 70.

또한, 음성녹음기능 처리부(60)는 서비스 선택부(50)를 통해 전달받은 음향 신호를 인코딩하여 메모리(80)에 저장하여 녹음 처리하는데, 음성 녹음이나 동영상 촬영 음성 녹음을 하는 경우에 서비스 선택부(50)를 통해 전달받은 음향 신호를 인코딩하여 메모리(80)에 저장함으로써 음향 신호를 녹음한다.In addition, the voice recording function processing unit 60 encodes the sound signal received through the service selecting unit 50 and stores the memory signal in the memory 80 to record and process the voice. The sound signal received through 50 is encoded and stored in the memory 80 to record the sound signal.

상기 음성녹음기능 처리부(60)는 상기 제1 및 제2 마이크로부터 입력되는 신호를 스테레오 방식으로 녹음하기 위하여 스테레오 처리부(100)를 더 포함한다. 도 2는 스테레오 처리부의 구성을 도시한 도면이다.The voice recording function processor 60 further includes a stereo processor 100 to record signals input from the first and second microphones in a stereo manner. 2 is a diagram illustrating a configuration of a stereo processing unit.

스테레오 처리부(100)에서는 제1마이크(10a) 및 제2마이크(10b)의 위치, 방향, 및 마이크 간 거리 등을 기준으로 하여, 각 마이크 신호의 동기화에 필요한 파 라미터를 미리 계산하고, 저장해 둔다.The stereo processor 100 calculates and stores parameters necessary for synchronizing each microphone signal in advance based on the positions, directions, and distances between the microphones of the first microphone 10a and the second microphone 10b. Put it.

한편, 제1마이크(10a) 및 제2마이크(10b)의 신호는 상기 음성녹음기능 처리부(60)의 스테레오 처리부에 도달하는 시간이 차이가 날 수 있다. 상기 스테레오 처리부(100)는 이와 같이 지연 시간이 상이한 각 마이크의 입력 신호를 동기화하여야 한다.On the other hand, the signal of the first microphone 10a and the second microphone 10b may have a different time to reach the stereo processing unit of the voice recording function processing unit 60. The stereo processor 100 must synchronize the input signals of the microphones having different delay times.

이를 위하여, 상기 스테레오 처리부(100)는 활성화된 제1마이크(10a) 및 제2마이크(10b)의 신호가 상기 음성녹음기능 처리부(60)의 스테레오 처리부(100)에 도달하는 시간 차이를 알고 있어야 한다.To this end, the stereo processing unit 100 should be aware of the time difference when the signals of the activated first microphone 10a and the second microphone 10b reach the stereo processing unit 100 of the voice recording function processing unit 60. do.

만일, 제 1마이크의 입력신호(s1(t))가 제2마이크의 입력신호 (s2(t))보다 빠르게 도달하게 되는 경우, 제1 지연시간 조정부(61)에서 제2마이크의 입력 신호(s2(t))가 도달할 때까지 입력신호를 지연시킨다. 또한, 제2마이크의 입력신호(s2(t))가 제1마이크의 입력신호(s1(t))보다 빠르게 도달하게 되는 경우, 제2 지연시간 조정부(62)에서 제1마이크의 입력 신호(s1(t))가 도달할 때까지 입력신호를 지연시킨다. 마이크의 입력 신호가 이미 동기화되어 동일한 시간에 도달하게 되는 경우에는, 제1지연시간 조정부(61) 및 제2지연시간 조정부(62)에서는 해당 신호를 바이패스하게 된다.If the input signal s 1 (t) of the first microphone arrives faster than the input signal s 2 (t) of the second microphone, the first delay time adjusting unit 61 inputs the second microphone. The input signal is delayed until the signal s 2 (t) arrives. In addition, when the input signal s 2 (t) of the second microphone arrives faster than the input signal s 1 (t) of the first microphone, the second delay time adjusting unit 62 inputs the first microphone. The input signal is delayed until the signal s 1 (t) arrives. When the input signal of the microphone is already synchronized and reaches the same time, the first delay time adjusting unit 61 and the second delay time adjusting unit 62 bypass the signal.

이와 같이 동기화된 2개의 음성 신호는 스테레오 효과를 위해 각각의 지연시간 제어부(63, 64)에 의해 일정시간 지연시킨 후, 이를 승산기(65, 66)를 통해 입력신호를 조정하게 된다.The two voice signals synchronized as described above are delayed by the respective delay time controllers 63 and 64 for a stereo effect, and then the input signals are adjusted through the multipliers 65 and 66.

즉, 제1마이크의 입력신호는 제1지연시간 제어부(63)에 의해 일정시간 지연된 후, 제1승산기(65)에 의하여 원래 크기의 일정수준(예를 들어, 93.75% 수준)으로 감쇄한 후에, 제2가산기(68)에 의하여 제2마이크의 입력신호와 결합하게 된다. 또한, 제2마이크의 입력신호는 제2지연시간 제어부(64)에 의해 일정시간 지연된 후, 제2승산기(66)에 의하여 원래 크기의 일정수준(예를 들어, 93.75% 수준)으로 감쇄한 후에, 제1가산기(67)에 의하여 제1마이크의 입력신호와 결합하게 된다.That is, the input signal of the first microphone is delayed by the first delay time controller 63 for a predetermined time, and then attenuated to a predetermined level (for example, 93.75% level) of the original size by the first multiplier 65. The second adder 68 is coupled to the input signal of the second microphone. In addition, after the input signal of the second microphone is delayed by the second delay time control unit 64 for a predetermined time, and then attenuated to a predetermined level (for example, 93.75% level) of the original size by the second multiplier 66. The first adder 67 couples the input signal with the first microphone.

이와 같이 결합되어 생성된 출력신호는 음향코덱 처리부(69)에 입력되어 스테레오 음향으로 인코딩되어 녹음된다.The combined output signal generated as described above is input to the sound codec processing unit 69 and encoded and recorded in stereo sound.

본 발명에 따라 이동통신단말기에서 2개의 마이크가 서로 다른 방향을 갖는경우, 특정 마이크를 기준으로 하여, 타 마이크에 대한 음향 신호의 보정 작업을 수행하여야 보다 효과적인 스테레오 음향을 생성할 수 있다. 이를 위해서는 어느 하나의 입력 신호에 대한 차감값을 조정하여 다른 입력 신호에 대한 크기를 조정하여야 한다. 이는 이동통신단말기 제작 시 초기 음향 시험과정에서 설정되어야 하며, 이를 지연시간 제어부에 반영함으로써 가능하게 된다.According to the present invention, when two microphones have different directions in a mobile communication terminal, more effective stereo sound may be generated only by correcting a sound signal for another microphone based on a specific microphone. To this end, the subtraction value for one input signal must be adjusted to adjust the magnitude of another input signal. This should be set during the initial sound test process when manufacturing the mobile communication terminal, and this is possible by reflecting this to the delay time controller.

음성 코덱 처리부(70)는 서비스 선택부(50)를 통해 전달받은 음향 신호를 코딩하여 모뎀(90)을 통해 전송하는데, 음성 통화하는 경우에 서비스 선택부(50)를 통해 전달받은 음향 신호를 코딩하여 모뎀(90)을 통해 전송함으로써 통화 음성을 상대편 무선통신단말기에 전송한다.The voice codec processing unit 70 codes the sound signal received through the service selector 50 and transmits it through the modem 90. In the case of a voice call, the voice codec processor 70 codes the sound signal received through the service selector 50. By transmitting through the modem 90 transmits the call voice to the other side of the wireless communication terminal.

그리고, 사용자 키 입력부(40)는 이동통신단말기의 구동을 선택하기 위한 키 를 구비하되, 음성 통화 기능, 음성 녹음 기능, 동영상 촬영 음성 녹음 기능, 모노 방식 녹음 기능, 및 스테레오 방식 녹음 기능 등을 선택하여 실행하기 위한 기능 선택 키를 구비하여, 사용자의 해당 키 입력에 따라 대응되는 기능 선택 키 입력 정보를 제어부(30)에 입력한다.In addition, the user key input unit 40 includes a key for selecting the driving of the mobile communication terminal, and selects a voice call function, a voice recording function, a video recording voice recording function, a mono type recording function, and a stereo type recording function. And a function selection key for execution, and inputs corresponding function selection key input information to the controller 30 according to a user's corresponding key input.

또한, 제어부(30)는 이동통신단말기에서의 음성 처리를 위한 제반 제어 동작을 수행하는데, 사용자 키 입력부(40)를 통해 선택되는 기능에 따라 음성 및 잡음 처리부(20)와 서비스 선택부(50)의 구동을 제어함과 아울러 제1 및 제2 마이크(10a, 10b)의 활성화 및 비활성화를 제어한다.In addition, the controller 30 performs various control operations for voice processing in the mobile communication terminal. The voice and noise processing unit 20 and the service selecting unit 50 according to a function selected through the user key input unit 40 are performed. In addition to controlling the driving of the first and second microphones (10a, 10b) to activate and deactivate.

제어부(30)는 음성 통화 기능이 선택되는 경우에는, 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력하도록 음성 및 잡음 처리부(20)를 제어함과 아울러 서비스 선택부(50)에서 음성 및 잡음 처리부(20)로부터 인가받은 음향 신호를 음성 코덱 처리부(70)로 전달하도록 서비스 선택부(50)를 제어한다.When the voice call function is selected, the controller 30 removes noise from the voice and noise signals input through the first and second microphones 10a and 10b from the voice and noise processor 20 to remove the noise from the service selector. In addition to controlling the voice and noise processing unit 20 to output to 50, the service selection unit 50 to transmit the sound signal received from the voice and noise processing unit 20 in the service selection unit 50 to the voice codec processing unit 70 ( 50).

또한 제어부(30)는 음성 녹음 기능이 선택되는 경우에는, 이동통신단말기의 폴더 또는 슬라이더의 열림 여부에 따라 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해서 입력받은 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력함과 아울러 서비스 선택부(50)에서 음성 및 잡음 처리부(20)로부터 인가받은 음향 신호를 음성녹음기능 처리부(60)로 전달하도록 서비스 선택부(50)를 제어하거나, 음성 및 잡음 처리부(20)에서 제2 마이크(10b)만을 통해 입력받은 신호를 그대로 서비스 선택부(50)에 출력하도록 음성 및 잡음 처리부(20) 를 제어함과 아울러 서비스 선택부(50)에서 음성 및 잡음 처리부(20)로부터 인가받은 음향 신호를 음성녹음기능 처리부(60)로 전달하도록 서비스 선택부(50)를 제어하고, 또는 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 신호를 그대로 결합하여 서비스 선택부(50)에 출력하도록 음성 및 잡음 처리부(20)를 제어함과 아울러 서비스 선택부(50)에서 음성 및 잡음 처리부(20)로부터 인가받은 음향 신호를 음성녹음기능 처리부(70)로 전달하도록 서비스 선택부(50)를 제어한다.In addition, when the voice recording function is selected, the controller 30 receives input from the voice and noise processing unit 20 through the first and second microphones 10a and 10b according to whether the folder or the slider of the mobile communication terminal is opened. The noise is removed from the voice and noise signals and output to the service selector 50, and the service selector 50 transmits the sound signal received from the voice and noise processor 20 to the voice recording function processor 60. The voice and noise processor 20 is controlled to control the service selector 50 or to output the signal received through the second microphone 10b from the voice and noise processor 20 to the service selector 50 as it is. In addition, the service selector 50 controls the service selector 50 to transmit the sound signal received from the voice and noise processor 20 to the voice recording function processor 60, or the voice and noise processor 20. on The voice and noise processing unit 20 is controlled to combine the signals received through the first and second microphones 10a and 10b as they are and output to the service selector 50. The service selector 50 is controlled to transmit the sound signal received from the noise processor 20 to the voice recording function processor 70.

그리고, 제어부(30)는 동영상 촬영 음성 녹음 기능이 선택되는 경우에는, 모노/스테레오 녹음 방식에 따라 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 신호를 결합하거나, 결합하지 아니하고 그대로 바이패스하여 서비스 선택부(50)에 출력하도록 음성 및 잡음 처리부(20)를 제어함과 아울러 서비스 선택부(50)에서 음성 및 잡음 처리부(20)로부터 인가받은 음향 신호를 음성녹음기능 처리부(60)로 전달하도록 서비스 선택부(50)를 제어한다. When the video recording voice recording function is selected, the controller 30 receives the signals received through the first and second microphones 10a and 10b from the voice and noise processing unit 20 according to the mono / stereo recording method. The sound and noise processor 20 is controlled by the voice and noise processor 20 to be output to the service selector 50 by bypassing as it is or not coupled to the service selector 50. The service selector 50 is controlled to transmit the to the voice recording function processor 60.

한편, 제1 마이크(10a)와 제2 마이크(10b)는 서로 다른 방향에 배치되어 설치되는데, 폴더형 이동통신단말기의 경우에는 도 3의 (a)에 도시된 바와 같이 제1 마이크(10a)는 폴더를 열었을 때 노출되도록 설치되고 제2 마이크(10b)는 폴더 외부에 노출되도록 설치되며, 슬라이드형 이동통신단말기의 경우에는 도 2의 (b)에 도시된 바와 같이 제1 마이크(10a)는 슬라이더를 열었을 때 노출되도록 설치되고 제2 마이크(10b)는 슬라이더 외부에 노출되도록 설치된다.On the other hand, the first microphone (10a) and the second microphone (10b) are arranged in different directions, in the case of a clamshell mobile communication terminal as shown in (a) of Figure 3, the first microphone (10a) Is installed to be exposed when the folder is opened and the second microphone 10b is installed to be exposed to the outside of the folder, and in the case of a slide type mobile communication terminal, the first microphone 10a is shown in FIG. The slider is installed to be exposed when the slider is opened, and the second microphone 10b is installed to be exposed to the outside of the slider.

그리고, 음성 녹음을 수행하는 경우에는 이동통신단말기의 폴더나 슬라이더 를 열은 상태에서 음성 녹음하거나, 이동통신단말기의 폴더나 슬라이더를 닫은 상태에서 음성 녹음할 수 있는데, 사용자가 이동통신단말기의 폴더나 슬라이더를 닫은 상태에서도 음성 녹음을 수행할 수 있게 하기 위하여 녹음 기능 키는 이동통신단말기의 외부에 노출되게 설치된다. 폴더형 이동통신단말기의 경우에는 도 4의 (a)에 도시된 바와 같이 폴더를 닫은 상태에서도 조작할 수 있도록 녹음 기능 키가 단말기 외부의 일측면에 설치되며, 슬라이드형 이동통신단말기의 경우에는 도 4의 (b)에 도시된 바와 같이 슬라이더를 닫은 상태에서도 조작할 수 있도록 녹음 기능 키가 단말기 외부의 일측면에 설치된다. 그리고, 녹음 기능 키 이외에 음성 통화 기능 키 또는 동영상 촬영 기능 키는 이동통신단말기의 본체에 구비되는 키패드에 설치되며, 필요에 따라서는 해당 키패드에 녹음 기능 키를 더 구비할 수도 있다.In the case of performing a voice recording, the voice recording can be performed while the folder or the slider of the mobile terminal is opened, or the voice recording can be performed while the folder or the slider of the mobile terminal is closed. In order to perform voice recording even with the slider closed, the recording function key is installed to be exposed to the outside of the mobile communication terminal. In the case of a folding mobile communication terminal, a recording function key is installed on one side of the outside of the terminal so that the folder can be operated even when the folder is closed, as shown in (a) of FIG. 4. As shown in 4 (b), a recording function key is provided on one side of the outside of the terminal so that it can be operated even when the slider is closed. In addition to the recording function key, the voice call function key or the video recording function key may be installed in a keypad provided in the main body of the mobile communication terminal, and if necessary, the recording function key may be further provided in the keypad.

상술한 바와 같은 기능을 구비하는 본 발명에 따른 이동통신단말기에서의 음성 처리 장치는 음성 통화, 음성 녹음 및 동영상 촬영 음성 녹음을 수행하는 경우에 제1 및 제2 마이크(10a, 10b)를 통해 입력되는 음성 신호를 처리하는 동작을 수행하되 이와 같은 동작을 수행함에 있어서 도 5의 흐름도에 도시된 바와 같이 동작 수행한다.The voice processing device in the mobile communication terminal according to the present invention having the function as described above is inputted through the first and second microphones 10a and 10b when performing a voice call, voice recording and video recording voice recording. An operation of processing a voice signal to be performed is performed as shown in the flowchart of FIG. 5.

먼저, 제어부(30)는 사용자 키 입력부(40)에 구비되어 있는 키가 입력되면(단계 S31), 해당 키가 어느 기능을 선택하는 키 인지를 판단한다(단계 S32).First, when the key provided in the user key input unit 40 is input (step S31), the controller 30 determines which function the key selects (step S32).

이때, 사용자 키 입력부(40)로부터 입력된 키가 음성 통화를 위한 기능 키 인 것으로 판단되는 경우에, 해당 이동통신단말기는 폴더나 슬라이더를 열어서 통 화하는 상황이므로, 제어부(30)는 제1 및 제2 마이크(10a, 10b)를 활성화하고(단계 S33), 사용자의 음성 통화에 따라 제1 마이크(10a)와 제2 마이크(10b)를 통해 획득한 음성 신호 및 잡음 신호를 음성 및 잡음 처리부(20)에 입력한다(단계 S34). 이에, 제1 마이크(10a)를 통해 주된 음성 신호와 잡음이 함께 입력되고 제2 마이크(10b)를 통해 상대적으로 약한 음성 신호 및 잡음이 입력되는데, 음성 및 잡음 처리부(20)의 음성신호식별부(21)는 제어부(30)의 제어에 따라 구동되어 자체 내부에 구비되어 있는 음성신호 식별을 위한 신호식별정보에 의거하여 제1 및 제2 마이크(10a, 10b)의 입력 신호로부터 음성신호를 식별해내어 노이즈 처리부(22)에 출력하고, 노이즈 처리부(22)에서는 제어부(30)의 제어에 따라 구동되어 제2 마이크(10b)로부터 입력받은 잡음에 의거하여 음성신호처리부(21)로부터 입력된 신호에서 잡음을 제거하는 처리를 수행하는데(단계 S35), 이 경우, 필요에 따라서 노이즈 처리부(22)는 잡음 신호를 분리해 낼 수도 있다. 이와 같이 잡음 제거된 음성 신호는 신호 필터링/결합 처리부(23)로 인가되고, 신호 필터링/결합 처리부(23)에서는 제어부(30)의 제어에 따라 구동되어 해당 음성 신호에 대해 추가적인 필터링을 수행하여 서비스 선택부(50)에 전달하고(단계 S36), 서비스 선택부(50)는 신호 필터링/결합 처리부(23)로부터 전달받은 음성 신호를 제어부(30)의 제어에 따라 음성 코덱 처리부(70)에 전달하고, 이에 따라 음성 코덱 처리부(70)에서는 전달받은 음성 신호를 코딩하여 모뎀(90)에 출력하고(단계 S37), 모뎀(90)에서는 전달받은 음성 신호를 음성 통화 대상의 상대방 이동통신단말기에게 전송한다(단계 S38). 그 후에, 제어부(30)는 사용자의 음성 통화가 종료되는지의 여부를 확인하여(단계 S39), 음성 통화가 종료된 것으로 확인되면 제1 및 제2 마이크(10a, 10b)를 비활성화시키고(단계 S40), 동작 종료한다.In this case, when it is determined that the key input from the user key input unit 40 is a function key for a voice call, the mobile communication terminal opens a folder or a slider and makes a call. Activate the second microphone (10a, 10b) (step S33), according to the user's voice call voice and noise signal obtained through the first microphone (10a) and the second microphone (10b) voice and noise processing unit ( 20) (step S34). Accordingly, a main voice signal and noise are input together through the first microphone 10a and a relatively weak voice signal and noise are input through the second microphone 10b. The voice signal identification unit of the voice and noise processor 20 is input. 21 is driven under the control of the controller 30 to identify the voice signal from the input signals of the first and second microphones 10a and 10b based on the signal identification information for identifying the voice signal provided therein. The signal is outputted to the noise processor 22, and the noise processor 22 is driven under the control of the controller 30 and is input from the voice signal processor 21 based on the noise received from the second microphone 10b. In step S35, in this case, the noise processor 22 may separate the noise signal as necessary. The noise-free voice signal is applied to the signal filtering / combining processor 23, and the signal filtering / combining processor 23 is driven under the control of the controller 30 to perform additional filtering on the voice signal. Transfer to the selection unit 50 (step S36), the service selection unit 50 transfers the voice signal received from the signal filtering / combining processing unit 23 to the voice codec processing unit 70 under the control of the control unit 30. Accordingly, the voice codec processing unit 70 codes the received voice signal and outputs it to the modem 90 (step S37), and the modem 90 transmits the received voice signal to the counterpart mobile communication terminal of the voice call target. (Step S38). After that, the controller 30 checks whether or not the user's voice call is terminated (step S39), and when it is confirmed that the voice call is terminated, deactivates the first and second microphones 10a and 10b (step S40). ), The operation ends.

그리고, 상술한 단계 S32에서 사용자 키 입력부(40)로부터 입력된 키가 음성 녹음을 위한 기능 키 인 것으로 판단되는 경우에, 제어부(30)는 해당 이동통신단말기의 폴더 또는 슬라이더가 열려 있는 상태인지의 여부를 확인한다(단계 S41). 이때, 제어부(30)는 해당 이동통신단말기가 열려 있는 상태인 것으로 확인되면, 제1 및 제2 마이크(10a, 10b)를 활성화하고(단계 S42), 음성 녹음을 위해 제1 마이크(10a)와 제2 마이크(10b)를 통해 획득한 음성 신호 및 잡음 신호를 음성 및 잡음 처리부(20)에 입력한다(단계 S43). 이에, 제1 마이크(10a)를 통해 주된 음성 신호와 잡음이 함께 입력되고 제2 마이크(10b)를 통해 상대적으로 약한 음성 신호 및 잡음이 입력되는데, 음성 및 잡음 처리부(20)의 음성신호식별부(21)는 제어부(30)의 제어에 따라 구동되어 자체 내부에 구비되어 있는 음성신호 식별을 위한 신호식별정보에 의거하여 제1 및 제2 마이크(10a, 10b)의 입력 신호로부터 음성신호를 식별해내어 노이즈 처리부(22)에 출력하고, 노이즈 처리부(22)에서는 제어부(30)의 제어에 따라 구동되어 제2 마이크(10b)로부터 입력받은 잡음에 의거하여 음성신호처리부(21)로부터 입력된 신호에서 잡음을 제거하는 처리를 수행하는데(단계 S44), 이 경우, 필요에 따라서 노이즈 처리부(22)는 잡음 신호를 분리해 낼 수도 있다. 이와 같이 잡음 제거된 음성 신호는 신호 필터링/결합 처리부(23)로 인가되고, 신호 필터링/결합 처리부(23)에서는 제어부(30)의 제어에 따라 구동되어 해당 음성 신호에 대해 추가적인 필터링을 수행하여 서비스 선택부(50)에 전달하고(단계 S45), 서비스 선택부(50)는 신호 필터링/결합 처리부(23)로부터 전달받은 음성 신호를 제어부(30)의 제어에 따라 음성녹음기능 처리부(60)에 전달하고, 이에 따라 음성녹음기능 처리부(60)에서는 전달받은 음성 신호를 인코딩하여 메모리(80)에 출력하고(단계 S46), 메모리(80)에서는 전달받은 음성 신호를 저장하여 녹음한다(단계 S47). 그 후에, 제어부(30)는 음성 녹음이 종료되는지의 여부를 확인하여(단계 S48), 음성 녹음이 종료된 것으로 확인되면 제1 및 제2 마이크(10a, 10b)를 비활성화시키고(단계 S49), 동작 종료한다.When the key input from the user key input unit 40 is determined to be a function key for voice recording in step S32, the controller 30 determines whether a folder or a slider of the corresponding mobile communication terminal is open. It is checked whether it is (step S41). At this time, if it is determined that the corresponding mobile communication terminal is in an open state, the controller 30 activates the first and second microphones 10a and 10b (step S42), and the first microphone 10a for voice recording. The voice signal and the noise signal obtained through the second microphone 10b are input to the voice and noise processor 20 (step S43). Accordingly, a main voice signal and noise are input together through the first microphone 10a and a relatively weak voice signal and noise are input through the second microphone 10b. The voice signal identification unit of the voice and noise processor 20 is input. 21 is driven under the control of the controller 30 to identify the voice signal from the input signals of the first and second microphones 10a and 10b based on the signal identification information for identifying the voice signal provided therein. The signal is outputted to the noise processor 22, and the noise processor 22 is driven under the control of the controller 30 and is input from the voice signal processor 21 based on the noise received from the second microphone 10b. In step S44, the noise processor 22 may separate the noise signal as necessary. The noise-free voice signal is applied to the signal filtering / combining processor 23, and the signal filtering / combining processor 23 is driven under the control of the controller 30 to perform additional filtering on the voice signal. Transfer to the selection unit 50 (step S45), the service selection unit 50 to the voice recording function processing unit 60 under the control of the control unit 30 receives the voice signal received from the signal filtering / combining processing unit 23 The voice recording function processor 60 encodes the received voice signal and outputs the received voice signal to the memory 80 (step S46). The memory 80 stores and records the received voice signal (step S47). . After that, the controller 30 checks whether or not the voice recording is terminated (step S48), and if it is confirmed that the voice recording is terminated, deactivates the first and second microphones 10a and 10b (step S49), The operation ends.

또한, 상술한 단계 S41에서 제어부(30)는 해당 이동통신단말기가 닫혀 있는 상태인 것으로 확인되면, 이동통신단말기의 외부에 설치되어 있는 제2 마이크(10b)를 활성화하고(단계 S50), 음성 녹음을 위해 제2 마이크(10b)를 통해 획득한 음향 신호를 음성 및 잡음 처리부(20)에 입력한다(단계 S51). 이에, 음성 및 잡음 처리부(20)의 노이즈 처리부(22)에서는 제어부(30)의 제어에 따라 구동되어 제2 마이크(10b)로부터 입력받은 음향 신호에 대한 노이즈 제거 처리를 수행하지 않고 해당 음향 신호를 그대로 바이패스 하는 처리를 수행한다(단계 S52). 이와 같이 바이패스 된 음향 신호는 신호 필터링/결합 처리부(23)로 인가되고, 신호 필터링/결합 처리부(23)에서는 제어부(30)의 제어에 따라 구동되어 해당 바이패스 된 음향 신호에 대해 추가적인 필터링을 수행하지 않고 그대로 서비스 선택부(50)에 전달하고, 서비스 선택부(50)는 신호 필터링/결합 처리부(23)로부터 전달받은 음향 신호를 제어 부(30)의 제어에 따라 음성녹음기능 처리부(60)에 전달하고, 이에 따라 음성녹음기능 처리부(60)에서는 전달받은 음향 신호를 인코딩하여 메모리(80)에 출력하고(단계 S53), 메모리(80)에서는 전달받은 음향 신호를 저장하여 녹음한다(단계 S54). 그 후에, 제어부(30)는 녹음이 종료되는지의 여부를 확인하여(단계 S55), 녹음이 종료된 것으로 확인되면 제2 마이크(10b)를 비활성화시키고(단계 S56), 동작 종료한다.In addition, in step S41 described above, if it is determined that the mobile communication terminal is in a closed state, the controller 30 activates the second microphone 10b installed outside of the mobile communication terminal (step S50), and records the voice. In order to input the sound signal obtained through the second microphone 10b to the voice and noise processing unit 20 (step S51). Accordingly, the noise processor 22 of the voice and noise processor 20 is driven under the control of the controller 30 to perform the sound signal without performing a noise removing process on the sound signal received from the second microphone 10b. The bypass processing is performed as it is (step S52). The bypassed sound signal is applied to the signal filtering / combining processor 23, and the signal filtering / combining processor 23 is driven under the control of the controller 30 to perform additional filtering on the bypassed sound signal. The voice selector 50 transfers the sound signal received from the signal filtering / combining processor 23 to the voice recording function processor 60 according to the control of the control unit 30 without performing it. In this case, the voice recording function processor 60 encodes the received sound signal and outputs it to the memory 80 (step S53), and stores and records the received sound signal in the memory 80 (step S53). S54). Thereafter, the controller 30 checks whether or not recording is terminated (step S55), and when it is confirmed that recording is finished, deactivates the second microphone 10b (step S56), and ends the operation.

한편, 상술한 단계 S32에서 사용자 키 입력부(40)로부터 입력된 키가 동영상 촬영을 위한 기능 키인 것으로 판단되는 경우에, 해당 이동통신단말기는 폴더나 슬라이더를 열어서 동영상 촬영하는 상황이므로, 제어부(30)는 제1 및 제2 마이크(10a, 10b)를 활성화하고(단계 S57), 동영상 촬영에 따라 제1 마이크(10a)와 제2 마이크(10b)를 통해 획득한 음향 신호를 음성 및 잡음 처리부(20)에 입력한다(단계 S58). 이에, 음성 및 잡음 처리부(20)의 음성신호식별부(21)는 제어부(30)의 제어에 따라 구동되어 제1 및 제2 마이크(10a, 10b)로부터 입력받은 음향 신호를 그대로 노이즈 처리부(22)에 출력하고, 노이즈 처리부(22)에서는 제어부(30)의 제어에 따라 구동되어 제1 및 제2 마이크(10a, 10b)로부터 입력받은 음향 신호에 대한 노이즈 제거 처리를 수행하지 않고 바이패스 하여 신호 필터링/결합 처리부(23)에 전달한다(단계 S59).On the other hand, when it is determined in step S32 described above that the key input from the user key input unit 40 is a function key for capturing video, the mobile communication terminal opens a folder or a slider and photographs the video, thereby controlling the controller 30. Activates the first and second microphones 10a and 10b (step S57), and acquires sound signals obtained through the first microphone 10a and the second microphone 10b according to video recording, and then processes the voice and noise processing unit 20. ) (Step S58). Accordingly, the voice signal identification unit 21 of the voice and noise processing unit 20 is driven under the control of the control unit 30 to output the sound signals received from the first and second microphones 10a and 10b as they are. And the noise processor 22 is driven under the control of the controller 30 and bypasses the noise signals received from the first and second microphones 10a and 10b without performing a noise removing process. It transfers to the filtering / combining processing section 23 (step S59).

이때, 상기 녹음 방식이 모노 방식으로 선택되었는지, 또는 스테레오 방식으로 선택되었는지를 판단하여(S61), 모노 방식으로 녹음하여야 하는 경우에는, 신호 필터링/결합 처리부(23)가 노이즈 처리부(22)로부터 바이패스되어 인가되는 제1 및 제2 마이크(10a, 10b)의 음향 신호에 대해 추가적인 필터링 처리를 수행하지 않고 해당 두 음향 신호를 결합시켜 합성하여 서비스 선택부(50)에 전달하고, 서비스 선택부(50)는 신호 필터링/결합 처리부(23)로부터 전달받은 음향 신호를 제어부(30)의 제어에 따라 음성녹음기능 처리부(60)에 전달한다(단계 S61).At this time, it is determined whether the recording method is selected as the mono method or the stereo method (S61), and when the recording method is to be performed in the mono method, the signal filtering / combining processing unit 23 is purchased from the noise processing unit 22. Instead of performing additional filtering on the acoustic signals of the first and second microphones 10a and 10b that are passed and applied, the two acoustic signals are combined, combined, and transmitted to the service selector 50, and the service selector ( 50 transmits the sound signal received from the signal filtering / combining processor 23 to the voice recording function processor 60 under the control of the controller 30 (step S61).

만일, 상기 단계 S61에서 판단한 결과, 스테레오 방식으로 녹음하여야 하는 경우에는, 신호 필터링/결합 처리부(23)가 노이즈 처리부(22)로부터 바이패스되어 인가되는 제1 및 제2 마이크(10a, 10b)의 음향 신호에 대해 추가적인 필터링 처리 나 신호 결합을 수행하지 아니하고, 그대로 서비스 선택부(50)로 전달하고, 상기 서비스 선택부(50)는 신호 필터링/결합 처리부(23)로부터 전달받은 음향 신호를 제어부(30)의 제어에 따라 음성녹음기능 처리부에 전달한다(S66). 음성녹음기능 처리부(60)의 스테레오 처리부(100)에서는 전달받은 음향 신호를 스테레오 처리한다.If it is determined in step S61 that the recording is to be performed in a stereo manner, the signal filtering / combination processing section 23 of the first and second microphones 10a and 10b bypassed from the noise processing section 22 is applied. Instead of performing additional filtering or signal combining on the sound signal, the sound signal is transmitted to the service selector 50 as it is, and the service selector 50 controls the sound signal received from the signal filtering / combining processor 23. In accordance with the control of 30), the voice recording function is transmitted to the voice recording function processor (S66). The stereo processing unit 100 of the voice recording function processing unit 60 performs stereo processing on the received sound signal.

이후, 상기 음성녹음기능 처리부(60)는 모노 또는 스테레오 처리된 음향신호를 인코딩하여 메모리(80)로 출력하고(단계 S62), 메모리(80)에서는 전달받은 음향 신호를 저장하여 녹음한다(단계 S63). 그 후에, 제어부(30)는 동영상 촬영이 종료되는지의 여부를 확인하여(단계 S64), 동영상 촬영이 종료된 것으로 확인되면 제1 및 제2 마이크(10a, 10b)를 비활성화시키고(단계 S65), 동작 종료한다.Thereafter, the voice recording function processing unit 60 encodes the mono or stereo processed sound signal and outputs it to the memory 80 (step S62), and stores and records the received sound signal in the memory 80 (step S63). ). After that, the controller 30 checks whether or not video recording ends (step S64), and when it is determined that video recording is finished, deactivates the first and second microphones 10a and 10b (step S65), The operation ends.

상술한 바와 같이, 본 발명에 따른 이동통신단말기에서의 음성 처리 장치에서는, 음성 통화를 하는 경우에는 음성 및 잡음 처리부(20)에서 제1 및 제2 마이 크(10a, 10b)를 통해 입력되는 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력하고, 서비스 선택부(50)에서 해당 잡음 제거된 음성 신호를 음성 코덱 처리부(70)에 전달하여 음성 코덱 처리부(70)에서 해당 음성 신호를 코딩하여 모뎀(90)을 통해 상대방 이동통신단말기에 전송함으로써, 양질의 음성 통화를 가능케 한다.As described above, in the voice processing apparatus of the mobile communication terminal according to the present invention, when a voice call is made, the voice inputted through the first and second microphones 10a and 10b by the voice and noise processing unit 20 is performed. And removing the noise from the noise signal and outputting the noise to the service selector 50, and transmitting the noise-removed speech signal from the service selector 50 to the voice codec processor 70 so that the voice codec processor 70 transmits the corresponding voice signal. By encoding the signal and transmitting the signal to the other party's mobile communication terminal through the modem 90, a high quality voice call is possible.

그리고, 음성 녹음을 수행하는 경우에, 해당 이동통신단말기의 폴더나 슬라이더가 열려 있으면 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해서 입력받은 음성 및 잡음 신호 중에서 잡음을 제거하여 서비스 선택부(50)에 출력하고, 서비스 선택부(50)에서 해당 잡음 제거된 음성 신호를 음성녹음기능 처리부(60)에 전달하여 음성녹음기능 처리부(60)에서 해당 신호를 인코딩하여 메모리(80)에 저장하여 녹음한다. 또한, 음성 녹음을 수행하는 경우에, 해당 이동통신단말기의 폴더나 슬라이더가 닫혀 있으면 음성 및 잡음 처리부(20)에서 제2 마이크(10b)만을 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 그대로 바이패스 시켜 서비스 선택부(50)에 출력하고, 서비스 선택부(50)에서 해당 신호를 음성녹음기능 처리부(60)에 전달하여 음성녹음기능 처리부(60)에서 해당 신호를 인코딩하여 메모리(80)에 저장하여 녹음한다. 이와 같이, 이동통신단말기의 폴더나 슬라이더를 닫은 상태에서 음성 녹음을 수행하는 경우에 사용자는 도 4에 도시된 바와 같이 이동통신단말기의 외부에 노출되게 설치되어 있는 녹음 기능 키를 수동 조작하여 음성 녹음을 행할 수 있다.In the case of performing a voice recording, if a folder or a slider of the corresponding mobile communication terminal is open, the noise and noise signals received by the voice and noise processing unit 20 through the first and second microphones 10a and 10b are noisy. Remove the signal to be output to the service selector 50, and transmit the noise-removed voice signal from the service selector 50 to the voice recording function processor 60 to encode the corresponding signal from the voice recording function processor 60. Recording is stored in the memory (80). In the case of performing voice recording, if the folder or the slider of the mobile communication terminal is closed, the voice and noise processing unit 20 performs a noise removing process or an additional filtering process on the signal received through the second microphone 10b only. Bypass it as it is without being output to the service selector 50, the service selector 50 transmits the signal to the voice recording function processing unit 60 to encode the corresponding signal in the voice recording function processing unit 60 and memory Record it at 80. As described above, in the case where voice recording is performed while the folder or the slider of the mobile communication terminal is closed, the user records the voice by manually operating a recording function key that is exposed to the outside of the mobile communication terminal as shown in FIG. 4. Can be done.

또한, 이동통신단말기의 폴더나 슬라이더를 열어 놓은 상태에서 동영상 촬영 을 하는 경우에, 음성 및 잡음 처리부(20)에서 제1 및 제2 마이크(10a, 10b)를 통해 입력받은 음향 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 해당 제1 및 제2 마이크(10a, 10b)의 음향 신호를 결합하거나, 결합하지 아니하고 그대로 바이패스하여 서비스 선택부(50)에 출력하고, 서비스 선택부(50)에서 해당 결합 된 음향 신호를 음성녹음기능 처리부(60)에 전달하여 음성녹음기능 처리부(60)에서 해당 신호를 모노 방식으로 그대로 인코딩하거나, 스테레오 처리한 후 인코딩하여 메모리(80)에 저장하여 녹음한다.In addition, when recording a video while the folder or the slider of the mobile communication terminal is open, the noise and noise processing unit 20 to remove the noise to the sound signal received through the first and second microphone (10a, 10b) The audio signals of the first and second microphones 10a and 10b may be combined or bypassed without being combined or output to the service selector 50 without additional processing, and the service selector 50 may be bypassed. Transfers the combined sound signal to the voice recording function processing unit 60, the voice recording function processing unit 60 encodes the signal as it is in a mono manner, or stereo processing and then encodes and stores it in the memory 80 for recording. .

한편, 상술한 설명에서는 음성 녹음을 수행하는 경우에, 이동통신단말기의 폴더나 슬라이더를 열어 놓은 상태에서는 음성 및 녹음 처리부(20)에 의해 제1 및 제2 마이크(10a, 10b)를 통해 입력된 신호에서 잡음을 제거하여 녹음하거나, 이동통신단말기의 폴더나 슬라이더를 닫아 놓은 상태에서는 음성 및 녹음 처리부(20)에 의해 제2 마이크(10b)를 통해 입력된 음향 신호에 대한 잡음 제거하나 추가적인 필터링 처리 없이 그대로 녹음하는 것으로 설명하였으나, 이에 한정되는 것은 아니고, 이동통신단말기의 폴더나 슬라이더를 열어 놓은 상태에서 음성 녹음하는 경우에 음성 및 녹음 처리부(20)에 의해 제1 및 제2 마이크(10b)를 통해 입력된 음향 신호에 대한 잡음 제거 처리나 추가적인 필터링 처리 없이 해당 제1 및 제2 마이크(10a, 10b)의 음향 신호를 그대로 결합시켜 녹음하는 방식으로도 녹음할 수도 있다.Meanwhile, in the above description, when performing voice recording, the voice and recording processing unit 20 inputted through the first and second microphones 10a and 10b when the folder or the slider of the mobile communication terminal is opened. When the noise is removed from the signal and recorded, or when the folder or the slider of the mobile communication terminal is closed, the noise and sound processing input by the voice and recording processing unit 20 through the second microphone 10b is removed, but additional filtering processing is performed. Although it is described that the recording is performed as it is, the present invention is not limited thereto, and the first and second microphones 10b are used by the voice and recording processing unit 20 when the voice recording is performed while the folder or the slider of the mobile communication terminal is opened. The sound signals of the first and second microphones 10a and 10b may be directly processed without noise removing processing or additional filtering processing of the input sound signal. As to how the recording can also be recorded.

본 발명은 상술한 설명에 한정되는 것은 아니고, 본 발명이 속하는 기술분야 에서 통상의 지식을 가진 자라면 본 발명을 여러 가지 형태로 변경하여 실시할 수 있을 것이며, 이와 같은 변경 실시는 본 발명의 기술적 범주에 해당한다 할 것이다.The present invention is not limited to the above description, and those of ordinary skill in the art will be able to implement the present invention in various forms. Will correspond to the category.

상술한 바와 같이, 본 발명은 복수의 마이크를 이용하여 음성 통화시에 주변 소음을 제거하여 고품질의 음성통화 및 화상통화가 가능하고, 사용자가 이동통신단말기를 열지 않고서도 음성 녹음이 가능하며, 음성을 녹음하거나 동영상 촬영시의 음향을 녹음하는 경우에 이동통신단말기에 구비되는 복수의 마이크를 효율적으로 활용하여 양질의 녹음이 가능하고, 이동통신단말기의 폴더나 슬라이더를 닫아 놓은 상태에서도 편리하게 녹음할 수 있으므로, 이동통신단말기의 사용 편리성을 향상시키게 된다.As described above, the present invention is capable of high quality voice calls and video calls by removing ambient noise during voice calls using a plurality of microphones, and enables voice recording without the user opening the mobile communication terminal. When recording the sound or recording the sound when shooting a video, it is possible to efficiently use a plurality of microphones provided in the mobile communication terminal to record high quality, and to conveniently record even when the folder or the slider of the mobile terminal is closed. Therefore, the usability of the mobile communication terminal can be improved.

도 1은 본 발명에 따른 이동통신단말기에서의 음성 처리 장치의 구성을 도시한 도.1 is a diagram illustrating a configuration of a speech processing apparatus in a mobile communication terminal according to the present invention.

도 2는 본 발명에 따른 이동통신단말기에서의 음성 처리 장치에서 음성 녹음 기능 처리부에 구비되는 스테레오 처리부의 구성을 도시한 도.2 is a diagram illustrating a configuration of a stereo processing unit provided in a voice recording function processing unit in a speech processing apparatus in a mobile communication terminal according to the present invention.

도 3은 본 발명에 따른 이동통신단말기에서의 마이크 배치의 일 예를 도시한 도.3 is a diagram illustrating an example of a microphone arrangement in a mobile communication terminal according to the present invention;

도 4는 본 발명에 따른 이동통신단말기에서의 녹음 기능 키의 배치 예를 도시한 도.4 is a diagram showing an example of arrangement of recording function keys in a mobile communication terminal according to the present invention;

도 5는 본 발명에 따른 이동통신단말기에서의 음성 처리 장치에서 음성 처리하는 과정을 도시한 흐름도.5 is a flowchart illustrating a process of processing a speech in a speech processing apparatus in a mobile communication terminal according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10a, 10b; 제1 및 제2 마이크 20; 음성 및 잡음 처리부10a, 10b; First and second microphones 20; Voice and noise processor

21; 음성신호식별부 22; 노이즈 처리부21; Voice signal identifying unit 22; Noise processor

23; 신호 필터링/결합 처리부 30; 제어부23; A signal filtering / combining processor 30; Control

40; 사용자 키 입력부 50; 서비스 선택부40; A user key input unit 50; Service selector

60; 음성녹음기능 처리부 70; 음성 코덱 처리부60; Voice recording function processing unit 70; Voice codec processing unit

80; 메모리 90; 모뎀80; Memory 90; modem

Claims (10)

이동통신단말기의 본체에 설치되어 음향 신호의 입력을 위한 주 마이크로 사용되는 제1 마이크와;A first microphone installed in a main body of the mobile communication terminal and used as a main microphone for inputting an acoustic signal; 상기 제1 마이크와 다른 방향으로 이동통신단말기의 외부에 노출되도록 설치되어 음향 신호의 입력을 위한 보조 마이크로 사용되는 제2 마이크와;A second microphone installed to be exposed to the outside of the mobile communication terminal in a direction different from the first microphone and used as an auxiliary microphone for inputting an acoustic signal; 상기 제1 및 제2 마이크를 통해 음향 신호를 입력받아서 잡음을 제거하여 출력하는 음성 및 잡음 처리부와;A voice and noise processor configured to receive an acoustic signal through the first and second microphones, remove noise, and output the noise; 상기 음성 및 잡음 처리부로부터 입력되는 신호를 경로 전환하여 전달하는 서비스 선택부와;A service selector for converting and transferring a signal input from the voice and noise processor; 상기 서비스 선택부를 통해 전달되는 신호를 인코딩하여 메모리에 저장시켜 녹음하는 음성녹음기능 처리부와;A voice recording function processor which encodes the signal transmitted through the service selector, stores the signal in a memory, and records the same; 상기 서비스 선택부를 통해 전달되는 신호를 코딩하여 모뎀에 출력하는 음성 코덱 처리부와;A voice codec processor for coding a signal transmitted through the service selector and outputting the signal to a modem; 사용자 기능 키의 입력에 따라 상기 제1 및 제2 마이크를 활성화하고 상기 음성 및 잡음 처리부와 상기 서비스 선택부의 동작을 제어하는 제어부를 포함하되,A control unit for activating the first and second microphones according to an input of a user function key and controlling operations of the voice and noise processing unit and the service selection unit, 상기 음성녹음기능 처리부는 상기 제1 및 제2 마이크를 통하여 입력되는 음향 신호를 스테레오 처리하기 위한 스테레오 처리부를 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 장치.The voice recording function processing unit includes a stereo processing unit for stereo processing of the sound signals input through the first and second microphones. 제1항에 있어서, 상기 스테레오 처리부는,The method of claim 1, wherein the stereo processing unit, 상기 제1 마이크의 입력 신호 및 상기 제2 마이크의 입력신호를 동기화시키기 위하여, 상기 제1 마이크의 입력 신호를 지연시킬 수 있는 제1 지연시간 조정부와 상기 제2 마이크의 입력 신호를 지연시킬 수 있는 제2 지연시간 조정부;In order to synchronize the input signal of the first microphone and the input signal of the second microphone, the first delay time adjusting unit that can delay the input signal of the first microphone and the input signal of the second microphone can be delayed A second delay time adjusting unit; 상기 동기화된 제1 마이크의 입력 신호를 정해진 시간동안 지연시키는 제1 지연시간 제어부;A first delay time controller configured to delay an input signal of the synchronized first microphone for a predetermined time; 상기 제1지연시간 제어부의 출력값을 정해진 비율로 감쇄시키는 제1승산기;A first multiplier configured to attenuate an output value of the first delay time controller at a predetermined ratio; 상기 제1승산기의 출력값과 상기 제2지연시간 조정부의 출력값을 합산하는 제2가산기;A second adder for adding the output value of the first multiplier and the output value of the second delay time adjusting unit; 상기 동기화된 제2 마이크의 입력 신호를 정해진 시간동안 지연시키는 제2 지연시간 제어부;A second delay time controller configured to delay an input signal of the synchronized second microphone for a predetermined time; 상기 제2지연시간 제어부의 출력값을 정해진 비율로 감쇄시키는 제2승산기;A second multiplier configured to attenuate an output value of the second delay time controller at a predetermined ratio; 상기 제2승산기의 출력값과 상기 제1지연시간 조정부의 출력값을 합산하는 제2가산기; 및A second adder for summing an output value of the second multiplier and an output value of the first delay time adjusting unit; And 상기 제1가산기의 출력과 상기 제2가산기의 출력을 인코딩하는 음향 코덱 처리부를 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 장치.And a sound codec processing unit for encoding the output of the first adder and the output of the second adder. 제1항에 있어서,The method of claim 1, 상기 음성 및 잡음 처리부는, The voice and noise processing unit, 상기 제어부의 제어에 따라 동작 수행하고, 상기 제1 및 제2 마이크를 통해 신호를 입력받으면 자체에 구비된 음성신호 식별을 위한 신호식별정보에 의거하여 입력 신호로부터 음성신호를 식별하여 출력하는 음성신호식별부와;The voice signal performs an operation under the control of the controller and, upon receiving a signal through the first and second microphones, identifies and outputs a voice signal from the input signal based on signal identification information for identifying the voice signal provided therein. Identification unit; 상기 제어부의 제어에 따라 동작 수행하고, 상기 음성신호식별부로부터의 입력 음성신호에서 상기 제2 마이크를 통해 입력된 신호의 잡음에 의거하여 잡음을 제거하거나, 상기 음성신호식별부로부터의 음성신호와 제2 마이크로부터의 신호를 노이즈 제거 처리 없이 그대로 바이패스(Bypass) 하는 노이즈 처리부와;Perform the operation according to the control of the controller, remove the noise based on the noise of the signal input through the second microphone from the input voice signal from the voice signal identification unit, or the voice signal from the voice signal identification unit A noise processing unit for bypassing the signal from the second micro signal without noise removal processing; 상기 제어부의 제어에 따라 동작 수행하고, 상기 노이즈 처리부를 통해 입력받은 잡음 제거된 신호에 대해 추가적인 필터링을 수행하거나, 상기 노이즈 처리부를 통해 바이패스 받은 두 입력 신호를 결합하여 상기 서비스 선택부로 전달하는 신호 필터링/결합 처리부를 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 장치.A signal which performs an operation under the control of the controller, performs additional filtering on the noise canceled signal received through the noise processor, or combines two input signals bypassed through the noise processor to transmit to the service selector. And a filtering / combining processing unit. 제어부에서 동영상 촬영 기능이 선택되는 경우에 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 그대로 바이패스하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에서 스테레오 처리하여 인코딩하여 메모리에 저장하 여 스테레오 방식으로 녹음하는 과정을 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.When the video recording function is selected in the control unit, the first and second microphones are activated, and the voice and noise processing unit does not perform a noise removing process or an additional filtering process on the signal received through the first and second microphones. And bypassing the signals of the first and second microphones as they are, passing them through the service selection unit to the voice recording function processing unit, stereo processing by the voice recording function processing unit, encoding the encoded signals, storing them in a memory, and recording them in a stereo manner. A voice processing method in a mobile communication terminal, characterized in that. 제4항에 있어서,The method of claim 4, wherein 제어부에서 동영상 촬영 기능이 선택되는 경우에 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 결합하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해서 인코딩하여 메모리에 저장하여 모노 방식으로 녹음하는 과정을 더 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.When the video recording function is selected in the control unit, the first and second microphones are activated, and the voice and noise processing unit does not perform a noise removing process or an additional filtering process on the signal received through the first and second microphones. And combining the signals of the first and second microphones and transferring the signals through the service selection unit to the voice recording function processing unit, encoding the voice recording function processing unit, storing the signals in a memory, and recording them in a mono manner. Voice processing method in communication terminal. 제4항에 있어서,The method of claim 4, wherein 제어부에서 음성 통화 기능이 선택되는 경우에 음향 신호 주 입력용으로 사용하기 위한 제1 마이크와 외부에 노출되게 상기 제1 마이크와 다른 방향에 설치되어 음향 신호 보조 입력용으로 사용하기 위한 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 마이크로부터 입력된 신호에서 제2 마이크로부터 입력된 신호의 잡음에 의거하여 잡음을 제거한 후 추가 필터링하여 서비스 선택부를 통해 음성 코덱 처리부에 전달하여, 음성 코덱 처리부에 의해 코딩하여 모뎀에 출력하는 과정을 더 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.When the voice call function is selected in the control unit, the first microphone is used for the main input of the acoustic signal and the second microphone is installed in a different direction from the first microphone so as to be exposed to the outside. The voice and noise processing unit removes the noise based on the noise of the signal input from the second microphone from the signal input from the first microphone, and then further filters and transfers it to the voice codec processing unit through the service selection unit. The method for processing a voice in a mobile communication terminal, characterized in that it further comprises the step of coding by the output to the modem. 제6항에 있어서,The method of claim 6, 상기 제어부에서 음성 녹음 기능이 선택되는 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 열린 상태에 있으면 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 마이크로부터 입력된 신호에서 제2 마이크로부터 입력된 신호의 잡음에 의거하여 잡음을 제거한 후 추가 필터링하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 더 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.When the voice recording function is selected in the control unit, if the folder or the slider of the mobile communication terminal is in the open state, the first and second microphones are activated, and the voice and noise processing unit generates a first input signal from the first microphone. And removing the noise based on the noise of the signal input from the two microphones, and then filtering and transferring the additional signal to the voice recording function processing unit through the service selection unit, encoding the voice recording function processing unit, and storing the same in the memory for recording. A voice processing method in a mobile communication terminal, characterized in that. 제7항에 있어서,The method of claim 7, wherein 상기 제어부에서 음성 녹음 기능이 선택되는 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 닫힌 상태에 있으면 상기 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제2 마이크의 신호를 그대로 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 더 포함하는 것을 특징으로 하는 이동통신단말 기에서의 음성 처리 방법.When the voice recording function is selected in the controller, if the folder or the slider of the mobile communication terminal is in the closed state, the second microphone is activated, and the noise and noise processing unit removes noise from the signal received through the second microphone. The method may further include transmitting the signal of the second microphone as it is through the service selection unit to the voice recording function processing unit without performing the processing or additional filtering process, encoding the voice signal by the voice recording function processing unit, and storing the signal in the memory. Voice processing method in a mobile communication terminal. 제7항에 있어서,The method of claim 7, wherein 상기 제어부에서 음성 녹음이 선택된 경우에 상기 이동통신단말기의 폴더 또는 슬라이더가 열린 상태에 있으면 상기 제1 및 제2 마이크를 활성화하고, 음성 및 잡음 처리부에서 상기 제1 및 제2 마이크를 통해 입력받은 신호에 대하여 잡음 제거 처리나 추가적인 필터링 처리를 하지 않고 제1 및 제2 마이크의 신호를 그대로 결합하여 서비스 선택부를 통해 음성녹음기능 처리부에 전달하여, 음성녹음기능 처리부에 의해 인코딩하여 메모리에 저장하여 녹음하는 과정을 더 포함하는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.When the voice recording is selected in the controller, when the folder or the slider of the mobile communication terminal is in the open state, the first and second microphones are activated, and a signal received through the first and second microphones by the voice and noise processing unit. The signal of the first and second microphones are combined as they are and are transmitted to the voice recording function processing unit through the service selection unit without noise reduction processing or additional filtering processing, and are encoded by the voice recording function processing unit and stored in the memory for recording. The voice processing method of the mobile communication terminal further comprising a process. 제8항에 있어서,The method of claim 8, 상기 이동통신단말기의 폴더 또는 슬라이더가 닫힌 상태에서 음성 녹음 기능을 선택하기 위한 녹음 기능 키는 이동통신단말기의 외부에 노출되도록 설치되어 있는 것을 특징으로 하는 이동통신단말기에서의 음성 처리 방법.And a recording function key for selecting a voice recording function while the folder or the slider of the mobile communication terminal is closed. The recording function key is provided so as to be exposed to the outside of the mobile communication terminal.
KR1020080016382A 2007-04-10 2008-02-22 Apparatus and Method for Voice Processing in Mobile Communication Terminal KR101450108B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080016382A KR101450108B1 (en) 2008-02-22 2008-02-22 Apparatus and Method for Voice Processing in Mobile Communication Terminal
JP2009548173A JP4847590B2 (en) 2007-04-10 2008-04-04 Voice processing apparatus and method in mobile communication terminal
US12/525,050 US8537977B2 (en) 2007-04-10 2008-04-04 Apparatus and method for voice processing in mobile communication terminal
CN200880009418.1A CN101641871B (en) 2007-04-10 2008-04-04 Apparatus and method for voice processing in mobile communication terminal
PCT/KR2008/001942 WO2008123721A1 (en) 2007-04-10 2008-04-04 Apparatus and method for voice processing in mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080016382A KR101450108B1 (en) 2008-02-22 2008-02-22 Apparatus and Method for Voice Processing in Mobile Communication Terminal

Publications (2)

Publication Number Publication Date
KR20090090861A true KR20090090861A (en) 2009-08-26
KR101450108B1 KR101450108B1 (en) 2014-10-14

Family

ID=41208592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080016382A KR101450108B1 (en) 2007-04-10 2008-02-22 Apparatus and Method for Voice Processing in Mobile Communication Terminal

Country Status (1)

Country Link
KR (1) KR101450108B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426567B2 (en) 2012-10-22 2016-08-23 Samsung Electronics Co., Ltd. Electronic device for microphone operation
US9947363B2 (en) 2013-08-26 2018-04-17 Samsung Electronics Co., Ltd. Method for voice recording and electronic device thereof
KR20190077636A (en) * 2017-12-12 2019-07-04 (주)빅스톤하우스 Companion animal healthcare artificial intelligence system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040070966A (en) * 2003-02-05 2004-08-11 삼성전자주식회사 Stereo Recordable Mobile Communication Terminal
KR100798623B1 (en) * 2007-04-10 2008-01-28 에스케이 텔레콤주식회사 Apparatus and method for voice processing in mobile communication terminal

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426567B2 (en) 2012-10-22 2016-08-23 Samsung Electronics Co., Ltd. Electronic device for microphone operation
US9947363B2 (en) 2013-08-26 2018-04-17 Samsung Electronics Co., Ltd. Method for voice recording and electronic device thereof
US10332556B2 (en) 2013-08-26 2019-06-25 Samsung Electronics Co., Ltd. Method for voice recording and electronic device thereof
US11049519B2 (en) 2013-08-26 2021-06-29 Samsung Electronics Co., Ltd. Method for voice recording and electronic device thereof
KR20190077636A (en) * 2017-12-12 2019-07-04 (주)빅스톤하우스 Companion animal healthcare artificial intelligence system

Also Published As

Publication number Publication date
KR101450108B1 (en) 2014-10-14

Similar Documents

Publication Publication Date Title
JP4847590B2 (en) Voice processing apparatus and method in mobile communication terminal
KR100798623B1 (en) Apparatus and method for voice processing in mobile communication terminal
RU2653355C2 (en) Volume adjustment method and apparatus and terminal
US8630685B2 (en) Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
US20140072133A1 (en) Decisions on ambient noise suppression in a mobile communications handset device
CN104243732A (en) Use of vibration sensor in acoustic echo cancellation
CN102165521A (en) Multiple microphone switching and configuration
CN101783828A (en) Sound signal adjustment apparatus and method, and telephone device
JP2006229401A (en) Electronic camera, noise reduction device, and noise reduction control program
JP4727542B2 (en) Electronic device, echo cancellation method thereof, echo cancellation program thereof, recording medium, and circuit board
CN102271197B (en) User interface tone echo cancellation
KR20090090861A (en) Apparatus and method for voice processing in mobile communication terminal
KR100833106B1 (en) Mobile communication terminal and its operating method
JP5745475B2 (en) Echo cancellation method, system and devices
JP2006238148A (en) Handsfree telephone device
KR100936830B1 (en) Relay system of video conference
CN111383648B (en) Echo cancellation method and device
JP4841526B2 (en) Telephone call recording device
KR101760857B1 (en) Apparatus and method for controlling of earphone connecting with amplifier
JP2007124255A (en) Ip telephone and its control method
JPH089317A (en) Video and audio signal recording device
JP2015220482A (en) Handset terminal, echo cancellation system, echo cancellation method, program
KR101817774B1 (en) A Hearing Aid Having a Structure of Regulating a Input Signal
JP2004312144A (en) Mobile terminal
JP2006166203A (en) Call control unit and call control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee