KR20050101496A - A device and method for controlling audio volume - Google Patents

A device and method for controlling audio volume Download PDF

Info

Publication number
KR20050101496A
KR20050101496A KR1020040026867A KR20040026867A KR20050101496A KR 20050101496 A KR20050101496 A KR 20050101496A KR 1020040026867 A KR1020040026867 A KR 1020040026867A KR 20040026867 A KR20040026867 A KR 20040026867A KR 20050101496 A KR20050101496 A KR 20050101496A
Authority
KR
South Korea
Prior art keywords
audio output
signal level
voice signal
level
noise
Prior art date
Application number
KR1020040026867A
Other languages
Korean (ko)
Other versions
KR101062344B1 (en
Inventor
김하윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040026867A priority Critical patent/KR101062344B1/en
Priority to CNA2005100000252A priority patent/CN1691706A/en
Publication of KR20050101496A publication Critical patent/KR20050101496A/en
Application granted granted Critical
Publication of KR101062344B1 publication Critical patent/KR101062344B1/en

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04GSCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
    • E04G17/00Connecting or other auxiliary members for forms, falsework structures, or shutterings
    • E04G17/04Connecting or fastening means for metallic forming or stiffening elements, e.g. for connecting metallic elements to non-metallic elements
    • E04G17/045Connecting or fastening means for metallic forming or stiffening elements, e.g. for connecting metallic elements to non-metallic elements being tensioned by wedge-shaped elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명의 목적은 이동통신 단말기 주변의 잡음신호는 물론 사용자의 음성신호를 감안하여 오디오출력을 제어함으로써 사용자의 구체적인 사용상태를 고려하면서도, 마이크와 별도로 구비된 주변잡음 측정장치가 주변의 잡음신호의 레벨을 감지하므로 오디오출력 조절의 신뢰도를 높일 수 있는 오디오출력자동조절장치를 제공하는 데에 있다.An object of the present invention is to control the audio output in consideration of the user's voice signal as well as the noise signal around the mobile communication terminal, while considering the specific use state of the user, the ambient noise measurement device provided separately from the microphone has a It is to provide an automatic audio output control device that can increase the reliability of audio output control by detecting the level.

이와 같은 목적을 달성하기 위한 본 발명의 오디오출력 자동조절장치는, 마이크에서 발생되는 음성신호를 송신하기 위하여 변조하는 변조부와, 수신되는 신호를 복조하여 오디오출력신호를 발생하는 복조부를 포함하는 오디오출력 자동조절장치에 있어서, 마이크에서 발생되는 음성신호에서 음성신호의 레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생부와, 이통통신 단말기 주변의 잡음신호의 레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정장치와, 상기 음성신호레벨 발생부에서 출력되는 음성신호레벨과 상기 주변잡음 측정장치에서 출력되는 잡음신호레벨을 합하여 상기 복조부의 오디오출력신호의 크기를 제어하는 오디오출력 제어부를 포함하여 이루어진다.An audio output automatic control apparatus of the present invention for achieving the above object, the audio including a modulator for modulating to transmit a voice signal generated by the microphone, and a demodulator for demodulating the received signal to generate an audio output signal In the automatic output control device, a voice signal level generating unit for generating a voice signal level by detecting the level of the voice signal from the voice signal generated by the microphone, and a noise signal level by detecting the level of the noise signal around the communication terminal And an audio output control unit for controlling the size of the audio output signal of the demodulator by adding the generated ambient noise measuring device and the voice signal level output from the voice signal level generator and the noise signal level output from the peripheral noise measuring device. It is done by

Description

오디오출력 자동조절장치 및 그 방법 {A Device and Method for Controlling Audio Volume}Audio output automatic control device and method {A Device and Method for Controlling Audio Volume}

본 발명은 오디오출력 자동조절장치 및 그 방법에 관한 것으로, 특히 이동통신 단말기로 전화통화를 함에 있어 마이크를 통해 입력되는 음성신호와 마이크와 별도로 구비된 주변잡음 측정장치를 통해 입력되는 잡음신호를 처리하여 오디오출력을 자동으로 조절하는 장치 및 방법에 관한 것이다.The present invention relates to an audio output automatic control device and a method thereof, in particular, in a telephone call to a mobile communication terminal, a voice signal input through a microphone and a noise signal input through an ambient noise measurement device provided separately from the microphone. The present invention relates to an apparatus and a method for automatically adjusting audio output.

종래의 이동통신 단말기로 전화통화를 하는 경우, 주변잡음에 의하여 수화음이 작게 들려서 오디오출력을 높이거나 반대로 수화음이 너무 크게 들려서 오디오출력을 줄이고자 할때, 단말기 측면에 설치된 조절키를 직접 조작하여 오디오출력을 조절하도록 되어있었다.When making a telephone call with a conventional mobile communication terminal, when the sound signal is low due to the ambient noise, the audio output is increased, or when the audio signal is too high to reduce the audio output, the control key installed on the side of the terminal is directly operated. To control the audio output.

그러나 이러한 구성의 종래의 이동통신 단말기는 주변잡음이 변하여 수화음의 가청도(可聽度)가 매순간 변할때마다 일일이 오디오출력을 직접 조절하여야 하여야 하므로 많은 불편이 있었다.However, the conventional mobile communication terminal of such a configuration has a lot of inconvenience because the surrounding noise is changed and the audio output must be adjusted manually every time the audibility of the sign language changes every minute.

이러한 문제점을 해결하기 위하여 스피커 출력레벨을 자동으로 제어하도록 하는 대한민국 공개특허공보 제1999-59048호의 발명이 제안된 바 있다.In order to solve this problem, the invention of the Republic of Korea Patent Publication No. 1999-59048 has been proposed to automatically control the speaker output level.

대한민국 공개특허공보 제1999-59048호의 고주파필터를 이용한 스피커출력 자동조절장치는 도 1에서 도시된 바와 같이, 변조된 고주파신호를 안테나로 송신하기 위한 송신부(12) 및 안테나를 통해 수신되는 신호를 수신하는 수신부(11)로 이루어진 무선송수신단(10)과, 음성신호를 송신신호로 변조하여 송신부(12)로 출력하기 위한 변조부(22) 및 수신부(11)의 출력신호를 음성신호로 복조하기 위한 복조부(21)로 구성된 변복조수단(20)과, 마이크(34)를 통해 입력되는 음성신호를 수신하기 위한 신호입력부(33) 및 상기 복조부(21)에서 출력되는 음성신호를 증폭하여 스피커(32)로 출력시키기 위한 신호출력부(31)로 구성된 신호입출력수단(30), 및 주위의 노이즈를 검출하기 위한 고주파필터(41)를 갖는 노이즈 검출수단(40)을 구비하여 이루어진다. 미설명된 도면부호 42는 소형마이크이다.Speaker output automatic control apparatus using a high frequency filter of the Republic of Korea Patent Publication No. 1999-59048, as shown in Figure 1, receives a signal received through the transmitter 12 and the antenna for transmitting the modulated high frequency signal to the antenna Demodulating the output signals of the modulator 22 and the receiver 11 for modulating the voice signal into a transmission signal and outputting the modulated voice signal to the transmitter 12 to the transmitter 12. A demodulation means (20) comprising a demodulator (21) for receiving, a signal input unit (33) for receiving a voice signal input through the microphone (34), and amplified voice signal output from the demodulator (21). And a noise detecting means 40 having a signal input / output means 30 composed of a signal output part 31 for outputting to the 32, and a high frequency filter 41 for detecting ambient noise. Unexplained reference numeral 42 denotes a small microphone.

이와 같은 구성을 가지는 상기의 발명에 의하면 고주파필터를 이용하여 주위의 노이즈에 따라 핸드폰의 스피커 출력레벨을 자동으로 제어할 수가 있게 되어 통화감도를 크게 향상시킬 수 있는 효과가 있다.According to the above invention having such a configuration, it is possible to automatically control the speaker output level of the mobile phone according to the ambient noise by using the high frequency filter, thereby greatly improving the call sensitivity.

그러나 대한민국 공개특허공보 제1999-59048호의 발명은 핸드폰의 스피커 출력레벨을 자동으로 제어함에 있어 제어 인자로서 단순히 주위의 노이즈만을 고려하므로 사용자의 사용상태를 고려하지 못하는 문제가 있었다. However, the invention of Korean Patent Laid-Open Publication No. 1999-59048 has a problem in that it does not consider the user's use state because it merely considers the ambient noise as a control factor in automatically controlling the speaker output level of the cellular phone.

예로써, 핸드폰 사용자가 술에 취한 상태 등에 있는 경우에는 청음능력이 떨어지게 되므로 주위의 노이즈가 적더라도 소리를 잘 들을 수 없게 되나, 상기의 발명은 이 경우에도 단순히 주위의 노이즈가 적기 때문에 스피커 출력레벨이 낮도록 제어하므로 사용자는 스피커 출력음을 잘 들을 수 없게 된다.For example, if the user of the mobile phone is in a drunk state, etc., the hearing ability is reduced, so that even if there is less ambient noise, the sound cannot be heard well. This low control prevents the user from hearing the speaker output.

대한민국 등록특허공보 제10-225358호의 발명은 상기한 문제를 감안하여 주변 잡음 외에 사용자 음성을 근거로 수신음량을 자동조정할 수 있게 하였다.Invention of the Republic of Korea Patent Publication No. 10-225358 in consideration of the above-described problem was able to automatically adjust the received volume based on the user's voice in addition to the ambient noise.

대한민국 등록특허공보 제10-225358호의 수신음량 자동조정기능을 갖춘 이동통신 단말기는, 가청음의 음성을 입력받아 이를 전기적인 신호로 변환출력하는 음성입력부(50)와 소정 제어신호에 따라 스피커(51)를 통해 출력되는 수신음량을 조절하는 음성처리부(55)가 구비된 이동단말기에 있어서, 음성입력부(50)를 통해 입력되는 음성신호를 소정 레벨로 증폭하는 증폭부(60)와, 이 증폭부에 의해 증폭된 아날로그 음성신호를 디지탈신호로 변환출력하는 A/D변환기(65), 사용자 음성과 주변 소음입력을 구별하기 위한 소정 기준데이터가 저장되어 있는 음성판별 기준레벨 저장부(70), 주변 잡음에 의한 음성입력으로 확인된 신호에 대하여 그 입력신호레벨을 데이터로서 저장설정하는 잡음레벨데이터 저장부(75), 사용자 음성으로서 확인된 신호의 입력레벨을 데이터로서 저장하는 음성레벨데이터 저장부(80), 잡음레벨과 사용자음성레벨의 순서쌍에 대응되는 음량조절값이 데이터로서 저장되어 있는 음량조절데이터 저장부(85), 및 잡음레벨데이터 저장부(75)와 음성레벨데이터 저장부(80)에 설정되어 있는 데이터를 근거로 음량조절데이터 저장부(85)로부터 현재의 음성검출레벨에 대응되는 제어데이터를 독출하여 그 독출된 제어데이터로서 음량조절을 실행하는 제어부(90)를 포함하여 구성되어 이루어진다.The mobile communication terminal having a receiving volume automatic adjustment function of Korean Patent Publication No. 10-225358 includes a voice input unit 50 for receiving an audible sound and converting it into an electrical signal and a speaker 51 according to a predetermined control signal. In the mobile terminal equipped with a voice processing unit 55 for adjusting the received volume output through the amplification unit 60 for amplifying a voice signal input through the voice input unit 50 to a predetermined level, and the amplification unit A / D converter 65 for converting and outputting the analog voice signal amplified by the digital signal, voice discrimination reference level storage unit 70 for storing predetermined reference data for distinguishing the user voice from the ambient noise input, and ambient noise A noise level data storage unit 75 for storing and setting the input signal level as data with respect to the signal confirmed by the voice input by Voice level data storage unit 80 to store the data, volume control data storage unit 85 in which volume control values corresponding to the ordered pairs of noise level and user voice level are stored as data, and noise level data storage unit 75 And the control data corresponding to the current voice detection level are read from the volume control data storage unit 85 based on the data set in the voice level data storage unit 80 and volume control is performed as the read control data. The control unit 90 is configured to include.

이와 같은 구성을 가지는 상기의 발명은 송화부를 통해 입력되는 사용자 음성 및 주변 잡음 입력레벨을 검출하여 그 검출된 음성레벨을 근거로 수신음량을 자동조정할 수 있도록 함으로써 사용자로 하여금 단말기 사용도중에 주변의 소음을 이유로 수신음량을 일일이 조정하여야 하는 불편을 해소시킬 수 있게 된다.The present invention having such a configuration detects the user's voice and the ambient noise input level input through the transmitter and allows the user to automatically adjust the received volume based on the detected voice level, thereby allowing the user to reduce the ambient noise while the terminal is in use. For this reason, it is possible to solve the inconvenience of having to adjust the reception volume manually.

그러나 대한민국 등록특허공보 제10-225358호의 발명은 마이크로 폰을 통해 입력되는 음성에서 음성판별 기준레벨 저장부(70)에 설정된 기준데이터를 근거로 음성신호와 잡음신호를 구별하여 수신음량을 자동으로 조정하므로, 음성판별 기준레벨 저장부에 설정된 기준데이터가 충분하지 못하거나 시스템이 완벽하지 못하여 음성신호와 잡음신호의 판정이 잘못 수행될 때에는 오히려 수신음량이 상황에 어긋나도록 조정될 우려가 있으므로 수신음량 조정의 신뢰도가 떨어지는 문제점이 있었다.However, the invention of Republic of Korea Patent Publication No. 10-225358 automatically adjusts the received volume by distinguishing the voice signal and the noise signal based on the reference data set in the voice discrimination reference level storage unit 70 in the voice input through the microphone Therefore, when the reference data set in the voice discrimination reference level storage unit is insufficient or the system is not perfect and the judgment of the voice signal and the noise signal is wrongly performed, the received volume may be adjusted to be inconsistent with the situation. There was a problem of low reliability.

본 발명의 목적은 상기한 문제점들을 해결하기 위하여, 이동통신 단말기 주변의 잡음신호는 물론 사용자의 음성신호를 감안하여 오디오출력을 제어함으로써 사용자의 구체적인 사용상태를 고려하면서도, 마이크와 별도로 구비된 주변잡음 측정장치가 주변의 잡음신호의 레벨을 감지하므로 오디오출력 조절의 신뢰도를 높일 수 있는 오디오출력 자동조절장치를 제공하는 데에 있다. An object of the present invention is to solve the above problems, while controlling the audio output in consideration of the user's voice signal as well as the noise signal around the mobile communication terminal, while considering the specific use state of the user, the ambient noise provided separately from the microphone It is to provide an audio output automatic control device that can increase the reliability of audio output control because the measuring device senses the level of the surrounding noise signal.

본 발명의 또다른 목적은 음성신호와 잡음신호의 레벨에 각기 가중치를 부여함으로써, 사용자 개인의 청음능력이나 음성 크기 등을 미리 반영하여 오디오출력이 최적의 상태가 되도록 조절 가능한 오디오출력 자동조절장치를 제공하는 것이다.Another object of the present invention is to provide an audio output auto-adjustment device that can adjust the audio output to an optimal state by applying weights to the levels of the voice signal and the noise signal, respectively, to reflect the user's hearing ability and the size of the voice in advance. To provide.

본 발명의 또다른 목적은 오디오출력이 일정치 이상이 되면 별도로 구비된 외부스피커에서 오디오출력이 되도록 함으로써 사용자의 가청도를 향상시키는 오디오출력 자동조절장치를 제공하는 것이다.Still another object of the present invention is to provide an audio output auto-adjustment device that improves audibility of a user by allowing audio output from an external speaker separately provided when the audio output becomes a predetermined value or more.

한편, 본 발명의 또다른 목적은 상기한 기술적 과제를 해결하는 오디오출력자동조절방법을 제공하는 것이다.On the other hand, another object of the present invention is to provide a method for automatically adjusting the audio output to solve the above technical problem.

이와 같은 목적을 달성하기 위한 본 발명의 오디오출력 자동조절장치는, 마이크에서 발생되는 음성신호를 송신하기 위하여 변조하는 변조부와, 수신되는 신호를 복조하여 오디오출력신호를 발생하는 복조부를 포함하는 오디오출력 자동조절장치에 있어서, 마이크에서 발생되는 음성신호에서 음성신호의 레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생부와, 이통통신 단말기 주변의 잡음신호의 레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정장치와, 상기 음성신호레벨 발생부에서 출력되는 음성신호레벨과 상기 주변잡음 측정장치에서 출력되는 잡음신호레벨을 합하여 상기 복조부의 오디오출력신호의 크기를 제어하는 오디오출력 제어부를 포함하여 이루어진다.An audio output automatic control apparatus of the present invention for achieving the above object, the audio including a modulator for modulating to transmit a voice signal generated by the microphone, and a demodulator for demodulating the received signal to generate an audio output signal In the automatic output control device, a voice signal level generating unit for generating a voice signal level by detecting the level of the voice signal from the voice signal generated by the microphone, and a noise signal level by detecting the level of the noise signal around the communication terminal And an audio output control unit for controlling the size of the audio output signal of the demodulator by adding the generated ambient noise measuring device and the voice signal level output from the voice signal level generator and the noise signal level output from the peripheral noise measuring device. It is done by

상기의 오디오출력 제어부는, 상기 음성신호레벨에 가중치를 부여하는 제1가중치 부여부와, 상기 잡음신호레벨에 가중치를 부여하는 제2가중치 부여부와, 상기 가중치 부여부에서 가중치가 부여된 음성신호레벨과 잡음신호레벨을 합성하여 오디오출력신호를 제어할 제어신호를 발생시키는 가산부를 포함하여 이루어진다.The audio output controller may include a first weighting unit for weighting the voice signal level, a second weighting unit for weighting the noise signal level, and a weighted voice signal in the weighting unit. And an adder which synthesizes the level and the noise signal level to generate a control signal for controlling the audio output signal.

본 발명의 오디오출력 자동조절장치에는, 상기의 오디오출력신호의 레벨이 일정치 이상이 되면 별도로 구비된 외부스피커를 작동시켜 외부스피커에서 오디오출력이 되도록하는 외부스피커 작동부가 추가로 포함되어 이루어진다.The audio output automatic control device according to the present invention further includes an external speaker operating unit for operating an external speaker provided to the audio output from the external speaker when the level of the audio output signal reaches a predetermined value or more.

이러한 구성으로 이루어진 본 발명의 오디오출력 자동조절장치의 바람직한 일 실시예를 첨부한 도면에 의하여 상세히 설명하면 다음과 같다.When described in detail with reference to the accompanying drawings a preferred embodiment of the automatic audio output control apparatus of the present invention having such a configuration as follows.

도 3은 본 발명의 오디오출력 자동조절장치의 블럭구성도이다.3 is a block diagram of the automatic audio output control apparatus of the present invention.

본 발명의 오디오출력 자동조절장치(100)는, 마이크(110)에서 발생되는 음성신호를 송신하기 위하여 변조하는 변조부(140)와, 수신되는 신호를 복조하여 오디오출력신호를 발생하는 복조부(150)를 포함하는 이동통신 단말기의 오디오출력 자동조절장치에 있어서, 마이크(110)에서 발생되는 음성신호에서 음성신호의 레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생부(200)와, 이통통신 단말기 주변의 잡음신호의 레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정장치(300)와, 음성신호레벨 발생부(200)에서 출력되는 음성신호레벨과 상기 주변잡음 측정장치(300)에서 출력되는 잡음신호레벨을 합하여 복조부(150)의 오디오출력신호의 크기를 제어하는 오디오출력 제어부(400)를 포함하여 이루어지며, 이때 오디오출력 제어부(400)는, 상기 음성신호레벨에 가중치를 부여하는 제1가중치 부여부(410)와, 상기 잡음신호레벨에 가중치를 부여하는 제2가중치 부여부(420)와, 상기 가중치부여부(410, 420)에서 가중치가 부여된 음성신호레벨과 잡음신호레벨을 합성하여 오디오출력신호를 제어할 제어신호를 발생시키는 가산부(430)를 포함하여 이루어진다.Audio output automatic control device 100 of the present invention, the modulator 140 for modulating in order to transmit the voice signal generated by the microphone 110, and a demodulator for demodulating the received signal to generate an audio output signal ( In the audio output automatic adjustment device of the mobile communication terminal comprising: a voice signal level generator 200 for detecting the level of the voice signal from the voice signal generated by the microphone 110 to generate a voice signal level; Peripheral noise measuring device 300 to detect the level of the noise signal around the communication terminal to generate a noise signal level, the voice signal level output from the voice signal level generator 200 and the peripheral noise measuring device 300 And an audio output controller 400 for controlling the magnitude of the audio output signal of the demodulator 150 by adding the noise signal levels output from the demodulator 150. A first weighting unit 410 for weighting a call level, a second weighting unit 420 for weighting the noise signal level, and weights in the weighting units 410 and 420 And an adder 430 for synthesizing the voice signal level and the noise signal level to generate a control signal for controlling the audio output signal.

사용자가 이동통신 단말기로 전화통화를 시작하면, 음성신호레벨 발생부(200)는 마이크(110)에서 발생된 음성신호를 입력받아 음의 크기를 나타내는 음성신호레벨을 발생하여 제1 가중치 부여부(410)로 인가한다.When the user starts a phone call to the mobile communication terminal, the voice signal level generator 200 receives the voice signal generated by the microphone 110 and generates a voice signal level indicating the loudness to generate a first weighting unit ( 410).

주변잡음 측정장치(300)는 이동통신 단말기의 주변잡음을 검출하여 음의 크기를 나타내는 잡음신호레벨을 발생하여 제2 가중치 부여부(420)로 인가한다.The ambient noise measuring apparatus 300 detects the ambient noise of the mobile communication terminal, generates a noise signal level indicating the loudness, and applies the generated noise signal level to the second weighting unit 420.

주변잡음 측정장치(300)는 음압센서(미도시)를 포함하되, 음압센서는 이동통신 단말기 사용자의 입과 가급적 멀리 떨어진 부분, 예로써 안테나부분 등에 구비되는 것이 사용자의 음성신호의 영향을 적게 받으면서 잡음신호를 검출하는데에 바람직하다.Ambient noise measurement device 300 includes a sound pressure sensor (not shown), the sound pressure sensor is provided as far away as possible from the mouth of the user of the mobile communication terminal, for example, the antenna portion is less affected by the user's voice signal It is desirable for detecting noise signals.

음성신호레벨발생부(200)에서 발생된 음성신호레벨과 주변잡음 측정장치(300)에서 발생된 잡음신호레벨은, 각기 마이크(110)에서 검출되는 음성과 음압센서에서 검출되는 주변잡음의 음압의 크기를 나타낸다. 예로써, 순시적인 음압의 크기를 순시적인 진폭의 크기로 나타내는 신호가 될 수 있다.The sound signal level generated by the sound signal level generating unit 200 and the noise signal level generated by the ambient noise measuring device 300 are the sound pressures of the sound detected by the microphone 110 and the ambient noise detected by the sound pressure sensor, respectively. Indicates the size. For example, it may be a signal indicating the magnitude of the instantaneous sound pressure as the magnitude of the instantaneous amplitude.

제1가중치 부여부(410) 및 제2가중치 부여부(420)는 음성신호레벨 발생부(200)에서 인가된 음성신호레벨과 잡음신호레벨 발생부(300)에서 인가된 잡음신호레벨에 미리 설정된 가중치를 적용한다. The first weighting unit 410 and the second weighting unit 420 are preset to the voice signal level applied by the voice signal level generator 200 and the noise signal level applied by the noise signal level generator 300. Apply weights.

가중치를 적용함에 있어서는 증폭회로를 통하여 음성신호레벨과 잡음신호레벨에 가중치만큼 증폭을 가하는 것이 가능하다.In applying the weights, it is possible to amplify the voice signal level and the noise signal level by weight through the amplification circuit.

가중치가 높게 적용되면 동일한 조건하에서 오디오출력은 크게 된다. 단순히 산술적인 적용을 예로 들자면, 동일한 사용자 음성신호와 동일한 주변잡음의 조건하에서, 적용되는 음성신호레벨에 대한 가중치가 2배가 되고 잡음신호레벨에 대한 가중치가 2배가 되면 전체적인 오디오출력은 4배가 되는 것이다.The higher the weight, the greater the audio output under the same conditions. As an example of arithmetic application, under the conditions of the same user's voice signal and the same ambient noise, the weight of the applied voice signal level is doubled and the weight of the noise signal level is doubled, resulting in four times the overall audio output. .

가중치는 이동통신 단말기를 사용하는 사용자의 특성에 따라서 다르게 설정된다. 즉, 동일한 주변잡음에도 사용자의 목소리 크기는 다를 수 있으므로, 음성이 원래 큰 사용자는 적은 가중치를 적용하고 음성이 원래 작은 사용자는 높은 가중치를 적용하여, 결과적으로 사용자의 목소리 크기에 무관하게 유사한 크기의 오디오출력을 하도록 설정할 수 있다.The weight is set differently according to the characteristics of the user who uses the mobile communication terminal. In other words, the user's voice size may be different in the same ambient noise, so that the user with the original voice with a small weight is applied and the user with the original voice with a high weight is applied. Audio output can be set.

또한 사용자의 청음능력을 고려하여, 청음능력이 좋은 사람은 낮은 가중치를 적용하고 청음능력이 나쁜 사람은 높은 가중치를 적용하여, 상이한 청음능력을 가진 사용자들에게 실제로 청취되어지는 오디오출력의 정도 즉, 가청도는 유사하게 되도록 설정할 수 있다.Also, considering the user's hearing ability, low weights are applied to those with good hearing ability and high weights to those with poor hearing ability, so that the degree of audio output actually heard by users with different hearing ability, Audibleness can be set to be similar.

가산부(430)는 제1가중치 부여부(410)에서 가중치가 적용된 음성신호레벨과 제2가중치 부여부(420)에서 가중치가 적용된 잡음신호레벨을 합성하여, 복조부(150)를 제어하는 제어신호를 발생시키고, 복조부(150)는 제어신호를 감지하여 복조부(150)에서 출력되는 오디오출력신호를 제어하게 된다.The adder 430 controls the demodulator 150 by combining the voice signal level to which the weight is applied by the first weighting unit 410 and the noise signal level to which the weight is applied by the second weighting unit 420. The signal is generated, and the demodulator 150 detects a control signal to control the audio output signal output from the demodulator 150.

즉, 가산부(430)는 가중치부여부(410,420)에서 각기 증폭된 음성신호레벨과 잡음신호레벨을 합성하여 새로운 파형을 나타내는 제어신호를 발생시키며, 제어신호의 진폭의 크기에 의하여 오디오출력신호의 크기를 순시적으로 제어하는 것이 가능하다.That is, the adder 430 synthesizes the voice signal level and the noise signal level amplified by the weighting units 410 and 420, respectively, to generate a control signal representing a new waveform, and according to the amplitude of the control signal, It is possible to control the size instantaneously.

가산부(430)에서 합성된 제어신호는 복조부(150)의 수신이득(Rx Gain)이나 오디오출력신호의 증폭도를 제어함으로써 오디오출력신호를 제어할 수 있다.The control signal synthesized by the adder 430 may control the audio output signal by controlling the Rx gain of the demodulator 150 or the amplification degree of the audio output signal.

복조부(150)에서 출력된 오디오출력신호는 스피커(120)에 인가되어 오디오출력이 이루어지게 된다.The audio output signal output from the demodulator 150 is applied to the speaker 120 to output audio.

한편, 이동통신 단말기에는 전화통화시에 작동하는 스피커(120) 이외에, 음악감상, VOD 감상 등의 멀티미디어 사용시에 사용되는 고출력의 라우드(Loud) 외부스피커(130)가 구비된다. On the other hand, the mobile communication terminal is provided with a loud external loudspeaker 130 of high power used in the multimedia use such as listening to music, VOD listening, etc., in addition to the speaker 120 to operate during a telephone call.

본 발명의 오디오출력 자동조절장치(100)에는, 오디오출력신호의 레벨이 일정치 이상이 되면 별도로 구비된 외부스피커(130)를 작동시켜 외부스피커(130)에서 오디오출력이 되도록하는 외부스피커 작동부(500)가 추가로 포함되어 이루어진다.In the audio output automatic control device 100 of the present invention, when the level of the audio output signal is more than a predetermined value, the external speaker operating unit for operating the external speaker 130 provided separately so that the audio output from the external speaker 130 500 is further included.

외부스피커 작동부(500)는 복조부(150)에서 출력되는 오디오출력신호의 레벨이 미리 설정된 기준을 초과하게 되어 더욱 큰 오디오출력이 필요할 때, 스피커(120)와 동시에, 또는 스피커를 대신하여 외부스피커(130)에서 오디오출력되도록 하여 사용자의 가청도를 향상시키게 된다.The external speaker operating unit 500 is the level of the audio output signal output from the demodulator 150 exceeds a predetermined standard, when a larger audio output is required, at the same time with the speaker 120, or in place of the speaker Audio output from the speaker 130 is improved to improve audibility of the user.

도면중 미설명된 도면부호 160은 송수신부로서, 변조부(140)에서 변조된 음성신호를 도면부호 170의 안테나를 통해서 송신하고, 복조부(150)에서 복조하는 신호를 수신하게 된다.In the drawing, reference numeral 160, which is not described, is a transmitter / receiver. The voice signal modulated by the modulator 140 is transmitted through the antenna 170, and the demodulator 150 receives a signal demodulated.

이하, 본 발명의 오디오출력 자동조절방법을 첨부한 도면을 참조하여 설명한다.Hereinafter, an audio output automatic adjustment method of the present invention will be described with reference to the accompanying drawings.

제 4도 및 도 5는 본 발명의 오디오출력을 자동조절하기 위한 제어흐름도이다.4 and 5 are control flow charts for automatically adjusting the audio output of the present invention.

본 발명의 오디오출력 자동조절방법은, 마이크에서 발생되는 음성신호에서 음성신호레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생단계(S200)와, 주변잡음 측정장치로 이통통신 단말기 주변의 잡음신호레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정단계(S400)와, 음성신호레벨 발생단계(S200)에서 출력되는 음성신호레벨과 주변잡음 측정단계(S400)에서 출력되는 잡음신호레벨을 합하여 복조부의 오디오출력신호의 크기를 제어하는 오디오출력 제어단계를 포함하여 이루어진다.In the audio output automatic adjustment method of the present invention, a voice signal level generating step (S200) of detecting a voice signal level from a voice signal generated from a microphone and generating a voice signal level, and a noise around the telecommunication communication terminal by a peripheral noise measurement device Ambient noise measurement step (S400) of detecting a signal level and generating a noise signal level, and the voice signal level output from the voice signal level generation step (S200) and the noise signal level output from the ambient noise measurement step (S400) are added together. And an audio output control step of controlling the size of the audio output signal of the demodulator.

오디오출력 제어단계는, 음성신호레벨에 가중치를 부여하는 제1가중치 부여단계(S300)와, 잡음신호레벨에 가중치를 부여하는 제2가중치 부여단계(S500)와, 가중치 부여단계에서 가중치가 부여된 음성신호레벨과 잡음신호레벨을 합성하여 오디오출력신호를 제어할 제어신호를 발생시키는 가산단계(S600)를 포함하여 이루어진다. The audio output control step may include a first weighting step S300 for weighting the voice signal level, a second weighting step S500 for weighting the noise signal level, and a weighting step in the weighting step. And adding the voice signal level and the noise signal level to generate a control signal for controlling the audio output signal (S600).

본 발명의 오디오출력 자동조절방법에는, 오디오출력신호의 레벨이 일정치 이상이 되면 별도로 구비된 외부스피커를 작동시켜 외부스피커에서 오디오출력이 되도록하는 외부스피커 작동단계(S1000, S2000)가 추가로 포함되어 이루어진다.The audio output automatic adjustment method of the present invention further includes an external speaker operating step (S1000, S2000) for operating an external speaker separately provided when the level of the audio output signal is a predetermined value or more so as to output audio from the external speaker. It is done.

사용자가 이동통신 단말기로 전화통화를 하면(S100),음성신호레벨 발생단계(S200)에서는 마이크에서 발생된 음성신호를 입력받아 음의 크기를 나타내는 음성신호레벨을 발생하여 제1가중치부여단계(S300)로 인가하고, 제1가중치 부여단계(S300)는 인가된 음성신호레벨에 미리 설정된 가중치를 적용한다.When the user makes a phone call to the mobile communication terminal (S100), the voice signal level generating step (S200) receives a voice signal generated from the microphone and generates a voice signal level indicating the loudness to give a first weighting step (S300). ), And the first weighting step S300 applies a preset weight to the applied voice signal level.

음성신호레벨 발생단계(S200)에서 음성신호레벨을 발생하는 동시에, 주변잡음 측정단계(S400)에서는 음압센서로 단말기의 주변잡음을 검출하여 음의 크기를 나타내는 잡음신호레벨을 발생하여 제2가중치 부여단계(S500)로 인가하고, 제2가중치 부여단계(S500)는 인가된 잡음신호레벨에 미리 설정된 가중치를 적용한다.The voice signal level is generated in the voice signal level generating step (S200), and the ambient noise measurement step (S400) generates a noise signal level indicating the loudness by detecting the ambient noise of the terminal with a sound pressure sensor to give a second weight value. In operation S500, the second weighting step S500 applies a preset weight to the applied noise signal level.

가산단계(S600)에서는 제1가중치 부여단계(S300)에서 가중치가 적용된 음성신호레벨과 제2가중치 부여단계(S500)에서 가중치가 적용된 잡음신호레벨을 합성하여, 복조부를 제어하는 제어신호를 발생시키고, 복조부는 제어신호를 감지하여 복조부에서 출력되는 오디오출력신호를 제어하게 되며(S700), 스피커가 오디오출력신호를 검출하여 오디오출력을 수행한다.(S800)In the adding step (S600), the voice signal level to which the weight is applied in the first weighting step (S300) and the noise signal level to which the weight is applied in the second weighting step (S500) are synthesized to generate a control signal for controlling the demodulator. The demodulator detects a control signal to control the audio output signal output from the demodulator (S700), and the speaker detects the audio output signal to perform audio output.

외부스피커 작동단계(S1000)에서는 복조부에서 출력되는 오디오출력신호의 레벨이 미리 설정된 기준을 초과하게 되면(S1100) 외부스피커가 동시에 작동하여 오디오출력되도록 하여(S1200) 사용자의 가청도를 향상시키게 된다.In the external speaker operation step (S1000), when the level of the audio output signal output from the demodulator exceeds a predetermined standard (S1100), the external speaker operates simultaneously to output audio (S1200) to improve the audibility of the user. .

또다른 외부스피커 작동단계(S2000)는 도 5에서 도시된 바와 같이, 오디오출력신호의 레벨이 미리 설정된 기준을 넘지 않으면(S2100) 스피커가 오디오출력을 하지만(S2200), 오디오출력신호의 레벨이 미리 설정된 기준을 초과하게 되면(S2100) 외부스피커가 오디오출력신호를 검출하여 오디오출력하고(S2300) 스피커는 작동하지 않도록 하는 것도 가능하다. In another external speaker operation step (S2000), as shown in FIG. 5, if the level of the audio output signal does not exceed a preset criterion (S2100), the speaker outputs audio (S2200), but the level of the audio output signal is preset. When the set standard is exceeded (S2100), the external speaker detects the audio output signal and outputs the audio (S2300), and the speaker may not be operated.

상기한 구성을 가지는 본 발명의 오디오출력 자동조절장치 및 방법에 의하면, 사용자의 구체적인 사용상태를 고려하여 오디오출력을 자동으로 조절하기 때문에 사용자의 편의가 향상되면서도 주변잡음을 측정하는 장치가 마이크와 별도로 구비되기 때문에, 오디오출력 조절에 있어 높은 신뢰도를 가지는 효과가 있다.According to the audio output automatic control apparatus and method of the present invention having the above-described configuration, since the audio output is automatically adjusted in consideration of the specific use state of the user, the device for measuring the ambient noise while improving user convenience is separated from the microphone. Since it is provided, there is an effect of having a high reliability in adjusting the audio output.

또한, 음성신호와 잡음신호의 레벨에 각기 가중치를 부여하여 사용자 개인의 청음능력이나 음성 크기 등을 미리 반영하므로, 오디오출력이 최적의 상태가 되도록 조절 가능한 효과가 있다.In addition, since the weight of the voice signal and the noise signal are respectively assigned to reflect the user's hearing ability and the size of the voice in advance, the audio output can be adjusted to an optimal state.

그리고, 오디오출력이 일정치 이상이 되면 별도로 구비된 외부스피커에서 오디오출력이 되도록 함으로써, 사용자의 가청도를 크게 향상시키는 효과가 있다.When the audio output exceeds a predetermined value, the audio output is performed by an external speaker provided separately, thereby greatly improving the audibility of the user.

제 1도는 종래 기술의 오디오출력이 자동조절되는 단말기의 블럭구성도1 is a block diagram of a terminal for automatically adjusting the audio output of the prior art

제 2도는 또다른 종래 기술의 오디오출력이 자동조절되는 단말기의 블럭구성도2 is a block diagram of a terminal in which another conventional audio output is automatically adjusted.

제 3도는 본 발명의 오디오출력 자동조절장치의 블럭구성도3 is a block diagram of the automatic audio output control apparatus of the present invention

제 4도는 본 발명의 오디오출력을 자동조절하기 위한 제어흐름도4 is a control flowchart for automatically adjusting the audio output of the present invention.

제 5도는 본 발명의 오디오출력을 자동조절하기 위한 제어흐름도5 is a control flowchart for automatically adjusting the audio output of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10: 무선송수신단 10: wireless transceiver

11: 수신부 12: 송신부11: receiver 12: transmitter

20: 변복조수단 20: modulation and demodulation means

21: 복조부 22: 변조부21: demodulator 22: modulator

30: 신호입출력수단 30: signal input / output means

31: 신호출력부 32: 스피커31: signal output unit 32: speaker

33: 신호입력부 34: 마이크33: signal input section 34: microphone

40: 노이즈 검출수단 40: noise detection means

41: 고주파필터 42: 소형마이크41: high frequency filter 42: small microphone

50: 음성입력부 51: 스피커50: voice input unit 51: speaker

55: 음성처리부 60: 증폭부55: voice processing unit 60: amplifying unit

65: A/D변환기 70: 음성판별 기준레벨 저장부65: A / D converter 70: speech discrimination reference level storage unit

75: 잡음레벨데이터 저장부 80: 음성레벨데이터 저장부75: noise level data storage unit 80: voice level data storage unit

85: 음량조절데이터 저장부 90: 제어부85: volume control data storage unit 90: control unit

100: 오디오출력 자동조절장치100: automatic audio output control

110: 마이크 120: 스피커110: microphone 120: speaker

130: 외부 스피커 140: 변조부130: external speaker 140: modulator

150: 복조부 160: 송수신부150: demodulator 160: transceiver

170: 안테나170: antenna

200: 음성신호레벨 발생부 300: 주변잡음 측정장치200: voice signal level generator 300: peripheral noise measuring device

400: 오디오출력 제어부 410: 제1가중치 부여부400: audio output control unit 410: first weighting unit

420: 제2가중치 부여부 430: 가산부420: second weighting unit 430: adding unit

500: 외부스피커 작동부 500: external speaker operating section

Claims (6)

마이크에서 발생되는 음성신호를 송신하기 위하여 변조하는 변조부와, 수신되는 신호를 복조하여 오디오출력신호를 발생하는 복조부를 포함하는 오디오출력 자동조절장치에 있어서,In the audio output automatic control device comprising a modulator for modulating to transmit a voice signal generated by the microphone, and a demodulator for demodulating the received signal to generate an audio output signal, 마이크에서 발생되는 음성신호에서 음성신호의 레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생부와,A voice signal level generator for detecting a level of the voice signal from the voice signal generated by the microphone and generating a voice signal level; 이통통신 단말기 주변의 잡음신호의 레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정장치와,An ambient noise measurement device for detecting a level of a noise signal around a telecommunication terminal and generating a noise signal level; 상기 음성신호레벨 발생부에서 출력되는 음성신호레벨과 상기 주변잡음 측정장치에서 출력되는 잡음신호레벨을 합하여 상기 복조부의 오디오출력신호의 크기를 제어하는 오디오출력 제어부를 포함하여 이루어지는 오디오출력 자동조절장치And an audio output controller for controlling the size of the audio output signal of the demodulator by adding the voice signal level output from the voice signal level generator and the noise signal level output from the peripheral noise measuring apparatus. 제 1항에 있어, 상기의 오디오출력 제어부는,The method of claim 1, wherein the audio output control unit, 상기 음성신호레벨에 가중치를 부여하는 제1가중치 부여부와,A first weighting unit for weighting the voice signal level; 상기 잡음신호레벨에 가중치를 부여하는 제2가중치 부여부와,A second weighting unit for weighting the noise signal level; 상기 가중치 부여부에서 가중치가 부여된 음성신호레벨과 잡음신호레벨을 합성하여 오디오출력신호를 제어할 제어신호를 발생시키는 가산부를 포함하여 이루어지는 오디오출력 자동조절장치And an adder which synthesizes a weighted voice signal level and a noise signal level in the weighting unit to generate a control signal for controlling the audio output signal. 제 2항에 있어,The method of claim 2, 상기의 오디오출력신호의 레벨이 일정치 이상이 되면 별도로 구비된 외부스피커를 작동시켜 외부스피커에서 오디오출력이 되도록하는 외부스피커 작동부가 추가로 포함되어 이루어지는 것을 특징으로 하는 오디오출력 자동조절장치When the level of the audio output signal is more than a predetermined value, the audio output automatic control device further comprises an external speaker operating unit for operating an external speaker to provide an audio output from the external speaker additionally provided 마이크에서 발생되는 음성신호에서 음성신호레벨을 감지하여 음성신호레벨을 발생하는 음성신호레벨 발생단계와,Generating a voice signal level by detecting the voice signal level from the voice signal generated by the microphone; 주변잡음 측정장치로 이통통신 단말기 주변의 잡음신호레벨을 감지하여 잡음신호레벨을 발생하는 주변잡음 측정단계와,A peripheral noise measurement step of detecting a noise signal level around a mobile communication terminal with an ambient noise measurement device to generate a noise signal level; 상기 음성신호레벨 발생단계에서 출력되는 음성신호레벨과 상기 주변잡음 측정단계에서 출력되는 잡음신호레벨을 합하여 복조부의 오디오출력신호의 크기를 제어하는 오디오출력 제어단계를 포함하여 이루어지는 오디오출력 자동조절방법And an audio output control step of controlling the magnitude of the audio output signal of the demodulator by adding the voice signal level output in the voice signal level generation step and the noise signal level output in the ambient noise measurement step. 제 4항에 있어, 상기의 오디오출력 제어단계는,The method of claim 4, wherein the audio output control step, 상기 음성신호레벨에 가중치를 부여하는 제1가중치 부여단계와,A first weighting step of weighting the voice signal level; 상기 잡음신호레벨에 가중치를 부여하는 제2가중치 부여단계와,A second weighting step of weighting the noise signal level; 상기 가중치부여단계에서 가중치가 부여된 음성신호레벨과 잡음신호레벨을 합성하여 오디오출력신호를 제어할 제어신호를 발생시키는 가산단계를 포함하여 이루어지는 오디오출력 자동조절방법And an adding step of synthesizing the weighted voice signal level and the noise signal level in the weighting step to generate a control signal for controlling the audio output signal. 제 5항에 있어,The method of claim 5, 상기의 오디오출력신호의 레벨이 일정치 이상이 되면 별도로 구비된 외부스피커를 작동시켜 외부스피커에서 오디오출력이 되도록하는 외부스피커 작동단계가 추가로 포함되어 이루어지는 것을 특징으로 하는 오디오출력 자동조절방법When the level of the audio output signal is above a predetermined value, the audio output auto-adjusting method further comprises an external speaker operating step of operating an external speaker to provide audio output from the external speaker.
KR1020040026867A 2004-04-19 2004-04-19 Audio output automatic control device and method KR101062344B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040026867A KR101062344B1 (en) 2004-04-19 2004-04-19 Audio output automatic control device and method
CNA2005100000252A CN1691706A (en) 2004-04-19 2005-01-04 Audio frequency output automatic regulation device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040026867A KR101062344B1 (en) 2004-04-19 2004-04-19 Audio output automatic control device and method

Publications (2)

Publication Number Publication Date
KR20050101496A true KR20050101496A (en) 2005-10-24
KR101062344B1 KR101062344B1 (en) 2011-09-05

Family

ID=35346818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040026867A KR101062344B1 (en) 2004-04-19 2004-04-19 Audio output automatic control device and method

Country Status (2)

Country Link
KR (1) KR101062344B1 (en)
CN (1) CN1691706A (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598552B2 (en) * 2010-12-27 2014-10-01 富士通株式会社 Voice control device, voice control method, voice control program, and portable terminal device
US10103699B2 (en) * 2016-09-30 2018-10-16 Lenovo (Singapore) Pte. Ltd. Automatically adjusting a volume of a speaker of a device based on an amplitude of voice input to the device
CN109451180B (en) * 2018-12-28 2021-03-23 Tcl移动通信科技(宁波)有限公司 Mobile terminal call audio capacity adjusting method, storage medium and mobile terminal
CN109889665B (en) * 2019-02-26 2021-08-03 努比亚技术有限公司 Volume adjusting method, mobile terminal and storage medium
KR20220168833A (en) * 2021-06-17 2022-12-26 삼성전자주식회사 Electronic device for responding user reaction and outside sound and operating mehtod thereof
US12014114B2 (en) 2021-06-17 2024-06-18 Samsung Electronics Co., Ltd. Electronic device for responding to user reaction and outside sound and operating method thereof

Also Published As

Publication number Publication date
CN1691706A (en) 2005-11-02
KR101062344B1 (en) 2011-09-05

Similar Documents

Publication Publication Date Title
US7317805B2 (en) Telephone with integrated hearing aid
JP3727431B2 (en) Transmitter, telephone using it
JP2730868B2 (en) Audio system and method for increasing intelligibility
EP1385324A1 (en) A system and method for reducing the effect of background noise
JPH10304030A (en) Portable telephone system
JPH11284694A (en) Portable terminal device
JPH07131268A (en) Telephone set
US20060014570A1 (en) Mobile communication terminal
JP2002368839A (en) Telephone and voice signal frequency correction method for the telephone
KR101062344B1 (en) Audio output automatic control device and method
KR20080096988A (en) Sound-output apparatus based on audiogram
US20050207586A1 (en) Mobile communication earphone accommodating hearing aid with volume adjusting function and method thereof
JP2005318267A (en) Electronic equipment
JPH11239093A (en) Mobile radio communication device
JP2643877B2 (en) Telephone
KR20080064768A (en) Apparatus and method for noise removal
JP2586845B2 (en) Telephone and its frequency characteristic control method
JP2586847B2 (en) Electronic telephone
KR101482420B1 (en) Sound Controller of a Cellular Phone for Deafness and its method
JPH0595391A (en) Sound control device of radio telephone set
JPH09181817A (en) Portable telephone set
JPH1070600A (en) Telephone set
JP3234044B2 (en) Voice communication device and reception control circuit thereof
JP2001298394A (en) Portable telephone system
JP3033700B2 (en) Mobile phone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170724

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee