KR102186307B1 - Beam-forming system and method for binaural hearing support device - Google Patents

Beam-forming system and method for binaural hearing support device Download PDF

Info

Publication number
KR102186307B1
KR102186307B1 KR1020130135582A KR20130135582A KR102186307B1 KR 102186307 B1 KR102186307 B1 KR 102186307B1 KR 1020130135582 A KR1020130135582 A KR 1020130135582A KR 20130135582 A KR20130135582 A KR 20130135582A KR 102186307 B1 KR102186307 B1 KR 102186307B1
Authority
KR
South Korea
Prior art keywords
beam pattern
forming
voice
signal component
preliminary
Prior art date
Application number
KR1020130135582A
Other languages
Korean (ko)
Other versions
KR20150053842A (en
Inventor
김인영
이준창
남경원
조경원
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130135582A priority Critical patent/KR102186307B1/en
Publication of KR20150053842A publication Critical patent/KR20150053842A/en
Application granted granted Critical
Publication of KR102186307B1 publication Critical patent/KR102186307B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/48—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 양이 보청기의 빔-포밍 방법에 관한 것으로, 보다 상세하게는 양이 보청기를 사용하는 난청자가 인식하고자 하는 음성의 입력(유입)이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안에 관한 것이다.
본 발명에 의한 빔-포밍 방법은 (a)양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 단계; 및 (b)상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 위치한 방향에 따라 조정하여(calibrating) 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하여 본 발명의 과제를 해결한다.The present invention relates to a beam-forming method of a yang-yi hearing aid, and more specifically, to a hearing-impaired person using a yang-yi hearing aid, even if the input (inflow) of the voice to be recognized is from any direction of the hearing-impaired person. The present invention relates to a beam-forming scheme capable of recognizing a target voice regardless of the physical positioning and frequency of the incoming target voice.
The beam-forming method according to the present invention comprises (a) forming a preliminary beam pattern through beam-forming of the voice input to the hearing aid, so that the voice to be recognized by the hearing impaired is in the front direction of the hearing aid, Determining whether the input is input from the rear direction, the left direction or the right direction; And (b) calibrating the preliminary beam pattern according to a direction in which a sound source of the target sound is located to form a final beam pattern (output sound) for the target sound. To solve the problem of

Description

양이 보청기의 빔-포밍 시스템 및 그 방법{Beam-forming system and method for binaural hearing support device}Beam-forming system and method for binaural hearing support device

본 발명은 양이 보청기의 빔-포밍 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 양이 보청기(binaural hearing support device)를 사용하는 난청자(hearing-impaired person)가 인식하고자 하는 음성(이하 '대상 음성(target sound)'이라 함)의 입력(유입)이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안에 관한 것이다.The present invention relates to a beam-forming system and a method for a bilateral hearing aid, and more particularly, to a voice that a hearing-impaired person using a binaural hearing support device wants to recognize (hereinafter,'object The target voice is recognized regardless of the physical positioning of the hearing-impaired person and regardless of the frequency of the incoming target voice, even if the input (inflow) of the voice (called'target sound)' is made from any direction of the hearing-impaired person. The present invention relates to a beam-forming scheme that can be used.

음성을 포함한 모든 신호는 잡음 성분이 존재하는데, 정상적인 인간의 귀는 자체 필터링 기능을 가지고 있어 귀에 유입되는 여러 음성으로부터 잡음 성분을 필터링하여 대상 음성을 인식할 수 있도록 되어 있다. 그러나 난청자들은 이러한 필터링 기능이 현격히 떨어지기 때문에 난청 보완 기기(예를 들어 digital hearing aid, cochlea implant, bone-anchored hearing aid 등)가 제공하는 필터링 기능의 도움을 받아 대상 음성을 인식한다.All signals, including speech, have noise components, and the normal human ear has its own filtering function, so that the target speech can be recognized by filtering the noise components from various speeches entering the ear. However, hearing impaired people recognize the target voice with the help of filtering functions provided by hearing loss supplements (eg, digital hearing aids, cochlea implants, bone-anchored hearing aids, etc.) because these filtering functions are significantly inferior.

현재 양이 보청기를 포함한 대부분의 난청 보완 기기에는 소위 '빔-포밍(Beam-forming)'이라는 기법이 적용되고 있다. 빔-포밍은, 공간 필터링(spatial filtering)으로도 불리는 것으로, 음성 신호의 위상(phase)과 크기(amplitude)를 조절하여 리시버(난청 보완 기기)에 어떤 각도로 입력되는 음성 신호에는 보강 간섭(constructive interference)의 파형(waveform)을 그리고 다른 각도로 입력되는 음성 신호에는 상쇄 간섭(destructive interference)의 파형을 생성하여 입력 음성 신호에 대한 빔 패턴(beam pattern, 출력 신호)을 형성하는 것이다. 빔-포밍 기법은 난청 보완 기기에 대해서 뿐만 아니라 음(sound)을 이용하거나 활용하는 관련된 모든 분야에 적용된다. 빔-포밍에 관한 보다 더 상세한 사항은 이미 다수의 공지된 문헌 등에 상세히 개시되어 있으므로 더 이상의 상술은 생략하지만, 난청 보완을 위한 빔-포밍 기법에 관한 사항을 약술하면 다음과 같다.Currently, a technique called'beam-forming' is applied to most hearing loss supplements, including yangyi hearing aids. Beam-forming, also referred to as spatial filtering, is constructive interference to a voice signal input at a certain angle to a receiver (hearing loss compensating device) by adjusting the phase and amplitude of the voice signal. A waveform of interference) is generated and a waveform of destructive interference is generated in a speech signal input at a different angle to form a beam pattern (output signal) for an input speech signal. The beam-forming technique is applied not only to devices for compensating for hearing loss, but also to all related fields that use or utilize sound. Further details regarding the beam-forming are already disclosed in detail in a number of well-known documents, and thus further details are omitted. However, a description of the beam-forming technique for compensating for hearing loss is as follows.

난청 보완을 위한 빔-포밍 기법이 지향하는 바는 음원(sound source, 예를 들어 난청자의 대화 상대방)으로부터 난청자 방향으로 입력되는 음성은 통과(pass)시키는 반면에, 다른 방향으로부터의 음성은 감쇠(attenuating)시켜 빔 패턴을 형성하는 것이다. 난청 보완을 위한 빔-포밍 기법의 기존의 통상적인 방안은 대상 음성의 입력 방향(azimuthal direction)을 하나로 고정하는 것을 전제로 구현되는데, 이러한 전제에 의하면 대상 음성의 음원이 이동하면(다른 곳에 위치하면) 난청자는 대상 음성을 인식하기 위해 음원이 이동한 방향으로 반드시 고개를 움직이거나 자신의 몸을 향하게 해야 한다. 왜냐하면 azimuthal direction이 고정되어 있기 때문에 대상 음성이 다른 방향으로부터 입력되면 azimuthal direction이 변하게 되고 결국 대상 음성이 잡음으로 간주되어 감쇠 처리되기 때문이다.The aim of the beam-forming technique to compensate for hearing loss is to pass the voice input from a sound source (for example, the conversation partner of the hearing-impaired person) to the hearing-impaired person, while the voice from other directions is attenuated ( attenuating) to form a beam pattern. The conventional method of beam-forming technique to compensate for hearing loss is implemented on the premise that the azimuthal direction of the target voice is fixed to one. According to this premise, when the sound source of the target voice moves (if it is located in another place, ) Hearing-impaired person must move his or her head in the direction the sound source has moved in order to recognize the target voice or point it toward his or her body. Because the azimuthal direction is fixed, if the target voice is input from another direction, the azimuthal direction changes and eventually the target voice is regarded as noise and is attenuated.

그러나 실제로는 고개를 움직일 수 없는 상황 등 난청자의 신체적 상황(physical positioning)에는 다양한 상황이 존재할 수 있는데, 예를 들어 난청자가 운전 중인 경우에 음원(대화 상대방)이 다른 곳으로 움직이면 난청자는 그의 고개를 돌릴 수가 없는 상황, 난청자가 신체적 장애가 있어 고개를 돌릴 수 없는 상황, 신체적 움직임에 제한이 있는 상황, 난청자가 소정 시간동안 또는 언제나 자신의 정면만을 주시해야만 하는 상황 등이다. 이러한 상황에서의 기존의 통상적인 빔-포밍 방안은 음원이 이동하면 무용지물이 될 수밖에 없어 대상 음성을 인식할 수 없는데, 이는 상기한 azimuthal direction이 고정되어 있음을 전제로 빔-포밍 기법을 적용하기 때문에 음원의 이동에 대처할 수 없기 때문이다. 따라서 이러한 상황들이 발생되더라도 난청자가 대상 음성을 인식할 수 있는 방안이 필요하다.However, in reality, there may be various situations in the physical positioning of the hearing-impaired person, such as a situation in which he cannot move his head.For example, when the hearing-impaired person is driving, if the sound source (the conversation partner) moves to another place, the hearing-impaired person raises his head There are situations in which the person cannot turn around, the situation where the person with a hearing impairment cannot turn his head due to a physical disability, the situation in which physical movement is limited, and the situation in which the hearing-impaired person has to look in front of himself for a certain period of time or at all times. In such a situation, the conventional beam-forming method cannot but recognize the target voice as it becomes useless when the sound source moves. This is because the beam-forming technique is applied on the assumption that the azimuthal direction is fixed. This is because it cannot cope with the movement of the sound source. Therefore, there is a need for a way for the hearing impaired to recognize the target voice even if these situations occur.

본 발명은 상기한 필요에 부응하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 대상 음성의 유입이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안을 실현하는 것이다.The present invention was invented to meet the above needs, and the problem to be solved by the present invention is that even if the inflow of the target voice is made from any direction of the hearing-impaired person, regardless of the physical positioning of the hearing-impaired person and It is to realize a beam-forming method that enables the target voice to be recognized regardless of the frequency of the target voice to be used.

상기와 같은 과제를 해결하기 위해 개시되는 빔-포밍 시스템은The beam-forming system disclosed to solve the above problems

양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 예비적 빔 패턴 형성부; 및 상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating), 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 조정부를 포함하여 상기한 과제를 해결한다.By forming a preliminary beam pattern through beam-forming of the voice input to the hearing aid, it is determined whether the voice to be recognized by the hearing impaired is input from the front, rear, left, or right side of the hearing aid. A preliminary beam pattern forming unit; And an adjustment unit for calibrating the preliminary beam pattern according to the direction in which the sound source of the target sound is actually located, and forming a final beam pattern (output sound) for the target sound. Solve.

상기 최종적 빔 패턴의 형성은 상기 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성 효과를 볼 수 있도록 상기 예비적 빔 패턴을 보정하는 것이 본 발명의 과제를 해결을 위해 바람직하다.In the formation of the final beam pattern, it is preferable to correct the preliminary beam pattern so that the beam pattern formation effect can be seen even if the target voice has any frequency in order to solve the problem of the present invention.

상기와 같은 과제를 해결하기 위해 개시되는 빔-포밍 방법은Beam-forming method disclosed to solve the above problems

(a)양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 단계; 및 (b)상기 예비적 빔 패턴을 상기 대상 음성의 음원이 위치한 방향에 따라 조정하여 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하여 상기한 과제를 해결한다.(a) Forming a preliminary beam pattern through beam-forming of the voice input to the hearing aid, determining whether the voice to be recognized by the hearing impaired is input from the front, rear, left or right side of the hearing aid ; And (b) forming a final beam pattern (output voice) for the target voice by adjusting the preliminary beam pattern according to the direction in which the sound source of the target voice is located.

본 발명은 대상 음성의 유입이 난청자의 여하한 방향으로부터 그리고 음성의 대역 주파수내의 여하한 주파수의 음성의 유입이 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 대상 음성을 인식할 수 있는 이점을 제공한다.The present invention is capable of recognizing the target voice regardless of the physical positioning of the hearing-impaired person even if the inflow of the target voice is from any direction of the hearing-impaired person and the inflow of the voice of any frequency within the frequency of the voice band. Provides an advantage.

도 1a는 본 발명에 의한 빔-포밍 방안이 구현되는 시스템과 흐름을 제시한 도면이다.
도 1b는 제1 예비적 빔 패턴 형성부(111)의 일례를 제시한 도면이다.
도 1c는 제2 예비적 빔 패턴 형성부(112)의 일례를 제시한 도면이다.
도 2는 본 발명에 의한 빔-포밍 방안이 구현되는 흐름을 제시한 도면이다.
도 3은 예비적 빔 패턴의 예시를 제시한 도면이다.
도 4a와 도 4b는 본 발명에 의한 빔-포밍 방안의 결과의 일례를 제시한 도면이다.1A is a diagram illustrating a system and a flow in which a beam-forming scheme according to the present invention is implemented.
1B is a diagram illustrating an example of the first preliminary beam pattern forming unit 111.
1C is a diagram illustrating an example of a second preliminary beam pattern forming unit 112.
2 is a diagram showing a flow of implementing a beam-forming scheme according to the present invention.
3 is a diagram showing an example of a preliminary beam pattern.
4A and 4B are diagrams showing an example of a result of a beam-forming scheme according to the present invention.

본 발명을 실시하기 위한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하려는 과제의 해결 방안의 개요를 우선 제시한다.Prior to the description of specific contents for carrying out the present invention, an overview of a solution to the problem to be solved by the present invention is first presented for convenience of understanding.

상기한 기존의 통상적인 빔-포밍 기법의 문제를 해결하기 위해 개선된 빔-포밍 기법들이 소개되거나 실시 중에 있는데 이들에 대해 간략히 소개하면 다음과 같다.In order to solve the problem of the conventional conventional beam-forming technique described above, improved beam-forming techniques have been introduced or are being implemented, and briefly introduced are as follows.

기존의 개선된 빔-포밍 기법들은, 본 발명과 마찬가지로 양이 보청기에 적용되는 것으로, 결론적으로 빔 패턴 형성을 위한 포커싱 방향(possible focusing direction)을 다양화(diversifying)시키는 것으로써 기존의 통상적인 빔-포밍 기법의 문제 해결을 도모하는데 이는 상기한 azimuthal direction을 다양화시키는 것을 의미한다.Existing improved beam-forming techniques are applied to both hearing aids as in the present invention, and consequently, by diversifying the possible focusing direction for forming a beam pattern -Attempting to solve the problem of the forming technique, which means diversifying the azimuthal direction described above.

기존의 개선된 빔-포밍 방안의 첫 번째 방안(B. Stuermann, "auto ZoomControl??Objective and subjective benefits with auto ZoomControl,"http://www.phonakpro.com/com/b2b/en/evidence/topics/auto-zoomcontrol.html,Lastly accessed on Dec.15, 2012.)은 난청자의 대상 음성 인식 능력(sound intelligibility)을 향상시키기 위해 azimuthal direction을 0° 뿐만이 아니라 90°, 180°, 270°의 4 방향으로 다양화시켜 빔-포밍을 수행한다. 여기서 0°는 대상 음성의 입력 방향이 보청기의 흡음 부분의 평면의 법선(normal) 방향임을 의미하며, 90°, 180°, 270°는 0°를 기준으로 순차적으로 그 입력 방향이 시계 방향(clockwise) 또는 반시계 방향임을 의미한다. 이는 후술할 본 발명에 대해서도 동일하게 적용 내지 유추 적용됨을 미리 밝히며, 이하에서는 설명의 편의상 난청자의 정면을 0°로 보고 이를 기준으로 90도 우측을 90°, 후면을 180°, 90도 좌측을 270°으로 보기로 한다.The first method of the existing improved beam-forming scheme (B. Stuermann, "auto ZoomControl?? Objective and subjective benefits with auto ZoomControl," http://www.phonakpro.com/com/b2b/en/evidence/topics /auto-zoomcontrol.html,Lastly accessed on Dec.15, 2012.), in order to improve the target speech recognition ability (sound intelligibility) of the hearing impaired, the azimuthal direction is not only 0°, but also 90°, 180°, and 270° in four directions. It is diversified to perform beam-forming. Here, 0° means that the input direction of the target voice is the normal direction of the plane of the sound-absorbing part of the hearing aid, and 90°, 180°, and 270° are sequentially based on 0° and the input direction is clockwise. ) Or counterclockwise. It is revealed in advance that the same application or analogy is applied to the present invention to be described later. Hereinafter, for convenience of explanation, the front of the hearing-impaired person is viewed as 0°, and based on this, 90° to the right, 90° to the rear, and 90° to the left are 270 Let's look at °.

기존의 개선된 빔-포밍 방안의 두 번째 방안(N. Chatlani,E Fischer, and J. Soraghan,"Spatial noise reduction in binaural hearing aids," Proc. EUSIPCO'10, 2010, p.1544-1548)은 azimuthal direction을 난청자의 전후좌우 뿐만 아니라 난청자의 정면(0°)을 기준으로 전방 45도 우측(45°), 전방 45도 좌측(315°), 후방 45도 우측(135°), 후방 45도 좌측(225°)의 8 방향으로 다양화시켜(beam-steering) 빔-포밍을 수행한다. 즉, 난청자의 정면을 기준으로 전후방 대각선 방향도 azimuthal direction로 지정하여 빔-포밍을 수행하는 것이다.The second method of the existing improved beam-forming scheme (N. Chatlani, E Fischer, and J. Soraghan, "Spatial noise reduction in binaural hearing aids," Proc. EUSIPCO'10, 2010, p.1544-1548) is The azimuthal direction is based on the front and rear (0°) of the hearing-impaired person as well as the front (0°) of the deaf person. Beam-forming is performed by diversifying (beam-steering) in 8 directions of (225°). In other words, beam-forming is performed by designating an azimuthal direction in an azimuthal direction with respect to the front of the hearing-impaired person.

첫 번째 방안의 경우 양이에 모두 주어지는 청각 단서(binaural cues, 예를 들어 두 귀의 레벨 차(interaural level difference)와 두 귀의 시간 차(interaural time difference))가 무시되어 버리기 때문에 음원의 입력 방향 특정(sound localization)이 불분명해지는 문제점, 한 쪽 보청기에 입력되는 모든 소리를 반대 쪽 보청기로 스트리밍 전송하므로 연속적인 데이터 스트리밍으로 인한 전력 소모량이 커서 배터리 수명이 짧아지는 문제점 및 난청자의 전후좌우 방향으로만 azimuthal direction을 설정하기 때문에 난청자의 전후방 대각선 방향에 대해서는 유명무실하게 되어 활용성이 저하될 수 있는 문제점을 내포하고 있다.In the case of the first method, since binaural cues (e.g., interaural level difference and interaural time difference) given to both ears are ignored. Sound localization) is unclear, and because all sounds input to one hearing aid are streamed to the other hearing aid, the battery life is shortened due to the large power consumption due to continuous data streaming, and azimuthal direction only in the front, rear, left and right directions of the hearing impaired Because it is set, the diagonal direction of the front and rear of the hearing-impaired person becomes insignificant, and there is a problem that the usability may be deteriorated.

두 번째 방안의 경우 전후방 대각선 방향도 azimuthal direction으로 설정하기 때문에 전후방 대각선 방향에 대해서도 빔-포밍을 실현할 수 있어 첫 번째 방안에 비해 대상 음성 인식 능력(sound intelligibility)을 향상시키는 장점을 갖지만, 입력 음성 신호의 주파수 대역폭을 1[KHz]의 주파수를 기준으로 두 개의 대역폭만으로 나누어 빔-포밍을 수행하기 때문에 빔-포밍의 효과를 현저히 감쇠시켜버리는 문제점(두 번째 방안에 의하면 특히 대상 음성의 주파수가 750[Hz] 이상인 경우에는 전후방 대각선 방향에 대한 빔-포밍 효과가 거의 없다)을 내포하고 있다. 이는 음성 신호의 실질 대역폭이 0 ~ 4[KHz]임을 고려하면 빔-포밍 효과를 거의 볼 수 없는 것과 마찬가지이다.In the case of the second method, since the front and rear diagonal directions are also set in the azimuthal direction, beam-forming can also be realized in the front and rear diagonal directions, which has the advantage of improving the sound intelligibility compared to the first method, but the input speech signal Since beam-forming is performed by dividing the frequency bandwidth of 1[KHz] by only two bandwidths, the effect of beam-forming is significantly attenuated (according to the second method, the frequency of the target voice is 750[ Hz] or more, there is almost no beam-forming effect in the front and rear diagonal directions). This is the same as the beam-forming effect can hardly be seen considering that the real bandwidth of the voice signal is 0 ~ 4 [KHz].

따라서 본 발명은 대상 음성의 입력 방향에 관계없이 빔-포밍 효과를 볼 수 있도록 기존의 개선된 방안들과 마찬가지로 azimuthal direction을 다양화시키며, 아울러 음성 신호의 실질 대역폭에 존재하는 주파수를 갖는 여하한 신호들에 대해서도 빔-포밍 효과를 볼 수 있도록 하는 것이 본 발명이 해결하려는 과제의 해결 방안의 개요이다.Accordingly, the present invention diversifies the azimuthal direction as with the existing improved methods so that the beam-forming effect can be seen regardless of the input direction of the target voice, and any signal having a frequency existing in the real bandwidth of the voice signal. It is an outline of a solution to the problem to be solved by the present invention to be able to see the beam-forming effect for them.

이하, 본 발명을 실시하기 위한 구체적인 내용을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Hereinafter, specific details for carrying out the present invention will be described in detail with reference to the accompanying drawings based on a preferred embodiment of the present invention, but in assigning reference numerals to the elements in the drawings, the same elements are described in other drawings. Even if it is in, the same reference number is given, and it is noted in advance that components of other drawings can be cited if necessary when describing the drawing. In addition, when it is determined that detailed descriptions of known functions or configurations related to the present invention and other matters may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted.

도 1a와 도 2는 각각 본 발명에 의한 빔-포밍 방안이 구현되는 시스템과 흐름을 제시한 도면이다.1A and 2 are diagrams showing a system and a flow in which a beam-forming scheme according to the present invention is implemented, respectively.

본 발명에 의한 빔-포밍의 구현은 난청자(양이 보청기)에 입력되는 음성 중 대상 음성이 난청자의 정 방면(forward side), 후 방면(backward side), 좌측 방면(left side) 또는 우측 방면(right side)에서 입력되는지 판단하기 위해 입력되는 음성에 대해 빔-포밍을 실시하여 예비적(preliminary) 빔 패턴을 형성(포밍)하는 단계, 형성된 예비적 빔 패턴을 대상 신호의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating)) 대상 음성에 대한 최종적 빔 패턴(출력 음성으로서 난청자가 인지할 음성)을 형성하는 단계로 이루어지게 된다.In the implementation of beam-forming according to the present invention, the target voice among the voices input to the hearing impaired person (double-headed hearing aid) is the forward side, the backward side, the left side, or the right side ( forming (forming) a preliminary beam pattern by performing beam-forming on the input voice in order to determine whether it is input from the right side), and a sound source of the target signal using the formed preliminary beam pattern It consists of a step of forming a final beam pattern (a voice to be recognized by the hearing impaired as an output voice) for the target voice by calibrating according to the actual location direction.

본 발명은 대상 신호의 개괄적인 입력 방향을 우선적으로 판단(예비적 빔 패턴을 형성)함이 선행되는데, 이는 인간의 자연스러운 행동 현상을 따르기 위함이다. 즉, 인간은 어떤 소리를 듣게 되었을 때 자연적으로 자신의 전후좌우 방면 중 어느 한 방면에 대해 인식(반응)을 하게 된다. 따라서 본 발명은 우선적으로 대상 신호가 난청자의 전후좌우 방면 중 어느 방면으로부터 입력되는지 판단하기 위해 입력 음성 신호에 대해 빔-포밍을 수행하여 예비적 빔 패턴을 형성한다. 이렇듯 상기한 '방면'의 의미는 바로 '개괄적인 방향'의 의미이고, 예비적 빔 패턴의 형성은 입력 음성의 유입 방향을 전후좌우로 집중시키는(focusing) 것을 의미한다.In the present invention, the general input direction of the target signal is first determined (forms a preliminary beam pattern), in order to follow the natural behavior of humans. In other words, when humans hear a sound, they naturally perceive (react) one of their front, rear, left, and right directions. Accordingly, the present invention forms a preliminary beam pattern by performing beam-forming on the input voice signal in order to determine whether the target signal is input from the front, rear, left and right directions of the hearing impaired person. As described above, the meaning of'direction' is just the meaning of'the general direction', and the formation of a preliminary beam pattern means focusing the inflow direction of the input voice back and forth, left and right.

다음으로 형성된 예비적 빔 패턴을 대상 음성의 음원의 실제 위치에 맞게 조정하여 최종적인 빔 패턴(출력 신호)을 형성한다. 조정의 이유는 난청자가 음원에 대한 위치를 인식(sound localization)할 수 있게 하기 위해서이다. 이는 특히 대상 음성의 음원이 난청자의 전후방 대각선 방향(이 경우의 azimuthal direction은 각각 45°내외, 135°내외, 225°내외, 315°내외)으로부터 입력되는 경우에 대처할 수 있게 하기 위함이다. 한편 최종적 빔 패턴을 형성할 때에는 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성 효과를 볼 수 있도록 예비적 빔 패턴을 조정하게 된다.Next, a final beam pattern (output signal) is formed by adjusting the formed preliminary beam pattern according to the actual position of the sound source of the target voice. The reason for the adjustment is to enable the hearing-impaired person to recognize the location of the sound source (sound localization). This is to cope with the case that the sound source of the target voice is input from the front and rear diagonal directions (in this case, the azimuthal direction is around 45°, around 135°, around 225°, and around 315°, respectively). Meanwhile, when the final beam pattern is formed, the preliminary beam pattern is adjusted so that the beam pattern forming effect can be seen even if the target voice has any frequency.

예비적 빔 패턴 형성부(11)는 대상 음성이 난청자의 정 방면(법선 방향 방면), 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 즉, 대상 음성의 개괄적 입력 방향(4 방향)을 판단하는 기능을 수행하는 부분으로, 이는 난청자(양이 보청기)에 입력되는 음성(이 음성에는 대상 음성과 그 이외의 음성(잡음)이 포함되어 있다)에 대해 빔-포밍을 수행하여 대상 음성에 대한 예비적 빔 패턴을 형성(s21)하는 것으로 구현된다. 이에 대한 필요성은 위에서 언급하였다.The preliminary beam pattern forming unit 11 determines whether the target voice is input from the front (normal direction), rear, left or right direction of the hearing impaired, that is, the general input direction (4 directions) of the target voice. This is a part of performing beam-forming on the voice input to the hearing impaired person (both hearing aids) (this voice contains the target voice and other voices (noise)) to preliminary the target voice. It is implemented by forming a beam pattern (s21). The need for this was mentioned above.

본 단계(s21)에 의한 빔-포밍의 결과를 우선 언급하자면 대상 음성이 만일 정 방면(후 방면/좌측 방면/우측 방면)에서 입력된다면, 대상 신호의 입력 방향(azimuthal direction)을 0°(180°/ 270°/ 90°)인 경우로 취급(간주)하여 예비적 빔 패턴을 형성하는 것이다. 각 azimuthal direction에 대한 예비적 빔 패턴의 예가 극 패턴(polar pattern)의 형태로 도 3에 각각 (a) 내지 (d)로 제시되어 있는데, 예비적 빔 패턴이 각 azimuthal direction에 대해서 두드러지게(conspicuously) 형성된 것을 알 수 있다.To first mention the result of beam-forming by this step (s21), if the target voice is input from the front direction (rear direction/left direction/right direction), the input direction of the target signal (azimuthal direction) is set to 0° (180). °/ 270°/ 90°) to form a preliminary beam pattern. Examples of preliminary beam patterns for each azimuthal direction are shown in (a) to (d) in Fig. 3 in the form of polar patterns, respectively, and the preliminary beam patterns are conspicuously for each azimuthal direction. ) It can be seen that it was formed.

예비적 빔 패턴의 생성 과정을 상술하면 다음과 같다.The process of generating the preliminary beam pattern will be described in detail below.

먼저 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴은 제1 예비적 빔 패턴 형성부(111)에 의해 형성되며(s211), 이의 형성은 소위 '차동 마이크로폰 어레이 알고리즘[Differential Microphone Array(DMA) algorithm: 이에 대한 상세는 H. Teutsch and G.W. Elko, "First and Second Order Differential Microphone Arrays", Proc. IWAENC'01,2001, p.35-38(문헌 1)]'에 의해 이루어진다. 양이 보청기는 이미 잘 알려진 대로 좌우 보청기 각각에 스테레오 마이크로폰(front and rear microphone)을 구비하고 있는데, 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴의 형성은 전후방 마이크로폰 간 차동 방식에 의해 이루어진다. 한편 이하에서 ML,F은 좌측 보청기의 전방, ML,R은 좌측 보청기의 후방, MR,F은 우측 보청기의 전방, MR,R은 우측 보청기의 후방에 위치한 마이크로폰을 나타내기로 한다.First, a preliminary beam pattern for the input voice flowing from the front and rear sides is formed by the first preliminary beam pattern forming unit 111 (s211), and the formation thereof is a so-called'differential microphone array algorithm. (DMA) algorithm: For details on this, see H. Teutsch and GW Elko, "First and Second Order Differential Microphone Arrays", Proc. IWAENC'01,2001, p.35-38 (Document 1)]'. Yangyi hearing aids are equipped with stereo microphones (front and rear microphones) in each of the left and right hearing aids, as is well known. The formation of a preliminary beam pattern for the input voice from the front and rear sides is due to the differential method between the front and rear microphones. Made by Meanwhile, in the following, M L,F denotes the front of the left hearing aid, M L,R denotes the rear of the left hearing aid, M R,F denotes the front of the right hearing aid, and M R,R denotes the microphone located at the rear of the right hearing aid.

도 1b에 제1 예비적 빔 패턴 형성부(111)의 일례가 제시되어 있는데, 이는 상기한 문헌 1에 제시되어 있으며 제1 예비적 빔 패턴 형성부(111)는 양이 보청기의 좌우 보청기에 대칭적으로 구비된다. 도 1b는 양 보청기의 전방 마이크로폰(MF)에 유입되는 입력 음성과 양쪽 보청기의 후방 마이크로폰(MR)에 유입되는 입력 음성의 차분을 이용하여 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴의 형성이 이루어짐을 보여주고 있다(이는 바로 제1 예비적 빔 패턴이 상기한 DMA 알고리즘에 의해 형성됨을 의미한다).An example of the first preliminary beam pattern forming unit 111 is shown in FIG. 1B, which is presented in Document 1, and the first preliminary beam pattern forming unit 111 is symmetrical to the left and right hearing aids of the hearing aid. It is equipped with enemy. 1B is a preliminary view for input voices flowing from the front and rear sides using the difference between the input voice flowing into the front microphone M F of both hearing aids and the input voice flowing into the rear microphone M R of both hearing aids. It shows that the red beam pattern is formed (this means that the first preliminary beam pattern is formed by the DMA algorithm described above).

정 방면(후 방면)으로부터 입력되는 음성에 대해서는 좌우 보청기의 모든 마이크로폰(MF는 ML,F과 ML,R 모두이며 MR은 MR,F과 MR,R 모두임)이 0°방향(180°방향)으로 집중(focus)한다. 도 1c에서 d는 전방 마이크로폰(front microphone, MF)과 후방 마이크로폰(rear microphone, MR) 간 거리를, T는 내부 지연(internal delay: d를 음속으로 나눈 값)을 의미한다. 아울러 αF(αR)는 정 방면(후 방면)으로부터 입력되는 신호에 대한 가중치(weight)이며, β는 방향성 지수(directivity index)를 의미한다. β는 실험적으로 결정되며, 예비적 빔 패턴의 형성 방향이 어느 방향으로 두드러지는 정도를 나타낸다고 볼 수 있다.For voice input from the front side (rear side), all microphones of the left and right hearing aids (M F is both M L,F and M L,R and M R is both M R,F and M R,R ) 0° Focus in the direction (180° direction). In FIG. 1c, d denotes the distance between the front microphone (M F ) and the rear microphone (M R ), and T denotes an internal delay (d by dividing d by the speed of sound). In addition, α F (α R ) is the weight for the signal input from the front (rear) side, and β is the directivity index. β is determined experimentally, and it can be seen that it represents the degree to which the formation direction of the preliminary beam pattern stands out.

정 방면에서 입력되는 음성(S)에 대해서는 θ(azimuthal direction)은 0°로 취급되며 αF,αR는 각각 1, -1/β로 세팅된다. 만일 입력되는 음성(S)이 후 방면에서 입력되는 경우에는 θ는 180°로 취급되며 αF,αR는 각각 -1/β, 1로 세팅된다.For voice input from the front side, θ (azimuthal direction) is treated as 0°, and α F and α R are set to 1 and -1/β, respectively. If the input voice (S) is input from the rear side, θ is treated as 180° and α F and α R are set to -1/β and 1, respectively.

이를 통해 정 방면으로부터 유입되는 입력 음성에 대한 좌측 마이크로폰의 예비적 빔 패턴(YL,θ)과 후 방면으로부터 유입되는 우측 마이크로폰의 예비적 빔 패턴(YR,θ)은 다음 식에 의해 계산되어 생성될 수 있다.Through this, the left microphone's preliminary beam pattern (Y L,θ ) for the input voice from the front side and the right microphone's preliminary beam pattern (Y R, θ ) from the rear side are calculated by the following equation. Can be created.

YL ,θ(YR ,θ)= αF·β·CF + αR·β·CR --- 식(1).Y L ,θ (Y R ,θ )= α F ·β·C F + α R ·β·C R --- Equation (1).

여기서 θ는 위에서 언급한 바와 같이 0° 또는 180°이며, αF,αR,β는 θ에 따라 위와 같이 설정된다. CF는 front-cardioid-shaped beam pattern를, CR는 rear-cardioid-shaped beam pattern를 나타낸다. 정 방면 유입의 경우에는 CR가 0에 가깝게, 후 방면 유입의 경우에는 CF가 0에 가깝게 설정된다.Here, θ is 0° or 180° as mentioned above, and α F , α R and β are set as above according to θ. C F denotes a front-cardioid-shaped beam pattern, and C R denotes a rear-cardioid-shaped beam pattern. In the case of forward inflow, C R is set close to 0, and in the case of rear inflow, C F is set close to 0.

이 식에 따르면 도 3의 (a)와 (b)가 잘 설명된다. 즉, 정 방면으로부터 유입되는 입력 음성에 대한 좌우측 마이크로폰의 예비적 빔 패턴은, 상기 식(1)에 의해 CF를 포함하는 항(term)은 두드러지고 CR를 포함하는 항은 거의 0에 근접하기 때문에, 정면 방향으로 두드러지게 형성되며 후면 방향으로는 거의 형성되지 아니함을 알 수 있다. 후 방면으로부터 유입되는 입력 음성에 대한 좌우측 마이크로폰의 예비적 빔 패턴은 이와 반대일 것이 상기 식(1)에 의해 자명하다.According to this equation, (a) and (b) of FIG. 3 are well explained. That is, as for the preliminary beam pattern of the left and right microphones for the input voice coming from the front surface, the term containing C F is prominent and the term containing C R is nearly zero by the above equation (1). Therefore, it can be seen that it is formed prominently in the front direction and is hardly formed in the rear direction. It is apparent from Equation (1) that the preliminary beam pattern of the left and right microphones for the input voice coming from the rear side is opposite to this.

다음으로 좌측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴과 우측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴(이하 각각 '좌측 빔 패턴'과 '우측 빔 패턴'으로 약칭)은 제2 예비적 빔 패턴 형성부(112)에 의해 형성되며(s212), 이의 형성은 소위 'Wiener filtering을 이용한 알고리즘[이에 대한 상세는 S. Doclo, M. Moonen, T. Van den Bogaert, and J. Wouters, "Reduced-Bandwidth and Distributed MWF-Based Noise Reduction Algorithms for Binaural Hearing Aids," IEEE Audio, Speech, Language Process, vol. 17, no. 1, Jan. 2009, pp. 38-51(문헌 2)]에 의해 이루어진다.Next, the preliminary beam pattern for the input voice coming from the left side and the preliminary beam pattern for the input voice coming from the right side (hereinafter, abbreviated as'left beam pattern' and'right beam pattern', respectively) are second preliminary. It is formed by the red beam pattern forming part 112 (s212), and its formation is an algorithm using so-called'Wiener filtering [for details, see S. Doclo, M. Moonen, T. Van den Bogaert, and J. Wouters, "Reduced-Bandwidth and Distributed MWF-Based Noise Reduction Algorithms for Binaural Hearing Aids," IEEE Audio, Speech, Language Process, vol. 17, no. 1, Jan. 2009, pp. 38-51 (Document 2)].

도 1c에 좌우측 방면으로부터 유입되는 입력 음성에 대한 제2 예비적 빔 패턴 형성부(111)의 일례가 제시되어 있는데, 이는 상기한 문헌 2에 제시되어 있는 것이다.1C shows an example of the second preliminary beam pattern forming unit 111 for input voices flowing from the left and right sides, which is presented in Document 2 above.

좌측 빔 패턴(ZL,θ)생성을 위해서 좌측 스테레오 마이크로폰 중 ML,F에 의해 유입된 입력 음성(XL,F)을, 우측 빔 패턴(ZR,θ)생성을 위해서 우측 스테레오 마이크로폰 중 MR,F에 의해 유입된 입력 음성(XR,F)을 이용한다.In order to generate the left beam pattern (Z L,θ ) , the input voice (X L,F ) introduced by M L,F among the left stereo microphones is selected from the right stereo microphone to generate the right beam pattern (Z R,θ ). Use the input voice (X R,F ) introduced by M R,F .

정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴 형성의 경우와는 달리 Wiener filtering한 결과 패턴을 좌우측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴으로 하는 이유는 같은 음원의 동일한 음성이라도 위치가 다른 곳으로부터 보청기(난청자)에 입력되면 정 방면으로부터 유입되는 경우와 강도, 음압 등에 차이가 발생할 수 있어 같은 성격의 대상 음성이라도 잡음으로 인식될 수 있기 때문이다. 이는 다시 말해 예비적 빔 패턴 형성을 위한 각종 지수의 값이 달라진다는 의미이며, 이러한 경우 상기 식(1)에 의해서 형성되는 예비적 빔 패턴의 신뢰성을 담보할 수 없다. 본 발명은 신뢰성 담보의 일환으로 본 발명은 Wiener filtering을 이용하는 것이다. 한편 Wiener filtering에 관한 일반적인 사항은 이미 다수의 문헌에 공지되어 있으므로, 이에 대한 상세한 설명은 생략한다.Unlike in the case of forming a preliminary beam pattern for the input voice from the front and rear sides, the reason that the pattern as a result of Wiener filtering is used as a preliminary beam pattern for the input voice from the left and right is the same voice from the same sound source. Even if the location is input to the hearing aid (hearing-impaired person) from a different location, there may be a difference in intensity, sound pressure, etc. from the case where it is introduced from the front side, so that even target voices of the same character can be recognized as noise. In other words, this means that the values of various indices for forming the preliminary beam pattern are different, and in this case, the reliability of the preliminary beam pattern formed by the above equation (1) cannot be guaranteed. The present invention uses Wiener filtering as part of the reliability guarantee. Meanwhile, since general matters related to Wiener filtering are already known in a number of documents, detailed descriptions thereof will be omitted.

XL,F(XR,F)에는 대상 음성[TL,F(TR,F)]과 잡음[DL,F(DR,F)]이 포함되어 있고, XL,F(XR,F)는 주파수 영역 변환부를 통해 주파수 영역 신호[XL,F(ω)과 XR,F(ω)]로 변환된다. ω는 주파수를 의미한다. 주파수 영역 신호로 변환하는 이유는 같은 성격의 대상 음성이라도 입력 방향이 다른 경우에는 정 방면(후 방면)으로부터 유입되는 경우와의 강도, 음압 등에 차이가 발생할 수 있기 때문인데, 이러해도 신호 자체의 주파수는 변하지 아니하기 때문에 형성될 예비적 빔 패턴의 신뢰성을 담보하기 위함이다. 주파수 영역 신호로의 변환은 예를 들어 FFT(Fast Fourier Transform) 등을 통해 이루어질 수 있다.X L,F (X R,F ) includes target voice [T L,F (T R,F )] and noise [D L,F (D R,F )], and X L,F (X R,F ) is converted into a frequency domain signal [X L,F (ω) and X R,F (ω)] through a frequency domain converter. ω means frequency. The reason for converting to a frequency domain signal is that even if the target voice of the same character has a different input direction, there may be a difference in intensity and sound pressure from the case that flows from the front (rear). Even in this case, the frequency of the signal itself This is to ensure the reliability of the preliminary beam pattern to be formed because is not changed. Transformation into a frequency domain signal may be performed through, for example, Fast Fourier Transform (FFT).

XL,F(ω)과 XR,F(ω)는 스펙트럼 파워 분석부를 통해 spectral power 값[PXL,F(ω)과 PXR,F(ω)]으로 변환되며, PXL,F(ω)과 PXR,F(ω)는 XL,F과 XR,F에 대한 Wiener filtering을 위해 Wiener Filter에 입력된다. Wiener filtering은, 이미 잘 알려진 바와 같이, 입력 신호를 원하는 출력 신호(desired response)와 가능한 한 매우 유사하게 입력 신호를 변환시키기 위한 과정으로서 유사하게 변환시키기 위한 Wiener 이득(Wiener gain)을 결정하는 것이다. 결정된 Wiener 이득을 입력 신호에 곱하면 원하는 출력 신호가 얻어진다.X L,F (ω) and X R,F (ω) are converted into spectral power values [PX L,F (ω) and PX R,F (ω)] through the spectral power analysis unit, and PX L,F ( ω) and PX R,F (ω) are input to the Wiener Filter for Wiener filtering for X L,F and X R,F . Wiener filtering, as is well known, is a process for converting an input signal as closely as possible to a desired output signal and determining a Wiener gain for similar conversion. The determined Wiener gain is multiplied by the input signal to obtain the desired output signal.

ZL,θ(ω)와 ZR,θ(ω)는 다음 식에 의해 생성된다.Z L,θ (ω) and Z R,θ (ω) are generated by the following equation.

ZL ,θ(ω) = wL·PXL ,F(ω).Z L ,θ (ω) = w L ·PX L ,F (ω).

ZR ,θ(ω) = wR·PXR ,F(ω).Z R ,θ (ω) = w R ·PX R ,F (ω).

여기서 wL과 wR가 바로 각각 XL,F(ω)와 XR,F(ω)를 위한 Wiener 이득이며, 이는 다음과 같이 구해진다.Where w L and w R are the Wiener gains for X L,F (ω) and X R,F (ω), respectively, which are obtained as follows.

wL = PXL ,F(ω)/[PXL ,F(ω)+PXR ,F(ω)].w L = PX L ,F (ω)/[PX L ,F (ω)+PX R ,F (ω)].

wR = PXR ,F(ω)/[PXL ,F(ω)+PXR ,F(ω)].w R = PX R ,F (ω)/[PX L ,F (ω)+PX R ,F (ω)].

ZL ,θ와 ZR ,θ는 각각 ZL ,θ(ω)와 ZR ,θ(ω)를 시간 영역으로 역변환(inverse transform)하여 구해진다. 여기서 θ는 90° 또는 270°이다. 도 3의 (c)와 (d)에 좌측 빔 패턴과 우측 빔 패턴의 예가 제시되어 있다.Z L ,θ and Z R ,θ are obtained by inverse transforming Z L ,θ (ω) and Z R ,θ (ω) into the time domain, respectively. Where θ is 90° or 270°. Examples of the left beam pattern and the right beam pattern are shown in (c) and (d) of FIG. 3.

조정부(12)는 예비적 빔 패턴 형성부(11)에 의해 형성된 빔 패턴을 대상 음성의 음원이 실제 위치한 방향에 따라 조정하여 대상 음성에 대한 최종적 빔 패턴(출력 음성, Out)을 형성한다(s22). 구체적으로 음원이 위치한 방향에 따라 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴에 해당하는 신호 성분을 대상 음성의 순수 신호 성분으로(대상 음성에는 순수 신호 성분과 잡음 신호 성분이 포함되어 있다), 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴에 해당하는 신호 성분을 대상 음성의 잡음 신호 성분으로 하고 이러한 순수 신호 성분과 잡음 신호 성분을 이용하여 예비적 빔 패턴을 Wiener filtering하여 상기 최종적 빔 패턴을 형성한다.The adjustment unit 12 adjusts the beam pattern formed by the preliminary beam pattern forming unit 11 according to the direction in which the sound source of the target sound is actually located, thereby forming a final beam pattern (output sound, Out) for the target sound (s22). ). Specifically, the signal component corresponding to the preliminary beam pattern for the target voice input from the front or rear direction depending on the direction in which the sound source is located is used as the pure signal component of the target voice (the target voice includes a pure signal component and a noise signal component. The signal component corresponding to the preliminary beam pattern for the target voice input from the left or right side is used as the noise signal component of the target voice, and the preliminary beam pattern is constructed using these pure signal components and noise signal components. The final beam pattern is formed by wiener filtering.

이때 조정부(12)는 아울러 순수 신호 성분을 상기 위치 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 Wiener filtering을 수행하는데, 이는 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성의 효과를 볼 수 있도록(대상 음성의 주파수 변화에 적응할 수 있도록) 하기 위한 것이다. 본 발명에 의한 조정부(12)의 기능은 특히 대상 음성이 난청자의 대각선 방면[전방 45도 우측(45°) 방면, 전방 45도 좌측(315°) 방면, 후방 45도 우측(135°) 방면, 후방 45도 좌측(225°) 방면]에 위치한 경우에 특히 그 의의가 있다.At this time, the adjustment unit 12 also performs Wiener filtering by correcting the pure signal component by using the speech signal component having the highest frequency of the beam pattern formation effect in the position direction, which means that even if the target speech has any frequency This is to make it possible to see the effect of pattern formation (to adapt to the frequency change of the target voice). In particular, the function of the adjustment unit 12 according to the present invention is that the target voice is in the diagonal direction of the hearing-impaired person (front 45° right (45°), front 45° left (315°), rear 45° right (135°), It is particularly meaningful when it is located in the rear 45° left (225°) direction.

조정부(12)에 의한 Wiener filtering을 구체적으로 예를 들어 설명하면 다음과 같다.Wiener filtering by the adjustment unit 12 will be described in detail as follows.

대상 음성의 음원이 45° 방면에 위치한다고 가정하자. 우선 상기한 예비적 빔 패턴 중 제1 예비적 빔 패턴을 고려하면 YR.180(YL.180 ) 보다 YR.0(YL.0)에 대상 음성의 순수 신호 성분이 보다 더 풍부하며, 아울러 제2 예비적 빔 패턴을 고려하면 ZR.270 보다 ZR .90에 대상 음성의 순수 신호 성분이 보다 더 풍부할 것이다. 그러므로 대상 음성의 음원이 45° 방면에 위치한다면 대상 음성의 최종적 빔 패턴(출력 음성)은 다음과 같이 됨을 상정(예상)할 수 있다.Suppose that the sound source of the target voice is located in the 45° direction. First of all, considering the first preliminary beam pattern among the preliminary beam patterns described above, the pure signal component of the target speech is more abundant in Y R.0 (Y L.0 ) than in Y R.180 (Y L.180 ). , as well as to be the second preliminary consideration of the beam pattern true signal component of the target voice to Z R .90 it is more abundant than than Z R.270. Therefore, if the sound source of the target sound is located in the 45° direction, it can be assumed (expected) that the final beam pattern (output sound) of the target sound is as follows.

OutR ,45 = XR ,F(ω)·φN(ω)/[φS(ω)+φN(ω)] --- 식(2).Out R ,45 = X R ,F (ω)·φ N (ω)/[φ S (ω)+φ N (ω)] --- Equation (2).

OutL ,45 = XL ,F(ω)·φS(ω)/[φS(ω)+φN(ω)] --- 식(3).Out L ,45 = X L ,F (ω)·φ S (ω)/[φ S (ω)+φ N (ω)] --- Equation (3).

여기서 XR,F(ω)와 XL,F(ω)는 위에서 설명한 바와 같다. φS(ω)는 대상 음성의 순수 신호 성분으로 45° 인 경우 YR.0(ω)(YR.0의 spectral power 값)이고, φN(ω)은 대상 음성의 잡음 신호 성분으로 45° 인 경우 ZR.270(ω)이다. 그리고 φN(ω)/[φS(ω)+φN(ω)], φS(ω)/[φS(ω)+φN(ω)]는 최종적 빔 패턴 형성을 위한 Wiener 이득이다.Here, X R,F (ω) and X L,F (ω) are as described above. φ S (ω) is the pure signal component of the target speech, Y R.0 (ω) (the spectral power value of Y R.0 ) at 45°, and φ N (ω) is the noise signal component of the target speech 45 For °, Z is R.270 (ω). And φ N (ω)/[φ S (ω)+φ N (ω)], φ S (ω)/[φ S (ω)+φ N (ω)] are the Wiener gains for the final beam pattern formation. .

대상 음원이 각각 315° 방면, 135° 방면, 225° 방면인 경우에도 45° 방면인 경우와 유사하게 최종적 빔 패턴(출력 음성)이 형성됨을 상정할 수 있다. 315°인 경우에는 순수 신호 성분으로 YL.0(ω)(YL.0의 spectral power 값)이고, 잡음 신호 성분으로 ZR.90(ω)이다. 135°인 경우에는 순수 신호 성분으로 YR.180(ω)(YR.180의 spectral power 값)이고, 잡음 신호 성분으로 ZR.270(ω)이다. 225°인 경우에는 순수 신호 성분으로 YR.180(ω)이고, 잡음 신호 성분으로 ZR.90(ω)이다.Even when the target sound source is toward 315°, toward 135°, and toward 225°, it can be assumed that a final beam pattern (output sound) is formed similarly to the case of 45° direction. In the case of 315°, the pure signal component is Y L.0 (ω) (the spectral power value of Y L.0 ), and the noise signal component is Z R.90 (ω). In the case of 135°, the pure signal component is Y R.180 (ω) (the spectral power value of Y R.180 ), and the noise signal component is Z R.270 (ω). In the case of 225°, the pure signal component is Y R.180 (ω), and the noise signal component is Z R.90 (ω).

한편 대상 음성의 주파수가 변화하면 음원이 동일 위치에 있더라도 최종적 빔 패턴 형성을 위한 Wiener 이득의 값이 변하는데, 이는 상기한 DMA 알고리즘의 결과가 대상 음원의 주파수 변화에 영향을 받기 때문이며 따라서 φS(ω)가 변하기 때문이다(φS(ω)는 대상 음성의 주파수가 높을수록 급격히 증가한다). 그러나 대상 음성의 주파수 변화에 따른 제2 예비적 빔 형성을 위한 Wiener 이득의 변화의 정도는 DMA 알고리즘의 경우에 비해 매우 낮으며 따라서 φN(ω)는 대상 음성의 거의 모든 주파수 영역에서 거의 변함이 없다(주파수 변화에 둔감하다). 그러므로 특히 고주파 영역에서는 φS(ω)가 매우 크기에 식(2)와 식(3)에 의해서는 빔 패턴의 형성이 거의 이루어지지 아니한다.On the other hand, if the frequency of the target voice changes, the value of the Wiener gain for final beam pattern formation changes even if the sound source is at the same position, because the result of the DMA algorithm is affected by the frequency change of the target sound source, and thus φ S ( This is because ω) changes (φ S (ω) increases rapidly as the frequency of the target voice increases). However, the degree of change of the Wiener gain for the second preliminary beam formation according to the frequency change of the target voice is very low compared to the case of the DMA algorithm, and therefore φ N (ω) changes almost in almost all frequency domains of the target voice. None (insensitive to frequency changes). Therefore, especially in the high-frequency region, φ S (ω) is very large, and the beam pattern is hardly formed by Equations (2) and (3).

이를 극복하기 위해 본 발명에 의한 최종적 빔 패턴의 형성은 순수 신호 성분을 대상 음성의 음원이 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수(ωr)를 갖는 음성 신호 성분을 이용해 보정(calibration)하여 대상 음성의 주파수 변화에 적응할 수 있도록 하는데, 이러한 보정의 지향점은 음원이 동일한 위치에 있는 경우에는 대상 음성의 주파수가 변화해도 최종적 빔 패턴 형성을 위한 Wiener 이득의 변동이 없도록 하는 것이다. Wiener 이득의 무변동은 φS(ω)와 φN(ω)의 비(ratio, k)를 음성의 모든 주파수 영역(0 ≤ ω ≤ 4 KHz)에서 일정하게 유지시키는 것으로 가능하다. 그리고 대상 음성의 음원이 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수(ωr)를 갖는 음성 신호 성분은 실험적으로 결정된다.To overcome this, the formation of the final beam pattern according to the present invention is performed by calibrating the pure signal component using the speech signal component having the greatest frequency (ω r ) in the direction in which the sound source of the target speech is located. Thus, it is possible to adapt to the frequency change of the target voice. The point of correction for this correction is to ensure that there is no change in the Wiener gain for the final beam pattern formation even if the frequency of the target voice changes when the sound source is in the same position. Non-variation of the Wiener gain is possible by keeping the ratio (k) of φ S (ω) and φ N (ω) constant in all frequency domains (0 ≤ ω ≤ 4 KHz). In addition, a voice signal component having a frequency (ω r ) having the greatest effect of forming a beam pattern in the direction in which the sound source of the target voice is located is experimentally determined.

보정의 일례를 들면 다음과 같다.An example of correction is as follows.

음성의 대역폭을 8개 대역(~ 500Hz, 500 ~ 1KHz, 1KHz ~ 1.5KHz, 1.5KHz ~ 2KHz, 2KHz ~ 2.5KHz, 2.5KHz ~ 3KHz, 3KHz ~ 3.5KHz, 3.5KHz ~ 4KHz)으로 나눈다고 가정하자(물론 상황에 따라 더 많은 개수의 대역폭으로 나눌 수 있음은 자명하다). 그리고 대상 음성의 파형이 이들 8개 대역의 중심 주파수와 일치하는 주파수를 갖는 단조 정현파(pure-tone sine wave)에 대한 최종적 빔 패턴이 형성된다고 하자. 그리고 대상 음성의 음원이 위치한 방향이 45° 방향과 315° 방향인 경우에 빔 패턴 형성 효과가 가장 큰 음성 신호 성분의 주파수(ωr)가 500Hz, 135°와 225°인 경우에 빔 패턴 형성 효과가 가장 큰 주파수가 750Hz로 실험적으로 결정되었다고 하자.Suppose that the voice bandwidth is divided into 8 bands (~ 500Hz, 500 ~ 1KHz, 1KHz ~ 1.5KHz, 1.5KHz ~ 2KHz, 2KHz ~ 2.5KHz, 2.5KHz ~ 3KHz, 3KHz ~ 3.5KHz, 3.5KHz ~ 4KHz) (Of course, it is obvious that it can be divided into a larger number of bandwidths depending on the situation). And suppose that a final beam pattern is formed for a pure-tone sine wave having a frequency that matches the center frequency of these eight bands. And the beam pattern formation effect when the frequency (ω r ) of the voice signal component, which has the greatest beam pattern formation effect in the case where the sound source of the target voice is located in the 45° direction and 315° direction, is 500 Hz, 135° and 225°. Suppose that the largest frequency of is determined experimentally as 750Hz.

이러한 가정에서 다른 주파수(ω1)를 갖는 대상 음성이 45°와 315° 방향의 동일 위치로부터 입력된다면, 이에 대한 최종적 빔 패턴 생성을 위한 Wiener 이득이 변동이 없어야 하므로 상기 식(2)의 φS(ω)는 다음과 같이 보정이 되어야 한다.Under this assumption, if a target voice having a different frequency (ω 1 ) is input from the same position in the 45° and 315° directions, the Wiener gain for the final beam pattern generation must not fluctuate, so φ S in Equation (2) above. (ω) should be corrected as follows.

φS, new(ω) = φS(ω)·γ(500, ω1).φ S, new (ω) = φ S (ω)·γ(500, ω 1 ).

만일 다른 주파수(ω1)를 갖는 대상 음성이 135°와 225° 방향의 동일 위치로부터 입력된다면, 이에 대한 최종적 빔 패턴 생성을 위한 Wiener 이득이 변동이 없어야 하므로 상기 식(3)의 φS(ω)는 다음과 같이 보정이 되어야 한다.If a target voice having a different frequency (ω 1 ) is input from the same position in the 135° and 225° directions, the Wiener gain for the final beam pattern generation for this must not change, so φ S (ω ) Should be corrected as follows.

φS, new(ω) = φS(ω)·γ(750, ω1).φ S, new (ω) = φ S (ω)·γ(750, ω 1 ).

여기서 γ(ωr, ω1)는 대상 음성의 주파수가 ωr일 때의 Wiener 이득과 대상 음성의 주파수가 ω1일 때의 Wiener 이득의 비(ratio)를 의미하며, 실험적으로 결정된다. 결정된 측정치는 참조 테이블(look-up table)의 형태로 저장될 수 있으며, 대상 음성에 대한 빔 패턴을 형성할 때마다 참조 테이블을 조회하여 보정이 이루어지게 된다. 대상 음성의 주파수 변화가 있어도 음원이 동일한 위치에 존재하면 Wiener 이득이 동일하도록 해야 하기 때문에 γ(ωr, ω1)의 개수는 가급적 많을수록 바람직하다. 이러한 보정을 통해 결국 k의 유지가 가능하게 되어 주파수 적응성의 향상을 도모할 수 있는 것이다.Here, γ(ω r , ω 1 ) means the ratio of the Wiener gain when the frequency of the target voice is ω r and the Wiener gain when the frequency of the target voice is ω 1 , and is determined experimentally. The determined measurement value may be stored in the form of a look-up table, and correction is performed by inquiring the reference table each time a beam pattern for the target voice is formed. Even if there is a change in the frequency of the target voice, the Wiener gain should be the same if the sound source is in the same position, so the number of γ(ω r , ω 1 ) is preferably as large as possible. Through this correction, it is possible to maintain k in the end, thereby improving frequency adaptability.

도 4a와 도 4b는 본 발명에 의한 빔-포밍 방안의 결과의 일례를 제시한 도면이다. 도 4a의 경우에는 대상 신호가 주파수 600Hz인 경우의 단조 정현파에 대한 최종적 빔 패턴을, 도 4b의 경우에는 대상 신호가 주파수 2.5KHz인 경우의 단조 정현파에 대한 최종적 빔 패턴을 제시한 것이다.4A and 4B are diagrams showing an example of a result of a beam-forming scheme according to the present invention. In the case of FIG. 4A, the final beam pattern for the monotonic sine wave when the target signal is at a frequency of 600 Hz, and in the case of FIG. 4B, the final beam pattern for the monotonic sine wave when the target signal is at the frequency of 2.5 KHz is presented.

도 4a는 대상 신호의 주파수가 저주파인 경우이고 4b는 고주파인 경우인데, 특히 고주파인 경우에도 대각선 방면으로 원하는 빔 패턴을 얻을 수 있음을 알 수 있다.4A is a case where the frequency of the target signal is a low frequency and 4b is a case of a high frequency. In particular, it can be seen that a desired beam pattern can be obtained in a diagonal direction even in the case of a high frequency.

본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 유무선 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present method invention can also be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices, and are implemented in the form of carrier waves (for example, transmission through wired and wireless networks). Also includes. In addition, the computer-readable recording medium can be distributed over a computer system connected through a network to store and execute computer-readable codes in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그리고 본 명세서에는 양이 보청기에 적용하는 것을 중심으로 언급되어 있으나 음성 인식을 기반으로 하는 모든 기술 분야에 응용 내지 적용 가능하다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at around its preferred embodiment. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. In addition, although the present specification mainly mentions the application of sheep to hearing aids, it can be applied or applied to all technical fields based on voice recognition. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (10)

(a)전방 및 후방 마이크로폰을 각각 구비하는 양이 보청기에 입력되는 음성의 유입 방향을 전후좌우로 집중시키는(focusing) 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 개괄적인 입력 방향을 판단하는 단계; 및
(b)상기 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 순수 신호 성분으로, 상기 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 잡음 신호 성분으로 설정하고, 상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 상기 개괄적인 입력 방향이 아닌 상기 대상 음성의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating) 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하는 양이 보청기의 빔-포밍 방법.(a) A preliminary beam pattern is formed through beam-forming in which the amount of each having front and rear microphones focuses the inflow direction of the voice input to the hearing aid to the front, rear, left and right. Determining a general input direction whether the voice to be recognized is input from the front side, the rear side, the left side or the right side of the hearing aid; And
(b) The preliminary beam pattern for the target voice input from the front or rear direction is used as the pure signal component of the target voice, and the preliminary beam pattern for the target voice input from the left or right direction is the target. Set as a noise signal component of speech, and adjust the preliminary beam pattern according to the direction in which the sound source of the target speech is actually located, not the general input direction, using the pure signal component and the noise signal component And forming a final beam pattern (output voice) for the target voice by calibrating the beam-forming method of a yangyi hearing aid. 제 1 항에 있어서, 상기 (a)단계는
(a1)상기 정 방면과 상기 후 방면으로 유입되는 입력 음성에 대해서는 Differential Microphone Array(DMA) 알고리즘의 수행 결과를 상기 예비적 빔 패턴으로 형성하는 단계;
(a2)상기 좌측 방면과 상기 우측 방면으로 유입되는 입력 음성에 대해서는 이들의 각각에 대한 Wiener filtering의 결과를 상기 예비적 빔 패턴으로 형성하는 단계를 포함하는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.The method of claim 1, wherein step (a)
(a1) forming a result of performing a Differential Microphone Array (DMA) algorithm as the preliminary beam pattern for the input voice flowing into the front direction and the rear direction;
(a2) Beam-forming of a positive hearing aid, characterized in that it comprises the step of forming a result of Wiener filtering for each of the input voices flowing into the left and right directions as the preliminary beam pattern. Way. 제 2 항에 있어서, 상기 (b)단계는
상기 대상 음성에 대한 최종적 빔 패턴을 형성함에 있어서 상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 Wiener filtering하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.The method of claim 2, wherein step (b)
The beam-forming method of a yangyi hearing aid, characterized in that in forming a final beam pattern for the target voice, the preliminary beam pattern is subjected to Wiener filtering using the pure signal component and the noise signal component. 제 3 항에 있어서, 상기 예비적 빔 패턴의 Wiener filtering은
상기 순수 신호 성분을 상기 대상 음성의 음원이 실제 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.The method of claim 3, wherein the Wiener filtering of the preliminary beam pattern is
The beam-forming method of a yangyi hearing aid, characterized in that the pure signal component is corrected using an audio signal component having a frequency having the greatest beam pattern forming effect in a direction in which the sound source of the target audio is actually located. 제 4 항에 있어서, 상기 보정은
상기 대상 음성의 주파수에서의 상기 순수 신호 성분의 spectral power 값과 상기 잡음 신호 성분의 spectral power 값의 비(ratio)를 일정하게 유지되도록 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.The method of claim 4, wherein the correction is
A beam-forming method of a positive hearing aid, characterized in that a ratio of a spectral power value of the pure signal component and a spectral power value of the noise signal component at the frequency of the target voice is kept constant. 전방 및 후방 마이크로폰을 각각 구비하는 양이 보청기에 입력되는 음성의 유입 방향을 전후좌우로 집중시키는(focusing) 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 개괄적인 입력 방향을 판단하는 예비적 빔 패턴 형성부; 및
상기 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 순수 신호 성분으로, 상기 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 잡음 신호 성분으로 설정하고, 상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 상기 개괄적인 입력 방향이 아닌 상기 대상 음성의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating), 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 조정부를 포함하는 양이 보청기의 빔-포밍 시스템.By forming a preliminary beam pattern through beam-forming in which the amount of each equipped with the front and rear microphones focuses the inflow direction of the voice input to the hearing aid to the front, rear, left and right, the target voice for recognition of the hearing impaired A preliminary beam pattern forming unit for determining a general input direction whether input from the front, rear, left or right side of the hearing aid; And
The preliminary beam pattern for the target voice input from the front or rear direction is used as the pure signal component of the target voice, and the preliminary beam pattern for the target voice input from the left or right side is the noise of the target voice. It is set as a signal component and calibrated by using the pure signal component and the noise signal component to adjust the preliminary beam pattern according to the direction in which the sound source of the target voice is actually located instead of the general input direction. ), a beam-forming system of a yangyi hearing aid comprising an adjustment unit for forming a final beam pattern (output voice) for the target voice. 제 6 항에 있어서, 상기 예비적 빔 패턴 형성부는
상기 정 방면과 상기 후 방면으로 유입되는 입력 음성에 대해서는 Differential Microphone Array(DMA) 알고리즘의 수행 결과를 상기 예비적 빔 패턴으로 형성하는 제1 예비적 빔 패턴 형성부; 및
상기 좌측 방면과 상기 우측 방면으로 유입되는 입력 음성에 대해서는 이들의 각각에 대한 Wiener filtering의 결과를 상기 예비적 빔 패턴으로 형성하는 제2 예비적 빔 패턴 형성부를 포함하는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.The method of claim 6, wherein the preliminary beam pattern forming unit
A first preliminary beam pattern forming unit for forming a result of performing a Differential Microphone Array (DMA) algorithm as the preliminary beam pattern for the input voice flowing into the front and rear sides; And
For the input voice flowing into the left side and the right side, a second preliminary beam pattern forming part for forming a result of Wiener filtering for each of them into the preliminary beam pattern. Beam-forming system. 제 7 항에 있어서, 상기 조정부는
상기 대상 음성에 대한 최종적 빔 패턴을 형성함에 있어서 상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 Wiener filtering하여 상기 최종적 빔 패턴을 형성하는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.The method of claim 7, wherein the adjustment unit
In forming the final beam pattern for the target voice, the beam of the positive hearing aid, characterized in that the final beam pattern is formed by wiener filtering the preliminary beam pattern using the pure signal component and the noise signal component. Forming system. 제 8 항에 있어서, 상기 예비적 빔 패턴의 Wiener filtering은
상기 순수 신호 성분을 상기 대상 음성의 음원이 실제 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.The method of claim 8, wherein the Wiener filtering of the preliminary beam pattern is
The beam-forming system of a yangyi hearing aid, characterized in that the pure signal component is corrected by using an audio signal component having a frequency having the largest beam pattern forming effect in a direction in which the sound source of the target audio is actually located. 제 9 항에 있어서, 상기 보정은
상기 대상 음성의 주파수에서의 상기 순수 신호 성분의 spectral power 값과 상기 잡음 신호 성분의 spectral power 값의 비(ratio)를 일정하게 유지되도록 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.The method of claim 9, wherein the correction is
A beam-forming system of a positive hearing aid, characterized in that a ratio of a spectral power value of the pure signal component and a spectral power value of the noise signal component at the frequency of the target voice is kept constant.
KR1020130135582A 2013-11-08 2013-11-08 Beam-forming system and method for binaural hearing support device KR102186307B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130135582A KR102186307B1 (en) 2013-11-08 2013-11-08 Beam-forming system and method for binaural hearing support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135582A KR102186307B1 (en) 2013-11-08 2013-11-08 Beam-forming system and method for binaural hearing support device

Publications (2)

Publication Number Publication Date
KR20150053842A KR20150053842A (en) 2015-05-19
KR102186307B1 true KR102186307B1 (en) 2020-12-03

Family

ID=53390235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135582A KR102186307B1 (en) 2013-11-08 2013-11-08 Beam-forming system and method for binaural hearing support device

Country Status (1)

Country Link
KR (1) KR102186307B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102105975B1 (en) * 2018-05-31 2020-04-29 소리노리닷컴(주) Digital Hearing Aid with multi-microphones

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204493A (en) * 2000-10-25 2002-07-19 Matsushita Electric Ind Co Ltd Zoom microphone system
JP2011139462A (en) * 2009-12-29 2011-07-14 Gn Resound As Beam-forming in hearing aid
JP2012195907A (en) * 2011-03-18 2012-10-11 Panasonic Corp Hearing aid device
US20120321092A1 (en) * 2010-02-19 2012-12-20 Siemens Medical Instruments Pte. Ltd. Method for the binaural left-right localization for hearing instruments
US20130208896A1 (en) * 2010-02-19 2013-08-15 Siemens Medical Instruments Pte. Ltd. Device and method for direction dependent spatial noise reduction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409169B1 (en) * 2007-09-05 2014-06-19 삼성전자주식회사 Sound zooming method and apparatus by controlling null widt

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204493A (en) * 2000-10-25 2002-07-19 Matsushita Electric Ind Co Ltd Zoom microphone system
JP2011139462A (en) * 2009-12-29 2011-07-14 Gn Resound As Beam-forming in hearing aid
US20120321092A1 (en) * 2010-02-19 2012-12-20 Siemens Medical Instruments Pte. Ltd. Method for the binaural left-right localization for hearing instruments
US20130208896A1 (en) * 2010-02-19 2013-08-15 Siemens Medical Instruments Pte. Ltd. Device and method for direction dependent spatial noise reduction
JP2012195907A (en) * 2011-03-18 2012-10-11 Panasonic Corp Hearing aid device

Also Published As

Publication number Publication date
KR20150053842A (en) 2015-05-19

Similar Documents

Publication Publication Date Title
CN107360527B (en) Hearing device comprising a beamformer filtering unit
US9681246B2 (en) Bionic hearing headset
CN107690119B (en) Binaural hearing system configured to localize sound source
US7031483B2 (en) Hearing aid comprising an array of microphones
CN106507258B (en) Hearing device and operation method thereof
EP2148527B1 (en) System for reducing acoustic feedback in hearing aids using inter-aural signal transmission, method and use
US20170272887A1 (en) System and apparatus for generating a head related audio transfer function
US10959035B2 (en) System, method, and apparatus for generating and digitally processing a head related audio transfer function
CN110856072B (en) Earphone conversation noise reduction method and earphone
US10701505B2 (en) System, method, and apparatus for generating and digitally processing a head related audio transfer function
US11202161B2 (en) System, method, and apparatus for generating and digitally processing a head related audio transfer function
CN105530580A (en) Hearing system
KR20180130561A (en) Apparatus and method for providing separate sound zones
CN108694956B (en) Hearing device with adaptive sub-band beamforming and related methods
WO2021126981A1 (en) System, method, and apparatus for generating and digitally processing a head related audio transfer function
US20190075405A1 (en) Method for operating a hearing device, hearing device and binaural hearing device system
JP2016110050A (en) Voice processor, voice clearing device, and voice processing method
US11153695B2 (en) Hearing devices and related methods
KR102186307B1 (en) Beam-forming system and method for binaural hearing support device
AU2011226820B2 (en) Method for frequency compression with harmonic correction and device
CN114125656A (en) Method for directional signal processing of an acoustic system
JP2017168887A (en) Acoustic reproduction apparatus, acoustic reproduction method, and program
JP2020102834A (en) Method for beamforming in binaural hearing aid
US11617037B2 (en) Hearing device with omnidirectional sensitivity
JP2017212732A (en) Channel number converter and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right