KR102364853B1 - 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템 - Google Patents

음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템 Download PDF

Info

Publication number
KR102364853B1
KR102364853B1 KR1020170091059A KR20170091059A KR102364853B1 KR 102364853 B1 KR102364853 B1 KR 102364853B1 KR 1020170091059 A KR1020170091059 A KR 1020170091059A KR 20170091059 A KR20170091059 A KR 20170091059A KR 102364853 B1 KR102364853 B1 KR 102364853B1
Authority
KR
South Korea
Prior art keywords
resonators
time
time frames
delete delete
acoustic
Prior art date
Application number
KR1020170091059A
Other languages
English (en)
Other versions
KR20190009168A (ko
Inventor
박상하
강성찬
김재흥
윤용섭
이충호
홍혁기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170091059A priority Critical patent/KR102364853B1/ko
Priority to US15/823,881 priority patent/US10356509B2/en
Priority to EP21153779.0A priority patent/EP3840409A1/en
Priority to EP17207060.9A priority patent/EP3432603A1/en
Priority to CN201711426675.2A priority patent/CN109273022B/zh
Publication of KR20190009168A publication Critical patent/KR20190009168A/ko
Application granted granted Critical
Publication of KR102364853B1 publication Critical patent/KR102364853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
    • H04R1/245—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges of microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H04R17/02—Microphones
    • H04R17/025—Microphones using a piezoelectric polymer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H04R17/10—Resonant transducers, i.e. adapted to produce maximum output at a predetermined frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H04R1/2807—Enclosures comprising vibrating or resonating arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R11/00—Transducers of moving-armature or moving-core type
    • H04R11/14—Resonant transducers, i.e. adapted to produce maximum output at a predetermined frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2440/00—Bending wave transducers covered by H04R, not provided for in its groups
    • H04R2440/03—Resonant bending wave transducer used as a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R7/00—Diaphragms for electromechanical transducers; Cones
    • H04R7/02—Diaphragms for electromechanical transducers; Cones characterised by the construction
    • H04R7/04—Plane diaphragms
    • H04R7/06—Plane diaphragms comprising a plurality of sections or layers
    • H04R7/08—Plane diaphragms comprising a plurality of sections or layers comprising superposed layers separated by air or other fluid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
    • H04R9/18—Resonant transducers, i.e. adapted to produce maximum output at a predetermined frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

적어도 일부가 서로 다른 주파수 대역들을 가지는 복수의 공진기를 포함하는 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템이 개시된다. 개시된 음향 센싱 소자의 신호 처리 방법은 상기 복수의 공진기에 대응하여 복수의 시간 프레임을 설정하는 단계; 및 상기 시간 프레임들 각각에 상기 공진기들 각각으로부터 검출된 음향 신호에 의해 계산된 음향 특성값을 구성하는 단계;를 포함한다. 여기서, 상기 시간 프레임들은 상기 주파수 대역들과는 독립적으로 설정되며, 상기 시간 프레임들의 적어도 일부는 서로 다른 시간 간격을 가지도록 설정된다.

Description

음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템{Signal processing method of audio sensing device and audio sensing system}
음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템에 관한 것이다.
일반적으로, 음향 신호의 주파수 도메인 정보는 광대역(wide band) 특성을 갖는 마이크로폰(microphone)에 입력된 음향 신호가 ADC(Analog Digital Converter)를 거쳐 퓨리에 변환(Fourier Transform)됨으로써 얻어지게 된다. 이러한 주파수 정보 획득 방식은 퓨리에 변환에 따른 계산량 부담이 크며, 주파수 분해능과 시간 분해능이 트레이드 오프(trade-off) 관계를 가져 시간 정보와 주파수 정보의 분해능을 동시에 향상시키기 어렵다.
예시적인 실시예는 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템을 제공한다.
일 측면에 있어서,
적어도 일부가 서로 다른 주파수 대역들을 가지는 복수의 공진기를 포함하는 음향 센싱 소자의 신호 처리 방법에 있어서,
상기 복수의 공진기에 대응하여 복수의 시간 프레임(time frame)을 설정하는 단계; 및
상기 시간 프레임들 각각에 상기 공진기들 각각으로부터 검출된 음향 신호에 의해 계산된 음향 특성값(sound feature)을 구성하는 단계;를 포함하고,
상기 시간 프레임들은 상기 주파수 대역들과는 독립적으로 설정되며, 상기 시간 프레임들의 적어도 일부는 서로 다른 시간 간격(time interval)을 가지도록 설정되는 음향 센싱 소자의 신호 처리 방법이 제공된다.
상기 시간 프레임들은 상기 공진기들의 주파수 대역들에 대응하는 시간 간격들을 가지도록 설정될 수 있다.
상기 시간 프레임들은 상기 공진기들의 주파수 대역들이 높아짐에 따라 점점짧아지는 시간 간격들을 가지도록 설정될 수 있다. 상기 시간 프레임들은 상기 공진기들의 주파수 대역들이 낮아짐에 따라 점점 점점짧아지는 시간 간격들을 가지도록 설정될 수 있다. 상기 시간 프레임들은 상기 공진기들의 특정 주파수 대역들에 가까워짐에 따라 점점 점점짧아지는 시간 간격들을 가지도록 설정될 수 있다.
상기 공진기들 중 일부에는 동일한 크기의 상기 시간 프레임들이 설정될 수있다.
상기 시간 프레임들 각각의 시간 간격을 수 ms ~ 수 s 정도가 될 수 있다.
상기 공진기들은 서로 다른 주파수 대역을 가질 수 있다. 상기 공진기들의 일부는 동일한 주파수 대역을 가질 수 있다.
상기 공진기는 고정부, 상기 고정부로부터 일 방향으로 연장되어 마련되는 지지부 및 상기 지지부 상에 마련되어 상기 지지부의 변형에 따른 음향 신호를 센싱하는 센서부를 포함할 수 있다. 상기 센서부는 압전층을 포함할 수 있다.
상기 공진기는 상기 지지부 상에 마련되는 질량체(mass)를 더 포함할 수 있다.
다른 측면에 있어서,
적어도 일부가 서로 다른 주파수 대역들을 가지는 복수의 공진기를 포함하는 음향 센싱 소자;
상기 음향 센싱 소자의 복수의 공진기에 대응하여 복수의 시간 프레임을 설정하는 제어부; 및
상기 시간 프레임들 각각에 상기 공진기들 각각으로부터 검출된 음향 신호에 의해 계산된 음향 특성값을 구성하는 신호 처리부;를 포함하고,
상기 제어부는 상기 시간 프레임들을 상기 주파수 대역들과는 독립적으로 설정하며, 상기 시간 프레임들의 적어도 일부를 서로 다른 시간 간격을 가지도록 설정하는 음향 센싱 시스템이 제공된다.
상기 제어부는 상기 시간 프레임들을 상기 공진기들의 주파수 대역들에 대응하는 시간 간격을 가지도록 설정할 수 있다.
상기 제어부는 상기 시간 프레임들을 상기 공진기들의 주파수 대역들이 높아짐에 따라 점점 짧아지는 시간 간격을 가지도록 설정할 수 있다. 상기 제어부는 상기 시간 프레임들을 상기 공진기들의 주파수 대역들이 낮아짐에 따라 점점 짧아지는 시간 간격을 가지도록 설정할 수 있다.
상기 제어부는 상기 공진기들 중 일부에 동일한 시간 간격을 가지는 상기 시간 프레임들을 설정할 수 있다.
상기 시간 프레임들 각각의 시간 간격은 수 ms ~ 수 s 정도가 될 수 있다.
상기 공진기들은 서로 다른 주파수 대역을 가질 수 있다. 상기 공진기들의 일부는 동일한 주파수 대역을 가질 수 있다.
상기 공진기는 고정부, 상기 고정부로부터 일 방향으로 연장되어 마련되는 지지부 및 상기 지지부 상에 마련되어 상기 지지부의 변형에 따른 음향 신호를 센싱하는 센서부를 포함할 수 있다. 상기 공진기는 상기 지지부 상에 마련되는 질량체를 더 포함할 수 있다.
적어도 일 실시예에 의하면, 어레이 형태로 배열되며 적어도 일부가 서로 다른 주파수 대역을 가지는 복수의 공진기를 포함하는 음향 센싱 소자에서, 공진기들에 대응하는 시간 프레임들은 공진기들의 주파수 대역들과는 독립적으로 설정될 수 있으며, 다양한 시간 간격을 가지도록 설정될 수 있다. 즉, 공진기들에 대응하는 시간 프레임들은 적어도 일부가 서로 다른 시간 간격을 가지도록 설정될 수 있다. 예를 들어, 원하는 음향 정보가 포함되어 있는 주파수 대역에는 짧은 시간 간격을 가지는 시간 프레임을 설정하고, 그 이외의 주파수 대역에는 긴 시간 간격을 가지는 시간 프레임을 설정할 수 있다. 이에 따라, 음향 특성값 데이터를 증가시키지 않더라도 고해상도의 음향 정보를 추출할 수 있다.
도 1은 복수의 공진기를 포함하는 음향 센싱 소자의 일례를 도시한 평면도이다.
도 2는 도 1의 II-II'선을 따라 본 단면도이다.
도 3은 도 1에 도시된 음향 센싱 소자의 일반적인 신호 처리 방법을 도시한 것이다.
도 4는 도 1에 도시된 음향 센싱 소자의 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 5는 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 6은 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 7은 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 8a 및 도 8b는 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 9는 다른 예시적인 음향 센싱 소자를 도시한 것이다.
도 10a 내지 도 10f는 또 다른 예시적인 음향 센싱 소자들을 도시한 것이다.
도 11은 예시적인 실시예에 따른 음향 센싱 시스템을 개략적으로 도시한 것이다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명한다. 도면에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 각 구성요소의 크기나 두께는 설명의 명료성을 위하여 과장되어 있을 수 있다. 또한, 소정의 물질층이 기판이나 다른 층 상에 존재한다고 설명될 때, 그 물질층은 기판이나 다른 층에 직접 접하면서 존재할 수도 있고, 그 사이에 다른 제3의 층이 존재할 수도 있다. 그리고, 아래의 실시예에서 각 층을 이루는 물질은 예시적인 것이므로, 이외에 다른 물질이 사용될 수도 있다.
도 1은 복수의 공진기를 포함하는 음향 센싱 소자의 일례를 도시한 평면도이다.
도 1을 참조하면, 음향 센싱 소자(100)는 소정의 어레이 형태로 배열되는 복수의 공진기(R1, R2, .., Rn)를 포함할 수 있다. 여기서, 공진기들(R1, R2, .., Rn)은 서로 다른 중심 주파수(center frequency)를 가지도록 마련될 수 있다. 따라서, 공진기들(R1, R2, .., Rn)은 서로 다른 주파수 대역들을 감지할 수 있다. 공진기들(R1, R2, .., Rn) 각각은 예를 들면, 대략 수 mm 이하의 길이를 가지도록 마련될 수 있지만, 이에 한정되는 것은 아니다.
도 1에는 x 방향을 따라 점점 짧은 길이를 가지도록 배열된 n개의 공진기들(R1, R2, .., Rn)이 예시적으로 도시되어 있다. 이러한 공진기들(R1, R2, .., Rn)은 예를 들면, 멤스(MEMS; Micro Electro Mechanical System) 공정에 의해 제작될 수 있다. 이와 같이 서로 다른 주파수 대역들을 가지는 복수의 공진기(R1, R2, .., Rn)를 포함하는 음향 센싱 소자(100)는 외부로부터 수신되는 음향의 스펙트럼을 분석하는 스펙트럼 분석기로 이용될 수 있다.
도 2는 도 1의 II-II'선을 따라 본 단면도이다. 도 2에는 제1 공진기(R1)의 단면이 예시적으로 도시되어 있다.
도 2를 참조하면, 제1 공진기(R1)는 고정부(11), 지지부(14) 및 센서부(12)를 포함할 수 있다. 그리고, 제1 공진기(R1)는 지지부(14) 상에 마련되는 질량체(16)를 더 포함할 수 있다. 고정부(11)는 후술하는 지지부(14)의 일측을 고정시키는 역할을 하는 것으로, 통상적으로 전자 소자의 기판으로 사용되는 물질을 포함할 수 있다.
지지부(14)는 고정부(11)로부터 일 방향으로 돌출되어 연장되도록 마련될 수 있다. 도 2에는 지지부(14)가 고정부(11)로부터 y 방향으로 돌출되어 연장되도록 마련된 경우가 도시되어 있다. 지지부(14)는 예를 들면 빔(beam) 형상 또는 얇고 긴 플레이트 형상을 가질 수 있다. 이러한 지지부(14)는 예를 들면, 실리콘 등을 포함할 수 있으나, 이는 단지 예시적인 것으로 이외에도 다른 다양한 물질을 포함할 수 있다.
지지부(14)는 그 일측이 고정부(11)에 의해 고정될 수 있으며, 타측은 고정되지 않고 상하로 자유롭게 진동할 수 있도록 마련되어 있다. 도 2에는 지지부(14)의 타측이 z방향으로 자유롭게 진동할 수 있는 경우가 예시적으로 도시되어 있다. 한편, 이상에서는 지지부(14)의 일측 만이 고정부(11)에 고정되는 경우가 설명되었으나, 지지부(14)의 양측이 고정부(11)에 고정되어 있는 것도 가능하다. 이 경우, 지지부(!4)의 중심 부분이 상하로 자유롭게 진동할 수 있도록 마련될 수 있다. 이 지지부(14)의 길이(L)는 감지하고자 하는 주파수 대역에 의존하여 결정될 수 있다.
지지부(14)의 타측면 상에는 질량체(16)가 더 마련될 수 있다. 질량체(16)는 고정부(11)로부터 멀리 이격된 지지부(14)의 타측 단부 상에 마련될 수 있다. 이러한 질량체(16)는 예를 들면, Au 등과 같은 금속을 포함할 수 있으나, 이는 단지 예시적인 것으로 이외에도 다른 다양한 물질을 포함할 수 있다. 이 질량체(16)의 무게는 감지하고자 하는 주파수 대역에 의존하여 결정될 수 있다.
센서부(12)는 지지부(14)의 일측면 상에 마련될 수 있다. 예를 들어, 센서부(12)는 고정부(11)와 인접한 지지부(14)의 일측면 상에 마련될 수 있다. 이러한 센서부(12)는 외부 음향에 의해 지지부(14)의 타측이 진동함으로써 발생되는 신호를 감지하는 것으로, 예를 들면 압전 소자(piezoelectric device)를 포함할 수 있다.
구체적으로, 센서부(12)는 지지부(14)의 일측면 상에 순차적으로 적층되는 하부 전극(12a), 압전 물질층(12b) 및 상부 전극(12c)을 포함할 수 있다. 하부 전극(12a) 및 상부 전극(12c)은 도전성 물질을 포함할 수 있다. 예를 들면, 하부 전극(12a) 및 상부 전극(12c)은 Mo 등과 같은 금속을 포함할 수 있지만 이에 한정되지는 않는다. 한편, 도면에는 도시되어 있지 않으나 지지부(14)와 하부 전극(12a) 사이에는 절연층이 더 마련될 수도 있다.
압전 물질층(12b)은 변형에 의해 전기 에너지를 발생시키는 물질을 포함할 수 있다. 예를 들면, 압전 물질층(12b)은 AlN, ZnO, SnO, PZT, ZnSnO3, Polyvinylidene fluoride(PVDF), poly(vinylidene fluoride-trifluoroethylene)(P(VDF-TrFE)) 및 PMN-PT 중 적어도 하나를 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
이상과 같은 구조를 가지는 제1 공진기(R1)는 예를 들면, 지지부(14)의 길이(L) 및 질량체(16)의 무게 중 적어도 하나에 의해 감지할 수 있는 주파수 대역이 결정될 수 있다. 한편, 다른 공진기들, 즉 제2, .., 제n 공진기(R2, .., Rn)도 도 2에 도시된 제1 공진기(R1)와 동일한 단면 구조를 가지고 있다. 여기서, 제2, .. 제n 공진기(R2, .., Rn) 각각은 제1 공진기(R1)와 마찬가지로 예를 들어 지지부(14)의 길이 및 질량체(16)의 무게 중 적어도 하나에 의해 감지할 수 있는 주파수 대역이 결정될 수 있다.
도 1에는 일 방향(즉, x 방향)을 따라 점점 짧은 길이를 가지는 제1, 제2, .. 제n 공진기(R1, R2, .., Rn)가 x 방향을 따라 일렬로 배열되는 경우가 도시되어 있다. 이 경우, 공진기들(R1, R2, .., Rn)의 길이가 짧아질수록 높은 주파수 대역을 감지하게 되므로, 공진기들(R1, R2, .., Rn)은 제1 공진기(R1)에서 제n 공진기(Rn)로 갈수록 점점 높은 주파수 대역을 감지할 수 있다.
도 1 및 도 2에 도시된 바와 같은 복수의 공진기들(R1, R2, .., Rn)을 포함하는 음향 센싱 소자(100)에 외부로부터 음향이 입력되는 경우 공진기들(R1, R2, .., Rn)은 서로 다른 특정 주파수 대역의 신호들을 검출하고 이러한 신호들을 처리함으로써 음향 센싱 소자(100)에 입력된 음향에 대한 정보를 얻을 수 있게 된다.
이를 구체적으로 설명하면, 복수의 공진기들(R1, R2, .., Rn)을 포함하는 음향 센싱 소자(100)에 외부로부터 음향이 입력되는 경우, 이 음향의 주파수 대역 중 특정 주파수 대역이 특정 공진기(R1, R2, .., Rn)의 주파수 대역과 일치하게 되면 공진 현상에 의해 특정 공진기(R1, R2, .., Rn)의 타측이 진동함으로써 관성력이 발생할 수 있다. 그리고, 이 관성력은 특정 공진기(R1, R2, .., Rn)의 센서부(12)에 굽힘 모멘트를 발생시키게 되고, 이러한 굽힘 모멘트가 센서부(12)의 압전 물질층(12b)에 스트레스(stress)를 유발할 수 있다. 여기서, 스트레스의 크기에 비례하는 전하(charge)가 압전 물질층(12b)에서 발생하게 되고, 이에 따라 상부 전극(12c)과 하부 전극(12a) 사이에는 전압이 발생함으로써 특정 주파수 대역의 신호가 검출될 수 있다. 이와 같이, 공진기들(R1, R2, .., Rn)이 각각 대응되는 특정 주파수 대역의 신호를 검출하고, 이렇게 검출된 신호를 처리함으로써 음향 센싱 소자(100)에 입력되는 음향에 대한 정보를 얻을 수 있게 된다.
한편, 이상에서는 센서부(12)가 압전 방식을 이용하여 음향 신호를 검출하는 경우가 예시적으로 설명되었으나, 이에 한정되지 않고 센서부(12)는 정전 방식을 이용하여 음향 신호를 검출하는 경우도 가능하다.
이러한 음향 센싱 소자(100)에 의해 얻을 수 있는 음향의 주파수 대역은 예를 들면, 대략 20Hz ~ 20kHz 범위의 가청 주파수 대역일 수 있다. 그러나, 이에 한정되는 것은 아니며, 음향 센싱 소자(100)에 의해 얻을 수 있는 음향의 주파수 대역은 20kHz 이상의 초음파 대역이나 또는 20Hz 이하의 초저음파 대역이 될 수 도 있다.
도 3은 도 1에 도시된 음향 센싱 소자의 일반적인 신호 처리 방법을 도시한 것이다. 도 3에는 음향 센싱 소자(100)가 어레이 형태로 배열된 6개의 공진기, 즉 제1, 제2, .. 제6 공진기(R1, R2, .. , R6)를 포함하는 경우가 예시적으로 도시되어 있다. 여기서, 공진기들(R1, R2, .. , R6)은 제1 공진기(R1)에서 제6 공진기(R6)으로 갈수록 점점 높은 주파수 대역을 감지할 수 있도록 마련되어 있다.
도 3을 참조하면, 음향 센싱 소자(100)로부터 검출된 신호들을 처리하기 위해서 공진기들(R1, R2, .. , R6)에 대응하여 시간 프레임들(time frames, f1, f2, .. f6)이 설정되어 있다. 여기서, 시간 프레임(f1, f2, .. f6)은 하나의 음향 특성값(sound feature)이 구성되도록 설정된 단위 시간을 의미한다. 그리고, 음향 특성값은 소정의 시간(즉, 하나의 시간 프레임) 동안 공진기(R1, R2, .. , R6)로부터 검출된 신호에 의해 계산되는 대표값을 의미하는 것으로, 예를 들면 신호의 세기가 될 수 있다. 하지만 반드시 이에 한정되는 것은 아니다.
제1, 제2, .. 제6 공진기(R1, R2, .. , R6)에 대응하여 제1, 제2, .. 제6 시간 프레임(f1, f2, .. f6)이 설정되어 있다. 여기서, 제1, 제2, .. 제6 시간 프레임(f1, f2, .. f6)은 모두 동일한 시간 간격들을 가지도록 설정되어 있다.
제1, 제2, .. 제6 공진기(R1, R2, .. , R6)를 포함하는 음향 센싱 소자(100)에 외부로부터 음향이 입력되는 경우, 제1 공진기(R1)는 가장 낮은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산될 수 있다. 그리고, 이렇게 계산된 음향 특성값들은 시간에 따라 순차적으로 설정된 제1 프레임들(f1)에 차례로 구성될 수 있다.
제2 공진기(R2)는 제1 공진기(R1)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제2 프레임들(f2)에 차례로 구성될 수 있다. 제3 공진기R3)는 제2 공진기(R2)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제3 프레임들(f3)에 차례로 구성될 수 있다.
제4 공진기R4)는 제2 공진기(R3)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제4 프레임들(f4)에 차례로 구성될 수 있다. 제5 공진기R5)는 제4 공진기(R4)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제5 프레임들(f5)에 차례로 구성될 수 있다.
제6 공진기R6)는 제5 공진기(R5)보다 높은 주파수 대역, 즉 가장 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제6 프레임들(f6)에 차례로 구성될 수 있다.
이상과 같이, 공진기들(R1, R2, .. , R6)에 대응하는 시간 프레임들(f1, f2, .. f6)에 음향 특성값들이 모두 구성되고, 이러한 음향 특성값 데이터로부터 음향 센싱 소자(100)에 입력되는 음향에 대한 정보를 추출할 수 있게 된다. 그러나, 이러한 신호 처리 방법에서는 공긴기들(R1, R2, .. , R6)에 대응하는 시간 프레임들(f1, f2, .. f6)이 모두 동일한 시간 간격을 가지도록 설정되어 있다. 따라서, 고해상도의 음향 정보를 얻기 위해서는 시간 프레임들(f1, f2, .. f6)이 짧은 시간 간격을 가지도록 설정되어야 하는데, 이 경우에는 음향 특성값들의 개수가 증가함에 따라 음향 특성값 데이터의 양이 많아질 수 있다.
도 4는 도 1에 도시된 음향 센싱 소자의 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다. 도 4에는 음향 센싱 소자(100)가 어레이 형태로 배열된 6개의 공진기, 즉 제1, 제2, .. 제6 공진기(R1, R2, .. , R6)를 포함하는 경우가 예시적으로 도시되어 있다. 여기서, 공진기들(R1, R2, .. , R6)은 제1 공진기(R1)에서 제6 공진기(R6)로 갈수록 점점 높은 주파수 대역을 감지할 수 있도록 마련되어 있으며, 이는 이하의 도 5 및 도 6에서도 동일하다. 도 4에는 저주파 대역에 설정되는 시간 프레임의 시간 간격은 길게 하고, 고주파 대역에 설정되는 시간 프레임의 시간 간격은 짧게 한 경우가 도시되어 있다.
도 4를 참조하면, 음향 센싱 소자(100)로부터 검출된 신호들을 처리하기 위해서 공진기들(R1, R2, .. , R6)에 대응하여 시간 프레임들(f1, f2, .. f6)이 설정되어 있다. 구체적으로, 제1, 제2, .. 제6 공진기(R1, R2, .. , R6)에 대응하여 제1, 제2, .. 제6 시간 프레임(f1, f2, .. f6)이 설정되어 있다. 본 실시예에서, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)과는 독립적으로 설정될 수 있다. 즉, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)의 주파수 대역들과 무관하게 다양한 시간 간격들을 가지도록 설정될 수 있다. 여기서, 시간 프레임들(f1, f2, .. f6) 각각의 시각 간격은 예를 들면, 수 ms ~ 수 s 정도가 될 수 있다.
공진기들(R1, R2, .. , R6)에 대응하는 시간 프레임들(f1, f2, .. f6)이 모두 서로 다른 시간 간격들을 가지도록 설정될 수 있다. 보다 구체적으로는, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)의 주파수 대역이 높아짐에 따라 점점 짧아지는 시간 간격을 가지도록 설정될 수 있다. 즉, 가장 낮은 주파수 대역을 가지는 제1 공진기(R1)에는 가장 긴 시간 간격을 가지는 제1 시간 프레임들(f1)이 시간에 따라 순차적으로 설정될 수 있으며, 제2 공진기(R2)에는 제1 시간 프레임(f1) 보다 짧은 시간 간격을 가지는 제2 시간 프레임들(f3)이 시간에 따라 순차적으로 설정될 수 있다.
또한, 제3 공진기(R3)에는 제2 시간 프레임(f2) 보다 짧은 시간 간격을 가지는 제3 시간 프레임들(f3)이 시간에 따라 순차적으로 설정될 수 있고, 제4 공진기(R4)에는 제3 시간 프레임(f3) 보다 짧은 시간 간격을 가지는 제4 시간 프레임들(f4)이 시간에 따라 순차적으로 설정될 수 있다.
그리고, 제5 공진기(R5)에는 제4 시간 프레임(f4) 보다 짧은 시간 간격을 가지는 제5 시간 프레임들(f5)이 순차적으로 설정될 수 있으며, 가장 높은 주파수 대역을 가지는 제6 공진기(R6)에는 제5 시간 프레임(f5) 보다 짧은 시간 간격, 즉, 가장 짧은 시간 간격을 가지는 제6 시간 프레임들(f6))이 시간에 따라 순차적으로 설정될 수 있다.
이상과 같이 시간 프레임들(f1, f2, .. f6)이 설정된 경우, 음향 센싱 소자(100)에 외부로부터 음향이 입력되면 제1 공진기(R1)는 가장 낮은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산될 수 있다. 그리고, 이렇게 계산되는 음향 특성값들은 시간에 따라 순차적으로 설정된 제1 프레임들(f1)에 차례로 구성될 수 있다.
제2 공진기(R2)는 제1 공진기(R2)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산될 수 있다. 그리고, 이렇게 계산되는 음향 특성값들은 시간에 따라 순차적으로 설정된 제2 프레임들(f2)에 차레로 구성될 수 있다. 제3 공진기R3)는 제2 공진기(R2)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제3 프레임들(f3)에 차례로 구성될 수 있다.
제4 공진기R4)는 제2 공진기(R3)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제4 프레임들(f4)에 차례로 구성될 수 있다. 제5 공진기R5)는 제4 공진기(R4)보다 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제5 프레임들(f5)에 차례로 구성될 수 있다.
제6 공진기R6)는 제5 공진기(R5)보다 높은 주파수 대역, 즉 가장 높은 주파수 대역의 신호를 시간에 따라 검출하게 되고, 이렇게 검출되는 신호에 의해 음향 특성값들이 계산된 다음, 이 음향 특성값들이 시간에 따라 순차적으로 설정된 제6 프레임들(f6)에 차례로 구성될 수 있다.
예를 들어, 저주파 대역에서는 시간에 따른 신호 변화가 느리고, 고주파 대역에서는 시간에 따른 신호 변화가 빠른 경우가 있다. 이 경우, 저주파 대역에 설정되는 시간 프레임의 시간 간격은 크게 하고, 고주파 대역에 설정되는 시간 프레임의 시간 간격은 작게 할 수 있다. 즉, 도 4에 도시된 바와 같이, 시간 프레임들(f1, f2, .. f6)을 공진기들(R1, R2, .. , R6)의 주파수 대역이 높아짐에 따라 점점 짧아지는 시간 간격을 가지도록 설정하게 되면, 시간 프레임들(f1, f2, .. f6)에 구성되는 음향 특성값들의 개수는 도 3에 비해 크게 줄어들 수 있다. 이에 따라, 음향 특성값 데이터의 양을 증가시키지 않고도 고해상도의 음향 정보를 얻을 수 있다.
도 5는 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다. 도 5에는 저주파 대역에 설정되는 시간 프레임의 시간 간격을 짧게 하고, 고주파 대역에 설정되는 시간 프레임의 시간 간격은 길게 한 경우가 도시되어 있다.
도 5를 참조하면, 음향 센싱 소자(100)로부터 검출된 신호들을 처리하기 위해서 공진기들(R1, R2, .. , R6)에 대응하여 시간 프레임들(f1, f2, .. f6)이 설정되어 있다. 구체적으로, 제1, 제2, .. 제6 공진기(R1, R2, .. , R6)에는 각각 제1, 제2, .. 제6 시간 프레임(f1, f2, .. f6)이 설정되어 있다. 여기서, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)과는 독립적으로 설정될 수 있다. 즉 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)의 주파수 대역들과 무관하게 다양한 시간 간격들을 가지도록 설정될 수 있다. 여기서, 시간 프레임들(f1, f2, .. f6) 각각의 시각 간격은 예를 들면, 수 ms ~ 수 s 정도가 될 수 있다.
공진기들(R1, R2, .. , R6)에 대응하는 시간 프레임들(f1, f2, .. f6)이 모두 서로 다른 시간 간격들을 가지도록 설정될 수 있다. 보다 구체적으로는, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)의 주파수 대역이 높아짐에 따라 점점 길어지는 시간 간격을 가지도록 설정될 수 있다. 즉, 가장 낮은 주파수 대역을 가지는 제1 공진기(R1)에는 가장 짧은 시간 간격을 가지는 제1 시간 프레임들(f1)이 시간에 따라 순차적으로 설정될 수 있으며, 제2 공진기(R2)에는 제1 시간 프레임(f1) 보다 긴 시간 간격을 가지는 제2 시간 프레임들(f3)이 시간에 따라 순차적으로 설정될 수 있다.
또한, 제3 공진기(R3)에는 제2 시간 프레임(f2) 보다 긴 시간 간격을 가지는 제3 시간 프레임들(f3)이 시간에 따라 순차적으로 설정될 수 있고, 제4 공진기(R4)에는 제3 시간 프레임(f3) 보다 긴 시간 간격을 가지는 제4 시간 프레임들(f4)이 시간에 따라 순차적으로 설정될 수 있다.
그리고, 제5 공진기(R5)에는 제4 시간 프레임(f4) 보다 긴 시간 간격을 가지는 제5 시간 프레임들(f5)이 순차적으로 설정될 수 있으며, 가장 높은 주파수 대역을 가지는 제6 공진기(R6)에는 제5 시간 프레임(f5) 보다 긴 시간 간격, 즉, 가장 긴 시간 간격을 가지는 제6 시간 프레임들(f6))이 시간에 따라 순차적으로 설정될 수 있다.
예를 들어, 음향 센싱 소자(100)에 입력되는 음향 신호의 특성 상 고주파 대역 보다는 저주파 영역에 원하는 음향 정보가 더 많이 포함되어 있는 경우가 있다. 이 경우, 저주파 대역에 설정되는 시간 프레임의 시간 간격은 작게 하고, 고주파 대역에 설정되는 시간 프레임의 시간 간격을 길게 할 수 있다. 즉, 도 5에 도시된 바와 같이, 시간 프레임들(f1, f2, .. f6)을 공진기들(R1, R2, .. , R6)의 주파수 대역이 높아짐에 따라 점점 긴 시간 간격을 가지도록 설정하게 되면, 음향 특성값 데이터의 양을 증가시키지 않아도 저주파 영역에 있는 음향 정보를 보다 고해상도로 얻을 수 있게 된다.
한편, 음향 센싱 소자(100)에 입력되는 음향 신호의 특성 상 고주파 대역과 저주파 영역 사이의 특정 주파수 대역에 원하는 음향 정보가 포함되어 있는 경우에는 고주파 대역 및 저주파 대역에 설정되는 시간 프레임들의 시간 간격은 길게 하고, 특정 주파수 대역에 설정되는 시간 프레임의 시간 간격은 짧게 할 수 있다.
도 6은 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다. 도 6에는 공진기들(R1, R2, .. , R6) 중 일부에 같은 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 설정되는 경우가 도시되어 있다.
도 6을 참조하면, 음향 센싱 소자(100)로부터 검출된 신호들을 처리하기 위해서 공진기들(R1, R2, .. , R6)에 대응하여 시간 프레임들(f1, f2, .. f6)이 설정되어 있다. 구체적으로, 제1, 제2, .. 제6 공진기(R1, R2, .. , R6)에는 각각 제1, 제2, .. 제6 시간 프레임(f1, f2, .. f6)이 설정되어 있다. 여기서, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)과는 독립적으로 설정될 수 있다. 즉, 시간 프레임들(f1, f2, .. f6)은 공진기들(R1, R2, .. , R6)의 주파수 대역들과 무관하게 다양한 시간 간격을 가지도록 설정될 수 있다. 여기서, 시간 프레임들(f1, f2, .. f6) 각각의 시각 간격은 예를 들면, 수 ms ~ 수 s 정도가 될 수 있다.
시간 프레임들(f1, f2, .. f6)은 일부가 서로 같은 시간 간격들을 가지도록 설정될 수 있다. 구체적으로, 인접하는 주파수 대역들을 가지는 공진기들(R1, R2, .. , R6)에는 동일한 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 설정될 수 있다. 예를 들면, 제1 및 제2 시간 프레임(f1, f2)은 동일한 시간 간격을 가질 수 있고, 제3 및 제4 시간 프레임(f3, f4)은 동일한 시간 간격을 가질 수 있으며, 제5 및 제6 시간 프레임(f5, f6)은 동일한 시간 간격을 가질 수 있다. 따라서, 제1 및 제2 공진기(R1, R2)에는 동일한 시간 간격을 가지는 제1 및 제2 시간 프레임(f1, f2)이 설정될 수 있고, 제3 및 제4 공진기(R3, R4)에는 동일한 시간 간격을 가지는 제3 및 제4 시간 프레임(f3, f4)이 설정될 수 있으며, 제5 및 제6 공진기(R5, R6)에는 동일한 시간 간격을 가지는 제5 및 제6 시간 프레임(f5, f6)이 설정될 수 있다.
한편, 도 6에는 인접하는 주파수 대역들을 가지는 2개의 공진기들(R1, R2, .. , R6)에 동일한 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 설정되는 경우가 도시되었다. 그러나, 이에 한정되지 않고 동일한 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 설정되는 공진기들(R1, R2, .. , R6)의 개수는 다양하게 변형될 수 있다. 또한, 도 6에는 공진기들(R1, R2, .. , R6)의 주파수 대역들이 높아짐에 따라 점점 짧아지는 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 도시되어 있으나, 이는 단지 예시적인 것이다.
도 7은 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다. 도 7에는 음향 센싱 소자가 어레이 형태로 배열된 64개의 공진기, 즉 제1, 제2, .. 제64 공진기(R1, R2, .. , R64)를 포함하는 경우가 예시적으로 도시되어 있다. 여기서, 공진기들(R1, R2, .. , R64)은 제1 공진기(R1)에서 제64 공진기(R64)로 갈수록 점점 높은 주파수 대역을 감지할 수 있도록 마련되어 있다.
도 7을 참조하면, 제1 내지 제10 공진기(R1 ~ R10)에는 가장 긴 시간 간격을 가지는 제1 시간 프레임들(f1)이 시간에 따라 순차적으로 설정될 수 있으며, 제11 내지 제20 공진기(R11 ~ R20)에는 제1 시간 프레임(f1) 보다 짧은 시간 간격을 가지는 제2 시간 프레임들(f2)이 시간에 따라 순차적으로 설정될 수 있다.
제21 내지 제30 공진기(R21 ~ R30)에는 제2 시간 프레임(f2) 보다 짧은 시간 간격을 가지는 제3 시간 프레임들(f3)이 시간에 따라 순차적으로 설정될 수 있으며, 제31 내지 제40 공진기(R31 ~ R40)에는 제3 시간 프레임(f3) 보다 짧은 시간 간격을 가지는 제4 시간 프레임들(f4)이 시간에 따라 순차적으로 설정될 수 있다.
제41 내지 제50 공진기(R41 ~ R50)에는 제4 시간 프레임(f4) 보다 짧은 시간 간격을 가지는 제5 시간 프레임들(f5)이 시간에 따라 순차적으로 설정될 수 있으며, 제51 내지 제64 공진기(R51 ~ R64)에는 제5 시간 프레임(f5) 보다 짧은 시간 간격, 즉 가장 짧은 시간 간격을 가지는 제6 시간 프레임들(f6)이 시간에 따라 순차적으로 설정될 수 있다. 제1 내지 제6 시간 프레임들(f1, f2, .. f6) 각각의 시각 간격은 예를 들면, 수 ms ~ 수 s 정도가 될 수 있다.
한편, 도 7에 도시된 시간 프레임들(f1, f2, .. f6)의 설정은 단지 예시적인 것으로, 동일한 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 설정되는 공진기들(R1, R2, .. , R64)의 개수를 다양하게 변형될 수 있다. 또한, 도 7에는 공진기들(R1, R2, .. , R64)의 주파수 대역들이 높아짐에 따라 점점 짧아지는 시간 간격을 가지는 시간 프레임들(f1, f2, .. f6)이 도시되어 있으나, 이는 단지 예시적인 것이다.
이상의 실시예들에 의하면, 어레이 형태로 배열된 복수의 공진기를 포함하는 음향 센싱 소자에서, 공진기들에 대응하는 시간 프레임들은 공진기들의 주파수 대역들과는 독립적으로 설정될 수 있으며, 다양한 시간 간격을 가지도록 설정될 수 있다. 즉, 공진기들에 대응하는 시간 프레임들은 적어도 일부가 서로 다른 시간 간격을 가지도록 설정될 수 있다. 예를 들어, 원하는 음향 정보가 포함되어 있는 주파수 대역에는 짧은 시간 간격을 가지는 시간 프레임을 설정하고, 그 이외의 주파수 대역에는 긴 시간 간격을 가지는 시간 프레임을 설정할 수 있다. 이에 따라, 음향 특성값 데이터를 증가시키지 않더라도 고해상도의 음향 정보를 추출할 수 있다.
도 8a 및 도 8b는 또 다른 예시적인 실시예에 따른 신호 처리 방법을 도시한 것이다.
도 8a는 예시적인 실시예에 따라 설정된 시간 프레임들(f1, f2, f3) 및 음향 특성값들(a, b, c, d, e)을 도시한 것이다. 도 8a를 참조하면, 제1, 제2 및 제3 공진기(R1, R2, R3)에 대응하여 제1, 제2 및 제3 시간 프레임(f1, f2, f3)이 설정되어 있다. 여기서, 제1 시간 프레임(f1)은 가장 긴 시간 간격을 가지도록 설정되었으며, 제3 시간 프레임(f3)이 가장 짧은 시간 간격을 가지도록 설정되어 있다. 그리고, 이러한 시간 프레임들(f1, f2, f3)에는 음향 특성값들(a, b, c, d, e)이 구성되어 있다.
도 8b는 도 8a에 도시된 음향 특성값 데이터를 재가공한 모습을 도시한 것이다. 도 8b를 참조하면, 제1 및 제2 시간 프레임(f1, f2)은 제3 시간 프레임(f3)과 동일한 시간 간격을 가지도록 재가공될 수 있다. 이에 따라, 제1, 제2 및 제3 시간 프레임(f1, f2, f3)은 모두 동일한 시간 간격을 가지도록 재가공될 수 있다. 이와 같이, 동일한 시간 간격을 가지도록 재가공된 제1, 제2 및 제3 시간 프레임(f1', f2', f3')에 도 8b에 도시된 바와 같이 음향 특성값들(a, b, c, d, e)을 재구성할 수 있다. 도 8a에 도시된 바와 같은 서로 다른 시간 간격을 가지는 시간 프레임들(f1, f2, f3)을 기초로 한 음향 특성값 데이터를 추출한 다음, 이를 동일한 시간 간격을 가지는 시간 프레임들(f1', f2', f3')을 기초로 한 음향 특성값 데이터로 재가공하고자 하는 경우에는 도 8b에 도시된 바와 같은 재가공 작업이 필요할 수 있다.
도 9는 다른 예시적인 음향 센싱 소자를 도시한 것이다.
도 1에 도시된 음향 센싱 소자(100)와는 달리, 도 9에 도시된 음향 센싱 소자(200)에서는 n개의 공진기들(R1, R2, .., Rn)이 x 방향을 따라 배열되어 있으며, 이 경우 인접한 2개의 공진기(R1, R2, .., Rn)가 서로 같은 길이를 가질 수 있다. 이 경우, 인접한 2개의 공진기(R1, R2, .., Rn)는 같은 주파수 대역을 가질 수 있지만, 이에 한정되지는 않는다. 한편, 도 9에서는 인접한 2개의 공진기(R1, R2, .., Rn)가 서로 같은 길이를 가지는 경우가 도시되어 있으나, 서로 같은 길이를 가지는 공진기들(R1, R2, .., Rn)의 개수는 다양하게 변형될 수 있으며, 같은 길이를 가지는 공진기들(R1, R2, .., Rn)이 서로 인접하게 배치되지 않을 수도 있다.
도 10a 내지 도 10f는 또 다른 예시적인 음향 센싱 소자들을 도시한 것이다. 도 10a 내지 도 10f는 공진기들(300,400,500,600,700,800)의 다양한 배열 형태들이 예시적으로 도시되어 있다. 도 10a 내지 도 10f에는 편의상 공진기들(300,400,500,600,700,800)의 고정부는 도시되지 않았다.
도 10a에 도시된 음향 센싱 소자(300)에서는, 공진기들(R)이 상하 2열로 배열되고, 상부열에 있는 공진기들(R)은 제1 방향(L1)을 따라 길이가 길어지도록 배열되며, 하부열에 있는 공진기들(R)은 제1 방향(L1)을 따라 길이가 짧아지도록 배열되어 있다. 도 10b에 도시된 음향 센싱 소자(400)에서는, 공진기들(R)은 제1 및 제2 방향(L1, L2)으로 갈수록 길이가 짧아지도록 배열되어 있다. 도 10c에 도시된 음향 센싱 소자(500)에서는, 공진기들(R)이 상하 대칭 형태로 제1 방향(L1)을 따라 그 길이가 짧아지도록 배열되어 있다. 도 10d에 도시된 음향 센싱 소자(600)에서는, 공진기들(R)이 상하 대칭 형태로 제1 방향(L1)을 따라 길이가 길어지다가 다시 짧아지도록 배열되어 있다. 도 10e에 도시된 음향 센싱 소자(700)에서는, 공진기들(R)이 상하 대칭 형태로 제1 방향(L1)을 따라 길이가 짧아지다가 다시 길어지도록 배열되어 있다. 도 10f에 도시된 음향 센싱 소자(800)에서는, 공진기들(R)이 시계 방향을 따라 길이가 짧아 지도록 배열되어 있다.
한편, 이상의 공진기들(R)의 배열 형태들이 단지 예시적으로 설명되었으며, 이외에도 공진기들(R)은 다양한 형태로 배열될 수 있다. 여기서, 공진기들(R)은 그 길이가 모두 다르거나 또는 그 일부가 서로 같은 길이를 가지도록 마련될 수 있으며 폭이나 두께도 다양하게 변형될 수 있다.
도 11은 예시적인 실시예에 따른 음향 센싱 시스템을 개략적으로 도시한 것이다.
도 11을 참조하면, 음향 센싱 시스템(1000)은 음향 센싱 소자(110), 제어부(1200) 및 신호 처리부(1300)를 포함할 수 있다. 음향 센싱 소자(110)는 적어도 일부가 서로 다른 주파수 대역들을 가지는 복수의 공진기(미도시)를 포함할 수 있다. 공진기들 각각은 전술한 바와 같이, 고정부와 이 고정부로부터 일 방향으로 연장되어 마련되는 지지부와, 지지부 상에 마련되어 상기 지지부의 변형에 따른 음향 신호를 센싱하는 센서부와, 지지부 상에 마련되는 질량체를 포함할 수 있다. 이러한 음향 센싱 소자(1100)는 예를 들면 도 1, 도 9 내지 도 10f에 도시된 음향 센싱 소자(100,200,300,400,500,600,700,800)를 포함할 수 있다. 음향 센싱 소자(1100)에 대해서는 전술하였으므로, 이에 대한 상세한 설명은 생략한다.
제어부(1200)는 음향 센싱 소자(1100)의 공진기들에 대응하여 복수의 시간 프레임을 설정한다. 여기서, 제어부(1200)는 시간 프레임들을 공진기들의 주파수 대역들과는 독립적으로 설정할 수 있으며, 시간 프레임들의 적어도 일부를 서로 다른 시간 간격을 가지도록 설정할 수 있다. 제어부(1200)는 음향 센싱 소자(1100)에 입력되는 음향의 주파수 특성을 고려하여 시간 프레임들을 다양한 시간 간격을 가지도록 설정할 수 있다. 시간 프레임들은 예를 들면, 도 4 내지 도 7에 도시된 방법에 의해 설정될 수 있다. 이러한 시간 프레임들의 설정 방법에 대해서는 전술하였으므로 이에 대한 상세한 설명은 생략한다.
음향 센싱 소자(1100)에 음향이 입력되는 경우에 공진기들은 대응하는 주파수 영역들을 가지는 음향 신호들을 시간에 따라 검출하게 된다. 그리고, 신호 처리부(1300)는 공진기들에서 검출된 음향 신호들을 이용하여 음향 특성값들을 계산하게 되고, 이렇게 계산된 음향 특성값들을 제어부(1200)에 의해 설정된 시간 프레임들에 구성한다. 여기서, 시간 프레임들에 음향 특성값들을 구성하는 방법에 대해서는 전술하였으므로, 이에 대한 상세한 설명은 생략한다. 이러한 신호 처리부(1300)에 의해 구성된 음향 특성값 데이터로부터 음향 센싱 소자(1100)에 입력되는 음향에 대한 정보를 추출할 수 있다. 한편, 음향 센싱 시스템(1000)은 음향에 대한 정보를 출력하는 디스플레이부(1400)를 더 포함할 수도 있다.
이상에서 살펴본 바와 같이, 이상의 실시예들에 의하면, 어레이 형태로 배열되며 적어도 일부가 서로 다른 주파수 대역을 가지는 복수의 공진기를 포함하는 음향 센싱 소자에서, 공진기들에 대응하는 시간 프레임들은 공진기들의 주파수 대역들과는 독립적으로 설정될 수 있으며, 다양한 시간 간격을 가지도록 설정될 수 있다. 즉, 공진기들에 대응하는 시간 프레임들은 적어도 일부가 서로 다른 시간 간격을 가지도록 설정될 수 있다. 예를 들어, 원하는 음향 정보가 포함되어 있는 주파수 대역에는 짧은 시간 간격을 가지는 시간 프레임을 설정하고, 그 이외의 주파수 대역에는 긴 시간 간격을 가지는 시간 프레임을 설정할 수 있다. 이에 따라, 음향 특성값 데이터를 증가시키지 않더라도 고해상도의 음향 정보를 추출할 수 있다.
11.. 고정부
12.. 센서부
14.. 지지부
16.. 질량체
100,200,300,400,500,600,700,800,1100.. 음향 센싱 소자
R1, R2, .. Rn.. 공진기
f1, f2, .. f3.. 시간 프레임
1000.. 음향 센싱 시스템
1200.. 제어부
1300.. 신호처리부
1400.. 디스플레이부

Claims (29)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 서로 다른 주파수 대역들을 가지는 복수의 공진기를 포함하는 음향 센싱 소자의 신호 처리 방법에 있어서,
    상기 공진기들 각각에 주파수 대역에 대응하는 시간 간격을 가지는 복수의 시간 프레임을 설정하는 단계;
    상기 시간 프레임들 각각에 대해 상기 각 공진기에 의해 검출된 음향 신호를 토대로 음향 특성값을 계산하는 단계;
    상기 공진기들에 설정된 시간 프레임들을 모두 같은 시간 간격을 가지도록 재가공하는 단계; 및
    상기 재가공된 시간 프레임들 각각에 대해 상기 각 공진기에 의해 검출된 음향 신호를 토대로 음향 특성값을 계산하는 단계;를 포함하는 음향 센싱 소자의 신호 처리 방법.
  24. 제 23 항에 있어서,
    상기 복수의 공진기는 제1, 제2 및 제3 공진기를 포함하고,
    상기 복수의 시간 프레임을 설정하는 단계는 상기 제1, 제2 및 제3 공진기 각각에 대응하는 제1, 제2 및 제3 시간 프레임을 설정하는 단계를 포함하며,
    상기 시간 프레임들을 재가공하는 단계는 상기 제1 및 제2 시간 프레임을 상기 제3 시간 프레임과 같은 시간 간격을 가지도록 재가공하는 단계를 포함하는 음향 센싱 소자의 신호 처리 방법.
  25. 제 23 항에 있어서,
    상기 복수의 시간 프레임을 설정하는 단계는 상기 공진기들의 주파수 대역들이 증가함에 따라 점점 감소하는 시간 간격을 가지도록 상기 시간 프레임들을 설정하는 단계를 포함하는 음향 센싱 소자의 신호 처리 방법.
  26. 제 23 항에 있어서,
    상기 복수의 시간 프레임을 설정하는 단계는 상기 공진기들의 주파수 대역들이 감소함에 따라 점점 감소하는 시간 간격을 가지도록 상기 시간 프레임들을 설정하는 단계를 포함하는 음향 센싱 소자의 신호 처리 방법.
  27. 제 23 항에 있어서,
    상기 복수의 시간 프레임을 설정하는 단계는 상기 공진기들의 주파수 대역들 중 특정 주파수 대역에 가까워짐에 따라 점점 감소하는 시간 간격을 가지도록 상기 시간 프레임들을 설정하는 단계를 포함하는 음향 센싱 소자의 신호 처리 방법.
  28. 제 23 항에 있어서,
    상기 공진기들 각각은 고정부, 상기 고정부로부터 일 방향으로 연장되어 마련되는 지지부 및 상기 지지부 상에 마련되어 상기 지지부의 변형에 따른 음향 신호를 센싱하는 센서부를 포함하는 음향 센싱 소자의 신호 처리 방법.
  29. 서로 다른 주파수 대역들을 가지는 복수의 공진기를 포함하는 음향 센싱 소자;
    상기 공진기들 각각에 주파수 대역에 대응하는 시간 간격을 가지는 복수의 시간 프레임을 설정하는 제어부; 및
    상기 시간 프레임들 각각에 상기 각 공진기에 의해 검출된 음향 신호를 토대로 음향 특성값을 계산하는 신호 처리부;를 포함하고,
    상기 제어부는 상기 공진기들에 설정된 시간 프레임들을 모두 같은 시간 간격을 가지도록 재가공하고,
    상기 신호 처리부는 상기 재가공된 시간 프레임들 각각에 대해 상기 각 공진기에 의해 검출된 음향 신호를 토대로 음향 특성값을 계산하는 음향 센싱 시스템.
KR1020170091059A 2017-07-18 2017-07-18 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템 KR102364853B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170091059A KR102364853B1 (ko) 2017-07-18 2017-07-18 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템
US15/823,881 US10356509B2 (en) 2017-07-18 2017-11-28 Signal processing method of audio sensing device, and audio sensing system
EP21153779.0A EP3840409A1 (en) 2017-07-18 2017-12-13 Signal processing method of audio sensing device, and audio sensing system
EP17207060.9A EP3432603A1 (en) 2017-07-18 2017-12-13 Signal processing method of audio sensing device, and audio sensing system
CN201711426675.2A CN109273022B (zh) 2017-07-18 2017-12-25 音频感测设备的信号处理方法以及音频感测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170091059A KR102364853B1 (ko) 2017-07-18 2017-07-18 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템

Publications (2)

Publication Number Publication Date
KR20190009168A KR20190009168A (ko) 2019-01-28
KR102364853B1 true KR102364853B1 (ko) 2022-02-18

Family

ID=60915185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091059A KR102364853B1 (ko) 2017-07-18 2017-07-18 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템

Country Status (4)

Country Link
US (1) US10356509B2 (ko)
EP (2) EP3840409A1 (ko)
KR (1) KR102364853B1 (ko)
CN (1) CN109273022B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037841A (ko) * 2016-10-05 2018-04-13 삼성전자주식회사 공진기를 포함하는 필터 시스템
KR102626924B1 (ko) * 2019-06-20 2024-01-19 삼성전자주식회사 지향성 음향 센서와, 이를 이용한 지향 특성의 조절 방법 및 특정 방향의 음향 신호 감쇄 방법
KR20220037551A (ko) * 2020-09-17 2022-03-25 삼성전자주식회사 공진기 및 차동 증폭기를 포함하는 센서 인터페이스
KR20220041432A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 음향 신호를 이용한 거리 측정 시스템 및 방법
CN113010147B (zh) * 2021-02-24 2023-01-06 歌尔微电子股份有限公司 Fft运算装置及麦克风
KR20230069710A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 지향성 음향 센서
KR20230086877A (ko) 2021-12-08 2023-06-16 삼성전자주식회사 지향성 음향 센서

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3358183B2 (ja) 1993-04-09 2002-12-16 ソニー株式会社 時分割多重送受信装置
CA2318262A1 (en) 1998-03-03 1999-09-10 Lernout & Hauspie Speech Products N.V. Multi-resolution system and method for speaker verification
US6141644A (en) 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
JP3353728B2 (ja) * 1999-01-06 2002-12-03 住友金属工業株式会社 音響振動センサ
JP3885511B2 (ja) * 2001-04-11 2007-02-21 ソニー株式会社 レーザー光発生装置及び方法
US6792118B2 (en) * 2001-11-14 2004-09-14 Applied Neurosystems Corporation Computation of multi-sensor time delays
US7444877B2 (en) * 2002-08-20 2008-11-04 The Regents Of The University Of California Optical waveguide vibration sensor for use in hearing aid
DE102004013952A1 (de) * 2004-03-22 2005-10-20 Infineon Technologies Ag Schaltkreis-Anordnung und Signalverarbeitungs-Vorrichtung
JP4256367B2 (ja) 2005-07-06 2009-04-22 東京エレクトロン株式会社 振動波検出装置
US7417517B2 (en) * 2006-07-13 2008-08-26 Motorola, Inc. Method and apparatus for a communications filter
DE102009032057A1 (de) 2009-07-07 2011-01-20 Siemens Aktiengesellschaft Druckwellen-Aufnahme und Wiedergabe
KR20120080882A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 음향 변환기 및 그 구동방법
US9099069B2 (en) * 2011-12-09 2015-08-04 Yamaha Corporation Signal processing device
US8731911B2 (en) * 2011-12-09 2014-05-20 Microsoft Corporation Harmonicity-based single-channel speech quality estimation
CN103325386B (zh) * 2012-03-23 2016-12-21 杜比实验室特许公司 用于信号传输控制的方法和***
TWI569257B (zh) * 2014-07-04 2017-02-01 玄舟科技有限公司 音訊處理裝置及其音訊處理方法
KR102207928B1 (ko) 2014-08-13 2021-01-26 삼성전자주식회사 음향 센싱 소자 및 주파수 정보 획득 방법
KR20180015482A (ko) 2016-08-03 2018-02-13 삼성전자주식회사 음향 스펙트럼 분석기 및 이에 구비된 공진기들의 배열방법
KR20180052038A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 멀티 공진기 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
George Tzanetakis et al., "Audio Analysis using the Discrete Wavelet Transform", WSES International Conference Acoustics and Music:Theory and Applications(AMTA 2001). <https://soundlab.cs.princeton.edu/publications/2001_amta_aadwt.pdf> 1부.*

Also Published As

Publication number Publication date
US20190028799A1 (en) 2019-01-24
CN109273022A (zh) 2019-01-25
US10356509B2 (en) 2019-07-16
CN109273022B (zh) 2023-08-01
EP3840409A1 (en) 2021-06-23
KR20190009168A (ko) 2019-01-28
EP3432603A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
KR102364853B1 (ko) 음향 센싱 소자의 신호 처리 방법과 음향 센싱 시스템
US9479884B2 (en) Audio sensing device and method of acquiring frequency information
KR102475893B1 (ko) 음향/진동 스펙트럼 분석 소자 및 주파수 정보 획득 및 분석 방법
CN105519137B (zh) Mems设备以及工艺
CN107919863B (zh) 包括谐振器的滤波器***
US10541670B2 (en) Micromechanical resonator and resonator system including the same
EP2866469A2 (en) Acoustic transducer and package module including the same
US10594296B2 (en) Multi resonator system
JP2007285960A (ja) 振動センサおよび振動検出方法
US9729990B2 (en) Manufacturing method of a condenser microphone
JP2007228345A (ja) コンデンサマイクロホン
US9668064B2 (en) Microelectromechanical system microphone
JP6606439B2 (ja) Ｍｅｍｓ素子
US10178472B1 (en) Omnidirectional acoustic sensor
EP3972128B1 (en) Sensor interface including resonator and differential amplifier
KR20210050323A (ko) 미소 기계식 공진기 및 이를 포함하는 공진기 시스템
JP2008259062A (ja) 静電型トランスデューサ
KR20200059379A (ko) 공진기, 이를 포함하는 공진기 시스템 및 공진기 제조 방법
CN117769843A (zh) Mems换能器
JP2009071862A (ja) コンデンサマイクロホン

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant