KR102570480B1 - 오디오 신호 처리 방법 및 이를 지원하는 전자 장치 - Google Patents

오디오 신호 처리 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR102570480B1
KR102570480B1 KR1020190001044A KR20190001044A KR102570480B1 KR 102570480 B1 KR102570480 B1 KR 102570480B1 KR 1020190001044 A KR1020190001044 A KR 1020190001044A KR 20190001044 A KR20190001044 A KR 20190001044A KR 102570480 B1 KR102570480 B1 KR 102570480B1
Authority
KR
South Korea
Prior art keywords
signal
audio signal
microphone
electronic device
processor
Prior art date
Application number
KR1020190001044A
Other languages
English (en)
Other versions
KR20200085030A (ko
Inventor
차아란
문한길
심환
이건우
김규한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190001044A priority Critical patent/KR102570480B1/ko
Priority to PCT/KR2019/018680 priority patent/WO2020141824A2/en
Priority to US16/733,735 priority patent/US11308977B2/en
Publication of KR20200085030A publication Critical patent/KR20200085030A/ko
Application granted granted Critical
Publication of KR102570480B1 publication Critical patent/KR102570480B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/26—Spatial arrangements of separate transducers responsive to two or more frequency ranges
    • H04R1/265—Spatial arrangements of separate transducers responsive to two or more frequency ranges of microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

한 실시 예에 따르면, 상술한 문서는 제1 마이크 및 제2 마이크, 상기 제1 마이크 및 상기 제2 마이크와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제2 마이크를 통해 제2 오디오 신호를 수집하고, 상기 제1 오디오 신호로부터 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하도록 설정된 것을 특징으로 하는 전자 장치를 개시한다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

오디오 신호 처리 방법 및 이를 지원하는 전자 장치{Processing Method of Audio signal and electronic device supporting the same}
본 문서에서 개시되는 실시 예들은, 전자 장치의 오디오 신호 처리와 관련된다.
전자 장치는 오디오 신호 처리와 관련한 기능을 제공할 수 있다. 예컨대, 전자 장치는 오디오 신호를 수집하고 전달하는 통화 기능, 오디오 신호를 녹음하는 녹음 기능과 같은 사용자 기능을 제공할 수 있다. 통화 기능 사용 중에 전자 장치 주변 환경이 노이즈가 많은 경우, 양호한 오디오 신호를 획득하기 어려운 문제가 있다. 또한, 전자 장치가 녹음 기능을 수행하는 중에 주변 노이즈가 많은 경우, 노이즈와 음성 신호가 함께 녹음되어, 음성 신호의 구분이 어려운 문제가 있다.
상술한 바와 같이, 오디오 신호 수집 시 주변 노이즈로 인하여 선명한 음성 신호의 구분이 어렵고, 이로 인하여 사용자 기능의 정상적인 운용이 어려운 문제가 있었다.
이에 따라, 다양한 실시 예에서는 복수의 마이크들을 이용하여 보다 양호한 오디오 신호를 획득할 수 있도록 하는 오디오 신호 처리 방법 및 이를 지원하는 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 제1 마이크 및 제2 마이크, 상기 제1 마이크 및 상기 제2 마이크와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제2 마이크를 통해 제2 오디오 신호를 수집하고, 상기 제1 오디오 신호로부터 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하도록 설정될 수 있다.
본 기재의 일 실시 예에 따른 전자 장치의 오디오 신호 처리 방법은 복수개의 마이크 중 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 복수개의 마이크 중 제2 마이크를 통해 제2 오디오 신호를 수집하는 동작, 상기 제1 오디오 신호로부터 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 특징점을 추출하는 동작, 상기 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하는 동작, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하는 동작을 포함할 수 있다.
본 기재의 일 실시 예에 따른 전자 장치는 제1 마이크, 통신 회로 및 상기 제1 마이크 및 상기 통신 회로와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제1 마이크가 획득한 제1 오디오 신호의 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 통신 회로를 통해 외부 전자 장치의 제2 마이크를 기반으로 하는 제2 오디오 신호 수집을 요청하고, 상기 제2 오디오 신호 수집 시 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 제1 오디오 신호에서 추출된 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 합성하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 본 발명의 한 실시 예는 주변 환경에 따라 복수의 마이크들을 이용하여 양호한 음성 신호를 합성하여 제공할 수 있다.
본 발명의 실시 예는 음성 인식 기능, 통화 기능 또는 녹음 기능의 음질 등을 개선할 수 있도록 지원한다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 오디오 신호 처리 시스템 구성의 한 예를 나타낸 도면이다.
도 2는 다양한 실시 예에 따른 제1 전자 장치에 포함되는 구성들의 한 예를 나타낸 도면이다.
도 3은 다양한 실시 예에 따른 제1 전자 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 4는 다양한 실시 예에 따른 제2 전자 장치 구성의 한 예를 나타낸 도면이다.
도 5는 다양한 실시 예에 따른 제1 전자 장치의 일부 구성의 한 예를 나타낸 도면이다.
도 6은 한 실시 예에 따른 외부 잡음 상황에서 제1 마이크가 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 도면이다.
도 7은 한 실시 예에 따른 외부 잡음 상황에서 제2 마이크가 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 도면이다.
도 8은 도 7에 나타낸 오디오 신호에 대한 전처리를 적용한 후의 신호에 대한 파형과 스펙트럼을 나타낸 도면이다.
도 9는 도 6에 나타낸 오디오 신호에 대하여 전처리(예: NS)를 적용한 파형과 스펙트럼을 나타낸 도면이다.
도 10은 한 실시 예에 따른 제1 오디오 신호 및 제2 오디오 신호에 대한 포락선 신호의 한 예를 나타낸 도면이다.
도 11은 한 실시 예에 따른 신호 합성과 관련한 파형 및 스펙트럼을 나타낸 도면이다.
도 12는 한 실시 예에 따른 오디오 신호 처리 방법의 한 예를 나타낸 도면이다.
도 13은 한 실시 예에 따른 오디오 신호 처리 방법의 다른 예를 나타낸 도면이다.
도 14는 한 실시 예에 따른 오디오 신호 처리 방법의 또 다른 예를 나타낸 도면이다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경(1500) 내의 전자 장치(1501)의 블럭도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예에 따른 오디오 신호 처리 시스템 구성의 한 예를 나타낸 도면이다.
도 1을 참조하면, 한 실시 예에 따른 오디오 신호 처리 시스템(10)은 제1 전자 장치(100) 및 제2 전자 장치(200)를 포함할 수 있다. 이러한 구성을 가지는 오디오 신호 처리 시스템(10)은 복수개의 마이크들(170, 180)들이 수집한 오디오 신호들 중 특정 마이크가 수집한 오디오 신호의 저대역(예: 1~3kHz 범위, 또는 2kHz 미만의 대역, 또는 상대적으로 좁은 협대역)에서 특징점을 추출하고, 추출된 특징점과 다른 마이크에서 획득한 오디오 신호의 적어도 일부를 기반으로 고대역이 확장된 신호(예: 2kHz 이상의 신호가 추가된 신호)를 생성할 수 있다. 예컨대, 상기 오디오 신호 처리 시스템(10)은 상기 다른 마이크에서 획득된 오디오 신호에 대응하는 포락선 신호와 상기 추출된 특징점을 이용하여 고대역이 확장된 신호를 생성할 수 있다. 상기 오디오 신호 처리 시스템(10)은 상기 고대역이 확장된 신호와, 상기 복수개의 마이크들(170, 180) 중 상기 특정 마이크와 다른 마이크에서 획득된 오디오 신호를 합성하여 합성 신호를 생성할 수 있다. 상술한, 상기 오디오 신호 처리 시스템(10)은 상기 다른 마이크에서 획득된 오디오 신호에 대응하는 포락선 신호와 상기 저대역에서 추출한 특징점을 이용하여 고대역이 확장된 신호를 생성 후, 오디오 신호들을 합성함으로써, 보다 양질의 오디오 신호를 제공할 수 있다. 여기서, 양질의 오디오 신호는 상대적으로 노이즈 신호가 적은 오디오 신호 또는 상대적으로 특정 주파수 대역(예: 음성 신호 대역)의 적어도 일부를 강조한 오디오 신호를 포함할 수 있다.
상술한 오디오 신호 처리 시스템(10)에서, 제1 전자 장치(100)에 복수개의 마이크들(170, 180)이 배치되는 경우, 한 실시 예에 따른 오디오 신호 처리 방법 및 기능은 제1 전자 장치(100)에 독립적으로 적용될 수 있다. 한 실시 예에 따른 오디오 신호 처리 방법 및 기능은 복수개의 마이크들이 제2 전자 장치(200)에 배치되는 경우, 제2 전자 장치(200)에서 독립적으로 적용될 수 있다. 다양한 실시 예에 따른 오디오 신호 처리 방법 및 기능은 제1 전자 장치(100)에 배치된 복수개의 마이크들(170, 180) 중 적어도 하나와 마이크와, 제2 전자 장치(200)에 배치된 복수개의 마이크들 중 적어도 하나를 그룹핑하고, 그룹핑된 마이크들을 기반으로 상술한 합성 신호 생성 및 출력을 수행할 수 있다.
상기 제1 전자 장치(100)는 제2 전자 장치(200)와 유선 또는 무선으로 연결되고, 제2 전자 장치(200)가 전달하는 오디오 신호를 출력할 수 있다. 또는, 상기 제1 전자 장치(100)는 적어도 하나의 마이크를 이용하여 오디오 신호(또는 음성 신호)를 수집하고, 수집된 오디오 신호를 제2 전자 장치(200)에 전달할 수 있다. 상기 제1 전자 장치(100)는 예컨대, 근거리 통신 채널(예: 블루투스 모듈 기반의 통신 채널)을 제2 전자 장치(200)와 형성할 수 있는 무선 이어폰을 포함할 수 있다. 또는, 상기 제1 전자 장치(100)는 유선 방식으로 제2 전자 장치(200)와 연결되는 유선 이어폰을 포함할 수도 있다. 또는, 상기 제1 전자 장치(100)는 적어도 하나의 마이크를 기반으로 오디오 신호를 수집하고, 수집된 오디오 신호를 제2 전자 장치(200)에 전송할 수 있는 다양한 오디오 장치를 포함할 수 있다.
한 실시 예에 따르면, 이어폰 타입의 상기 제1 전자 장치(100)는 사용자의 귀에 삽입될 수 있는 삽입부(101a)와, 상기 삽입부(101a)와 연결되며 사용자의 귓바퀴에 적어도 일부가 거치될 수 있는 거치부(101b)를 가지는 하우징(101)(또는 케이스)을 포함할 수 있다. 상기 제1 전자 장치(100)는 복수개의 마이크들(170, 180)을 포함할 수 있다. 상기 복수개의 마이크들(170, 180) 중 제1 마이크(170)는 거치부(101b)에 배치되어 제1 전자 장치(100)가 사용자의 귀에 착용된 상태에서 외부 오디오 신호를 수집할 수 있도록, 귀 내측을 기준으로, 음공의 적어도 일부가 외부로 노출되도록 배치될 수 있다. 상기 복수개의 마이크들(170, 180) 중 제2 마이크(180)는 삽입부(101a)에 배치될 수 있다. 상기 제2 마이크(180)는 제1 전자 장치(100)가 사용자의 귀에 착용된 상태에서 바깥귀길 내부에 전달되는 신호를 수집할 수 있도록, 상기 바깥귀길의 귓바퀴쪽 개구부를 기준으로, 음공의 적어도 일부가 바깥귀길 내측을 향해 노출되거나 바깥귀길의 내벽과 적어도 일부가 접촉되도록 배치될 수 있다. 예를 들어, 사용자가 제1 전자 장치(100)를 착용하고 음성 발화하는 경우, 발화에 따른 떨림의 적어도 일부가 사용자의 피부나 근육 또는 뼈 등을 통해 전달되고, 전달된 떨림은 귀 내측에서 제2 마이크(180)에 의해 오디오 신호로 수집될 수 있다. 다양한 실시 예에 따르면, 상기 제2 마이크(180)는 사용자의 귀 내측 공동에서 소리를 수집할 수 있는 다양한 형태의 마이크(예: 인이어 마이크, 이너 마이크, 또는 골전도 마이크)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 마이크(170)는 제2 마이크(180)에 비하여 상대적으로 넓은 주파수 대역(1Hz ~ 20kHz 범위 중 적어도 일부)의 신호를 수집할 수 있도록 설계된 마이크를 포함할 수 있다. 한 실시 예에 따르면, 상기 제1 마이크(170)는 음성과 관련하여 수집할 수 있는 전체 주파수 대역의 신호를 수집할 수 있도록 설계된 마이크를 포함할 수 있다. 한 실시 예에 따르면, 상기 제1 마이크(170)는 상기 제2 마이크(180)에 비하여 상대적으로 높은 주파수 대역의 신호를 지정된 품질 값 이상으로 수집할 수 있도록 설계된 마이크를 포함할 수 있다.
한 실시 예에 따르면, 상기 제2 마이크(180)는 상기 제1 마이크(170)와 특성이 다른 마이크가 될 수 있다. 예를 들어, 상기 제2 마이크(180)는 제1 마이크(170)에 비하여 상대적으로 좁은 주파수 대역(예: 협대역, 예컨대 0.1kHz~3kHz 범위 중 적어도 일부)의 신호를 수집할 수 있도록 설계된 마이크를 포함할 수 있다. 한 실시 예에 따르면, 상기 제2 마이크(180)는 지정된 크기 미만의 SNR 잡음 환경에서 제1 마이크(170)에 비하여 상대적으로 양호한(또는 지정된 품질 값 이상의) 오디오 신호를 수집할 수 있는 성능을 가진 센서(예: 인이어 마이크, 또는 골전도 마이크)를 포함할 수 있다. 한 실시 예에 따르면, 상기 제2 마이크(180)는 상기 제1 마이크(170)에 대비하여 상대적으로 낮은 주파수 대역의 신호를 지정된 품질 값 이상으로 수집할 수 있도록 설계된 마이크를 포함할 수 있다.
상기 제1 전자 장치(100)는 복수의 마이크들(170, 180)이 수신한 제1 오디오 신호(예: 상기 제1 마이크(170)가 수집한 오디오 신호) 및 제2 오디오 신호(예: 상기 제2 마이크(180)가 수집한 오디오 신호) 중, 제2 오디오 신호에서 특징점을 추출하고, 상기 제1 오디오 신호에서 추출된 오디오 신호로부터 검출된 포락선 신호와 상기 추출된 특징점을 기반으로 제2 오디오 신호의 주파수 대역 확장을 수행하여, 확장된 고대역 신호를 생성할 수 있다. 상기 제1 전자 장치(100)는 고대역이 확장된 신호 및 상기 제1 오디오 신호를 합성하고, 합성된 신호를 출력할 수 있다. 예컨대, 상기 제1 전자 장치(100)는 상기 합성 신호를 스피커를 통해 출력하거나, 메모리에 저장하거나 또는 제2 전자 장치(200)에 전송할 수 있다.
상기 제2 전자 장치(200)는 상기 제1 전자 장치(100)와 통신 채널을 형성하고, 상기 제1 전자 장치(100)에 지정된 오디오 신호를 전달하거나, 제1 전자 장치(100)로부터 오디오 신호를 수신할 수 있다. 상기 제2 전자 장치(200)는 예컨대, 상기 제1 전자 장치(100)와 통신 채널(예: 유선 또는 무선 통신 채널)을 형성할 수 있는 휴대 단말, 단말 장치, 스마트폰, 태블릿 PC, 패드류, 웨어러블 전자 장치와 같은 다양한 전자 장치가 될 수 있다. 상기 제2 전자 장치(200)는 제1 전자 장치(100)로부터 합성 신호를 수신하는 경우, 수신된 합성 신호를 네트웍을 통하여 외부 전자 장치에 전송(예: 통화 기능)하거나, 메모리에 저장(예: 녹음 기능)하거나, 제2 전자 장치(200)의 스피커에 출력할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(200)는 메모리에 저장된 오디오 신호들을 출력(예: 재생 기능)하는 과정에서 오디오 신호들을 합성하여 출력할 수 있다. 또는, 상기 제2 전자 장치(200)는 카메라를 포함하는 경우, 사용자 입력에 대응하여 동영상 촬영 기능을 수행할 수 있다. 이 동작에서, 제2 전자 장치(200)는 동영상 촬영 시 오디오 신호 수집을 수행하되, 신호 합성 (또는 신호 처리) 동작을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 제2 전자 장치(200)는 제1 전자 장치(100)와 통신 채널을 형성하고, 제1 전자 장치(100)로부터 복수개의 마이크들(170, 180)이 수집한 오디오 신호들을 수신하고, 이를 기반으로 신호 합성을 수행할 수 있다. 예를 들어, 상기 제2 전자 장치(200)는 제1 전자 장치(100)가 제공한 제2 오디오 신호에서 특징점을 추출하고, 추출된 특징점과 상기 제1 오디오 신호에서 추출한 포락선 신호를 기반으로 제2 오디오 신호의 적어도 일부 주파수 대역 확장을 수행하고, 대역 확장된 오디오 신호(예: 저대역 신호 특징점과 다른 마이크에서 획득된 포락선 신호를 이용하여 고대역을 확장한 신호)와 상기 제1 오디오 신호를 합성하여 합성 신호를 생성하고, 합성 신호를 출력(예: 제2 전자 장치(200)의 스피커를 통해 출력하거나, 외부 전자 장치에 전송하거나, 또는 제2 전자 장치(200)의 메모리에 저장)할 수 있다.
다양한 실시 예에 따르면, 상기 제2 전자 장치(200)는 제1 오디오 신호 및 제2 오디오 신호 중 상대적으로 양호한(또는 노이즈가 기준 값 미만인, 또는 음성 특징의 선명도가 기준 값 이상인) 저대역 신호를 가지는 오디오 신호를 선택하고, 상기 저대역 신호에서 특징점을 추출하여 합성 신호를 생성할 수도 있다. 이 과정에서, 상기 제2 전자 장치(200)는 제1 오디오 신호 및 제2 오디오 신호에 대하여 주파수 분석을 수행하고, 저대역 신호의 분포가 보다 뚜렷하게 나타나거나 더 많이 나타나는 오디오 신호를 특징점 추출 및 고대역 신호 확장에 이용할 수 있다. 또는, 상기 제2 전자 장치(200)는 제1 전자 장치(100)가 지정한 오디오 신호(예: 제1 전자 장치(100)의 제2 마이크(180)가 수집한 제2 오디오 신호)에서 특징점을 추출하고, 고대역 신호 확장(제1 오디오 신호에서 추출한 포락선 신호와 상기 특징점을 이용하여 고대역 신호 확장) 및 신호 합성을 수행할 수도 있다.
다양한 실시 예에 따르면, 상기 제2 전자 장치(200)는 제1 전자 장치(100)에 배치된 적어도 하나의 마이크가 수집한 제1 오디오 신호와, 자신이 가진 마이크가 수집한 제2 오디오 신호를 기반으로 합성 신호를 생성할 수도 있다. 이 동작에서, 상기 제2 전자 장치(200)는 제1 전자 장치(100)가 제공한 오디오 신호에서 특징점을 추출하거나, 또는, 자신의 마이크에서 수집한 오디오 신호에서 특징점을 추출할 수 있다. 또는, 상기 제2 전자 장치(200)는 제1 전자 장치(100)로부터 마이크 정보를 수집하고, 자신의 마이크 정보와 비교하여 상대적으로 저대역 신호에 대해 양호한 특성을 가진 마이크가 수집한 오디오 신호를 특징점 추출에 이용할 수 있다. 이와 관련하여, 상기 제2 전자 장치(200)는 주파수 대역에 관한 특성을 파악할 수 있는 마이크 정보들을 사전 저장하고, 상기 마이크 정보들을 이용하여 상대적으로 저대역 신호에 대해 양호한 수집 능력을 가지는 마이크가 어디(예: 제1 전자 장치(100) 또는 제2 전자 장치(200))에 설치된 마이크인지 확인할 수 있다. 상기 제2 전자 장치(200)는 확인된 마이크가 수집한 오디오 신호에서 저대역 신호의 특징점을 추출하고, 고대역 신호 확장 및 신호 합성을 수행할 수 있다.
한편, 상술한 설명에서는 오디오 신호 처리 시스템(10)이 제1 전자 장치(100) 및 제2 전자 장치(200)를 포함하는 형태의 예시에 대하여 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 앞서 언급한 바와 같이, 한 실시 예에 따른 오디오 신호 처리 기능은 복수개의 마이크들(또는 특성이 다른 복수개의 마이크들)을 이용하여 저대역 신호의 특징점 추출, 다른 마이크가 획득된 오디오 신호의 적어도 일부 특성을 이용한 고대역 신호 확장 및 다른 마이크가 획득한 오디오 신호와의 합성 기능을 지원하기 때문에, 상기 오디오 신호 처리 시스템(10)의 신호 합성 기능은 제1 전자 장치(100)에서 수행되거나, 제2 전자 장치(200)에서 수행되거나, 또는 제1 전자 장치(100) 및 제2 전자 장치(200)의 협업을 통해 수행될 수 있다.
상술한 바와 같이, 한 실시 예에 따른 오디오 신호 처리 시스템(10)은 오디오 신호를 수집하는 환경에 따라, 복수개의 특성이 다른 마이크들을 이용하여 오디오 신호들을 수집하고, 수집된 오디오 신호들 중 어느 하나의 오디오 신호에서 특징점을 추출하고 다른 하나의 오디오 신호에서 포락선 신호를 검출하여, 대역 확장을 수행한 후 다른 오디오 신호와 합성을 통해 보다 양호한 품질의 오디오 신호를 제공할 수 있다.
다양한 실시 예에 따르면, 상기 오디오 신호 처리 시스템(10)은 신호 합성 기능의 적용 여부를 선택적으로 운용할 수 있다. 예를 들어, 상기 오디오 신호 처리 시스템(10)은 복수의 마이크들(170, 180) 중 특정 마이크(예: 상대적으로 광대역(또는 고대역) 신호에 대해 양호한 수집 능력을 가진 마이크)가 수집한 오디오 신호에 포함된 노이즈가 지정된 값 이상인 경우 상기 신호 합성 기능을 수행할 수 있다. 한 실시 예에 따르면, 상기 오디오 신호 처리 시스템(10)은 복수의 마이크들(170, 180) 중 특정 마이크가 수집한 오디오 신호에 포함된 노이즈가 지정된 값 미만인 경우 상기 신호 합성 기능을 생략할 수 있다. 이와 관련하여, 상기 제1 전자 장치(100)는 제1 마이크(170)를 이용하여 오디오 신호 수집 후, 노이즈 크기가 지정된 값 이상이면, 제2 마이크(180)를 활성화하고, 노이즈 크기가 지정된 값 미만이면, 제2 마이크(180)를 비활성화 상태로 유지할 수 있다. 한 실시 예에 따르면, 상기 오디오 신호 처리 시스템(10)은 복수의 마이크들(170, 180) 중 특정 마이크(예: 상대적으로 광대역 신호에 대해 양호한 수집 능력을 가진 마이크)가 수집한 오디오 신호에 포함된 노이즈가 지정된 값 이상인 경우 상기 오디오 신호에 대한 노이즈 처리(예: 노이즈 억제 처리, Noise suppressing)를 수행한 후, 상기 신호 합성 기능을 수행할 수 있다.
도 2는 다양한 실시 예에 따른 제1 전자 장치에 포함되는 구성들의 한 예를 나타낸 도면이다.
상기 도 1 및 도 2를 참조하면, 제1 전자 장치(100)는 통신 회로(110), 입력부(120), 스피커(130), 메모리(140), 제1 마이크(170) 및 제2 마이크(180), 또는 프로세서(160) 중 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 제1 전자 장치(100)는 상기 통신 회로(110), 입력부(120), 스피커(130), 메모리(140), 제1 마이크(170) 및 제2 마이크(180), 또는 프로세서(160) 중 적어도 하나를 감싸는 하우징(101)을 포함할 수 있다. 한 실시 예에 따르면, 상기 제1 전자 장치(100)는 디스플레이를 더 포함할 수 있다. 상기 디스플레이는 복수개의 마이크들(170, 180)의 운용 상태 또는 신호 합성 기능 운용 상태, 배터리 잔량 등을 나타낼 수 있다. 일 실시 예에서, 상기 제1 전자 장치(100)는 제1 마이크(170) 및 제2 마이크(180)를 포함하는 것으로 도시 및 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 제1 전자 장치(100)는 3개 이상의 마이크들을 포함할 수도 있다.
상기 통신 회로(110)는 제1 전자 장치(100)의 통신 기능을 지원할 수 있다. 상기 통신 회로(110)는 예컨대, 인터넷 네트워크 접속을 위한 인터넷 네트워크 통신 회로, 방송을 수신할 수 있는 방송 수신 회로, 이동 통신 기능 지원과 관련한 이동 통신 회로 중 적어도 하나, 및/또는 제2 전자 장치(200)와 통신 채널을 형성할 수 있는 근거리 통신 회로를 포함할 수 있다. 예를 들어, 통신 회로(110)는 블루투스, 와이파이 다이렉트 등 중계기 없이 직접적으로 통신을 수행할 수 있는 회로를 포함할 수 있다. 한 실시 예에 따르면, 상기 통신 회로(110)는 인터넷 네트워크 접속이 가능한 와이파이 통신 모듈(또는 회로), 및/또는 입력 정보를 송수신할 수 있는 와이파이 다이렉트 통신 모듈(또는 블루투스 통신 모듈)을 포함할 수도 있다. 또는, 상기 통신 회로(110)는 이동 통신 시스템을 지원하는 기지국과 통신 채널을 형성하고, 상기 기지국을 통하여 외부 전자 장치와 오디오 신호를 송수신할 수도 있다.
한 실시 예에 따르면, 상기 입력부(120)는 제1 전자 장치(100)의 기능 운용과 관련하여 사용자 입력을 수신할 수 있는 장치를 포함할 수 있다. 상기 입력부(120)는 상기 복수개의 마이크들(170, 180)의 운용과 관련한 사용자 입력을 수신할 수 있다. 예컨대, 상기 입력부(120)는 제1 전자 장치(100)의 턴-온 또는 턴-오프 설정, 제1 마이크(170)만을 운용하는 설정, 제2 마이크(180)만을 운용하는 설정, 제1 마이크(170) 및 제2 마이크(180)를 기반으로 오디오 신호를 합성하여 제공하는 기능을 턴-온 또는 턴-오프하는 설정 중 적어도 하나의 설정과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력부(120)는 적어도 하나의 물리버튼, 터치 패드 등으로 마련될 수 있다.
상기 스피커(130)는 상기 제1 전자 장치(100)의 하우징(101) 일측에 배치되어, 제2 전자 장치(200)로부터 수신된 오디오 신호, 상기 통신 회로(110)를 통해 수신된 오디오 신호, 또는 상기 복수의 마이크들(170, 180) 중 활성화된 적어도 하나의 마이크가 수집한 신호를 출력할 수 있다. 이와 관련하여, 상기 스피커(130)는 오디오 신호가 출력되는 음공의 적어도 일부가 삽입부(101a)를 통해 노출되도록 배치될 수 있다.
상기 제1 마이크(170) 및 제2 마이크(180)는 하우징(101) 일측에 배치되고, 오디오 신호 수집 특성이 상이하도록 마련될 수 있다. 상기 제1 마이크(170) 및 제2 마이크(180)는 도 1에서 설명한 제1 마이크(170) 및 제2 마이크(180)일 수 있다.
상기 메모리(140)는 제1 전자 장치(100) 운용과 관련한 운영 체제, 및/또는 제1 전자 장치(100)를 통해 실행되는 적어도 하나의 사용자 기능을 지원하는 프로그램 또는 적어도 하나의 어플리케이션을 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(140)는 오디오 신호 합성 기능을 지원하는 프로그램, 적어도 하나의 마이크(예: 제1 마이크(170) 및 제2 마이크(180) 중 적어도 하나)가 수집한 오디오 신호들을 제2 전자 장치(200)에 전송하도록 마련된 프로그램 등을 포함할 수 있다. 한 실시 예에 따르면, 상기 메모리(140)는 녹음 기능을 지원하는 어플리케이션을 포함하고, 적어도 하나의 마이크가 수집한 오디오 신호를 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(140)는 저장된 오디오 신호를 출력하는 재생 기능을 지원하는 어플리케이션을 포함하고, 서로 다른 특성을 가지는 복수의 마이크들(170, 180)이 수집한 복수의 오디오 신호들을 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(140)는 동영상 촬영 기능을 지원하는 어플리케이션을 포함하고, 동영상 촬영 시, 복수의 마이크가 수집한 오디오 신호 또는 복수의 마이크가 수집한 오디오 신호를 기반으로 생성된 합성 신호를 저장할 수 있다.
상기 프로세서(150)는 제1 전자 장치(100) 운용과 관련하여, 적어도 하나의 어플리케이션의 실행 제어, 적어도 하나의 어플리케이션 실행에 따른 데이터의 전달, 저장, 삭제와 같은 데이터 처리를 수행할 수 있다. 한 실시 예에 따르면, 상기 프로세서(150)는 오디오 신호 수집과 관련한 기능 예컨대, 통화 기능(예: 음성 통화 기능 또는 화상 통화 기능 중 적어도 하나), 녹음 기능, 또는 동영상 촬영 기능 중 적어도 하나의 기능 실행이 요청되면, 주변 노이즈 환경을 확인할 수 있다. 예를 들어, 프로세서(150)는 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행이 요청되면, 주변 노이즈 신호와 오디오 신호 대비 값을 확인할 수 있다. 상기 프로세서(150)는 노이즈 신호가 오디오 신호 보다 지정된 값 이상인 경우(예: 노이즈 신호와 오디오 신호의 크기 차이가 0dB 이상인 경우 또는 노이즈 신호의 크기가 오디오 신호의 크기보다 0dB 이상 큰 경우), 신호 합성 기능과 관련하여, 복수의 마이크들(170, 180)을 활성화할 수 있다.
한 실시 예에 따르면, 프로세서(150)는 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행이 요청되면, 주변 노이즈 신호와 오디오 신호 값들을 확인할 수 있다. 상기 프로세서(150)는 노이즈 신호가 오디오 신호 대비 지정된 값 미만인 경우(예: 노이즈 신호가 없거나, 오디오 신호 크기가 노이즈 신호 크기보다 지정된 값 이상 큰 경우), 신호 합성 기능을 적용하지 않고, 복수의 마이크들(170, 180) 중 적어도 일부 마이크를 활성화하여 운용할 수 있다. 예를 들어, 상기 프로세서(150)는 상기 노이즈 신호의 크기가 상기 오디오 신호의 크기보다 지정된 값 미만인 경우(예: 노이즈 신호가 없거나 지정된 값 이하인 경우), 복수의 마이크들(170, 180) 중 거치부(101b)에 배치되어 외부 오디오 신호를 수집할 수 있는 제1 마이크(170)만을 활성화할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(150)는 제1 전자 장치(100) 운용과 관련하여, 재생 기능 실행이 요청되면, 재생할 오디오 신호들의 특성에 따라 신호 합성 여부를 결정할 수 있다. 예컨대, 메모리(140)에 저장된 오디오 신호들이 앞서 도 1에서 설명한 제1 오디오 신호 및 제2 오디오 신호들인 경우, 상기 제1 오디오 신호에서 검출된 포락선 신호와 상기 제2 오디오 신호에서 추출한 특징점을 이용하여 고대역 신호 확장을 수행하고, 고대역이 확장된 신호와 상기 제1 오디오 신호를 합성하여 출력하는 재생 기능을 지원할 수 있다.
상기 프로세서(150)는 복수의 마이크들(170, 180)이 수집한 오디오 신호들에 대하여 특징점 추출, 고대역 신호 확장, 고대역이 확장된 오디오 신호와 다른 마이크에서 수집한 오디오 신호와의 합성을 수행할 수 있다. 상기 프로세서(150)는 합성된 신호를 제2 전자 장치(200) 또는 외부 전자 장치에 전송하거나 메모리(140)에 저장할 수 있다.
다양한 실시 예에 따르면, 신호 합성 기능과 관련하여, 상기 프로세서(150)는 복수의 마이크들(170, 180)이 수집한 오디오 신호들 중 획득된 전체 주파수 대역 중 상대적으로 낮은 주파수 대역의 신호가 지정된 값 이상 차지하는 오디오 신호(또는 상대적으로 낮은(또는 좁은) 주파수 대역(또는 저대역)의 신호를 수집하도록 설계된 마이크(예: 협대역 마이크)가 수집한 오디오 신호(예: 협대역 신호), 또는 상기 도 1에서 설명한 제2 오디오 신호)로부터 특징점을 추출할 수 있다. 상기 프로세서(150)는 추출된 특징점과 다른 오디오 신호(예: 상대적으로 넓은 주파수 대역의 신호)에서 검출한 포락선 신호를 이용하여 저대역 신호를 고대역으로 확장할 수 있다. 상기 프로세서(150)는 전체 주파수 대역의 분포가 상기 신호 확장에 이용된 오디오 신호보다 상대적으로 넓은 오디오 신호(또는 상대적으로 높은 주파수 대역의 신호를 수집하도록 설계되었거나 또는 음성 주파수 대역 전반의 신호를 수집하도록 설계된 마이크(예: 광대역 마이크)가 수집한 오디오 신호(예: 광대역 신호, 1Hz~20kHz), 또는 상기 도 1에서 설명한 제1 오디오 신호)와, 상기 확장된 오디오 신호를 합성하고, 합성 신호를 출력할 수 있다. 예컨대, 상기 프로세서(150)는 합성 신호를 제2 전자 장치(200)에 전달하거나, 메모리에 저장할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(150)는 복수의 마이크들(170, 180)이 수집한 오디오 신호들의 신호 상태를 분석하여, 제1 오디오 신호 또는 제2 오디오 신호 중 적어도 하나를 기반으로 신호 합성의 필요 여부를 결정할 수 있다. 예를 들어, 상기 프로세서(150)는 제1 오디오 신호의 Fc(cut-off frequency)를 계산하고, Fc의 크기에 따라 신호의 고대역 확장 및 신호 합성 필요 여부를 판단할 수 있다. 한 실시 예에 따르면, 프로세서(150)는 Fc 크기가 지정된 값 이상인 경우 신호의 고대역 확장 및 신호 합성을 생략하고, 지정된 값 미만인 경우 고대역 신호 확장 및 신호 합성을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(150)는 제1 오디오 신호에 포함된 노이즈 크기에 따라 노이즈 전처리 과정의 적용 여부를 결정할 수 있다. 예를 들어, 프로세서(150)는 획득된 오디오 신호에 포함된 노이즈 크기가 지정된 값 이상인 경우, 노이즈 전처리를 수행한 후, 전처리된 제1 오디오 신호와 고대역이 확장된 신호와 합성할 수 있다. 한 실시 예에 따르면, 프로세서(150)는 제1 오디오 신호에 포함된 노이즈 크기가 지정된 값 미만인 경우, 노이즈 전처리 수행 없이, 획득된 제1 오디오 신호와 고대역 확장 신호를 합성할 수 있다.
도 3은 다양한 실시 예에 따른 제1 전자 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 3을 참조하면, 상기 프로세서(150)는 제1 신호 처리부(151), 제2 신호 처리부(153), 신호 합성부(155), 마이크 제어부(157) 및 합성 신호 처리부(159)를 포함할 수 있다. 상술한 제1 신호 처리부(151), 제2 신호 처리부(153), 신호 합성부(155), 마이크 제어부(157) 및 합성 신호 처리부(159) 중 적어도 하나의 서브 프로세서로 마련되거나, 각각 독립된 프로세서로 마련되거나, 소프트웨어 형태로 마련되어 상기 프로세서(150)의 신호 합성 기능 시 이용될 수 있다.
상기 제1 신호 처리부(151)는 신호 합성 여부를 판단할 수 있다. 예를 들어, 상기 제1 신호 처리부(151)는 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행이 요청되면 복수의 마이크들(170, 180) 중 적어도 하나의 마이크를 이용하여 오디오 신호를 수집하고, 오디오 신호에 포함된 노이즈 크기 여부를 확인하고, 확인 결과에 따라 신호 합성 기능을 적용할 수 있다. 또는, 제1 전자 장치(100)는 노이즈 크기 확인에 따른 신호 합성 기능 실행의 필요 여부에 대한 확인 없이, 신호 합성 기능을 기본으로 수행하도록 설정될 수 있다. 이 경우, 상기 제1 신호 처리부(151)는 신호 합성 기능 실행의 필요 여부 확인을 생략할 수 있다.
상기 제1 신호 처리부(151)는 제1 마이크(170)가 수집한 오디오 신호의 처리를 제어할 수 있다. 예를 들어, 제1 신호 처리부(151)는 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 등이 실행되면, 제1 마이크(170)를 활성화하고, 제1 마이크(170)가 수집한 제1 오디오 신호를 기반으로 포락선 신호를 검출할 수 있다. 한 실시 예에 따르면, 상기 제1 신호 처리부(151)는 획득된 오디오 신호에 포함된 노이즈 크기를 확인하고, 노이즈 크기에 따라 상기 제1 오디오 신호에 대한 사전 신호 처리(pre-processing) 적용을 수행할 수 있다. 예를 들어, 상기 제1 신호 처리부(151)는 주변 노이즈 크기가 일정 값 이상이면, 제1 오디오 신호에 대한 노이즈 억제를 수행하고, 지정된 신호 분석 방식(예: Linear Prediction Analysis)을 기반으로 제1 오디오 신호에 대한 포락선 신호(wideband spectral envelope)를 검출할 수 있다. 포락선 신호 검출 과정에서, 제1 신호 처리부(151)는 기 저장된 제1 스피치 소스 필터 모델(speech source filter model)을 이용할 수 있다. 상기 제1 신호 처리부(151)는 상기 제1 오디오 신호에서 검출한 상기 포락선 신호를 제2 신호 처리부(153)에 전달하고, 사전 신호 처리된 제1 오디오 신호를 신호 합성부(155)에 전달할 수 있다. 상기 제1 스피치 소스 필터 모델은 양호한 환경(예: 노이즈가 없는 환경 또는 노이즈 크기가 지정된 값 이하인 환경)에서 제1 마이크(170)를 통해 획득한 오디오 신호들을 통해 생성한 기준 모델을 포함할 수 있다.
상기 제2 신호 처리부(153)는 제2 마이크(180)가 수집한 제2 오디오 신호에서, 특징점들을 추출할 수 있다. 이와 관련하여, 제2 신호 처리부(153)는 신호 합성 기능이 요청되면, 제2 마이크(180)를 활성화할 수 있다. 상기 제2 신호 처리부(153)는 활성화된 제2 마이크(180)가 수집한 제2 오디오 신호에 대한 사전 신호 처리(예: 에코 캔슬링, 노이즈 억제)를 수행하고, 신호 처리된 오디오 신호에 대한 분석을 수행하여 특징점들을 추출할 수 있다. 여기서, 상기 사전 신호 처리 중 에코 캔슬링은 스피커(130)와 제2 마이크(180) 간의 이격 거리에 따라 생략될 수도 있다. 상기 제2 신호 처리부(153)는 추출된 특징점들과 상기 제1 신호 처리부(151)에서 전달된 제1 오디오 신호의 포락선 신호를 기반으로 고대역 신호 확장을 수행할 수 있다. 한 실시 예에 따르면, 제2 신호 처리부(153)는 추출된 특징점들 및 메모리(140)에 기 저장된 제2 스피치 소스 필터 모델을 기반으로 협대역 여기 신호(narrowband excitation signal)를 획득할 수 있다. 상기 제2 스피치 소스 필터 모델은 노이즈가 없거나 지정된 크기 이하의 노이즈 환경에서 제2 마이크(180)를 통해 획득된 음성 신호를 모델링한 정보를 포함할 수 있다. 상기 제2 신호 처리부(153)는 상기 협대역 여기 신호와 상기 포락선 신호를 기반으로 고대역 확장된 신호를 신호 합성부(155)에 전달할 수 있다.
상기 신호 합성부(155)는 상기 제1 신호 처리부(151)에서 출력되는 사전 신호 처리된 제1 오디오 신호 및 제2 신호 처리부(153)에서 출력되는 고대역 확장된 신호(또는 고대역 확장된 여기 신호)를 수신할 수 있다. 상기 수신된 제1 오디오 신호 및 고대역 확장된 신호에 대해, 상기 신호 합성부(155)는 지정된 합성 방식(예: 선형 예측 합성, linear prediction synthesis)을 이용하여 합성 신호를 생성할 수 있다.
상기 마이크 제어부(157)는 통화 기능 또는 음성 기능 실행이 요청되면, 복수개의 마이크들(170, 180) 중 적어도 하나의 마이크를 조건에 따라 활성화하도록 제어할 수 있다. 예컨대, 마이크 제어부(157)는 신호 합성 기능이 기본 적용으로 설정된 경우, 오디오 신호 수집 요청에 따라(예: 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행 요청에 따라) 제1 신호 처리부(151) 및 제2 신호 처리부(153)에 각각 제1 마이크(170) 및 제2 마이크(180) 활성화를 요청할 수 있다. 상기 마이크 제어부(157)는 통화 기능, 녹음 기능, 또는 동영상 촬영 기능이 종료되면, 상기 활성화된 제1 마이크(170) 및 제2 마이크(180)를 비활성화하도록 제어할 수 있다.
상기 합성 신호 처리부(159)는 합성된 신호의 처리를 수행할 수 있다. 예를 들어, 상기 합성 신호 처리부(159)는 통화 기능 운용 시, 합성 신호를 통신 회로(110)를 통해 제2 전자 장치(200)에 전송하거나 또는 외부 전자 장치에 전송할 수 있다. 한 실시 예에 따르면, 상기 합성 신호 처리부(159)는 녹음 기능 운용 시, 상기 합성 신호를 메모리(140)에 저장할 수 있다.
도 4는 다양한 실시 예에 따른 제2 전자 장치 구성의 한 예를 나타낸 도면이다.
도 4를 참조하면, 한 실시 예에 따른 제2 전자 장치(200)는 단말 통신 회로(210), 단말 입력부(220), 오디오 처리부(230), 단말 메모리(240), 디스플레이(260), 네트웍 통신 회로(290) 및 단말 프로세서(250)를 포함할 수 있다.
상기 단말 통신 회로(210)는 상기 제2 전자 장치(200)의 통신 기능과 관련한 동작을 지원할 수 있다. 예를 들어, 상기 단말 통신 회로(210)는 상기 제1 전자 장치(100)의 통신 회로(110)와 통신 채널을 형성할 수 있다. 상기 단말 통신 회로(210)는 상기 통신 회로(110)와 호환 가능한 회로를 포함할 수 있다. 예를 들어, 상기 단말 통신 회로(210)는 근거리 통신 채널을 형성할 수 있는 근거리 통신 회로를 포함할 수 있다. 한 실시 예에 따르면, 상기 단말 통신 회로(210)는 페어링 과정을 수행하여, 통신 회로(110)와 통신 채널을 형성하고, 제1 전자 장치(100)로부터 합성 신호를 수신할 수 있다. 다양한 실시 예에 따르면, 상기 단말 통신 회로(210)는 제1 전자 장치(100)에 포함된 마이크들(170, 180) 중 적어도 하나의 마이크가 수집한 오디오 신호를 수신할 수 있다.
상기 단말 입력부(220)는 제2 전자 장치(200)의 사용자 입력을 지원할 수 있다. 상기 단말 입력부(220)는 예컨대, 물리 버튼, 터치 패드, 전자펜 입력 장치, 터치 스크린 중 적어도 하나를 포함할 수 있다. 상기 제2 전자 장치(200)가 연결 인터페이스를 포함하고, 상기 연결 인터페이스를 통해 외부 입력 장치(예: 마우스, 키보드 등)가 연결되는 경우, 상기 연결 인터페이스는 상기 단말 입력부(220)의 일부 구성으로 포함될 수 있다. 상기 단말 입력부(220)는 신호 합성 기능과 관련한 적어도 하나의 사용자 입력을 사용자 조작에 대응하여 생성하고, 생성된 사용자 입력을 단말 프로세서(250)에 전달할 수 있다.
상기 오디오 처리부(230)는 제2 전자 장치(200)의 오디오 신호 처리 기능을 지원할 수 있다. 상기 오디오 처리부(230)는 적어도 하나의 스피커(SPK) 및 적어도 하나의 마이크(MICs)를 포함할 수 있다. 예를 들어, 오디오 처리부(230)는 하나의 스피커(SPK)와 복수의 마이크들(MICs)을 포함할 수 있다. 상기 오디오 처리부(230)는 단말 프로세서(250)의 제어에 대응하여 신호 합성 기능을 지원할 수 있다. 예를 들어, 오디오 처리부(230)는 제1 전자 장치(100)로부터 제1 오디오 신호를 수신하고, 상기 마이크들(MICs) 중 적어도 하나의 마이크로부터 제2 오디오 신호를 수신하면, 수신된 제1 오디오 신호 및 제2 오디오 신호 중 적어도 하나의 신호에 사전 신호 처리를 수행할 수 있다. 상기 오디오 처리부(230)는 사전 신호 처리된 오디오 신호들을 기반으로 앞서 도 1 내지 도 3에서 설명한 신호 합성 방식에 따라 합성 신호를 생성할 수 있다. 상기 오디오 처리부(230)는 단말 프로세서(250) 제어에 대응하여 상기 합성 신호를 단말 메모리(240)에 저장하거나, 네트웍 통신 회로(290)를 통해 외부 전자 장치에 전송할 수 있다. 상기 오디오 처리부(230)는 상술한 신호 합성 기능 지원과 관련하여 코덱을 포함할 수 있다.
상기 단말 메모리(240)는 제2 전자 장치(200) 운용과 관련한 적어도 일부 데이터, 적어도 하나의 프로그램, 또는 어플리케이션을 저장할 수 있다. 예를 들어, 상기 단말 메모리(240)는 통화 기능 어플리케이션, 녹음 기능 어플리케이션, 음원 재생 기능 어플리케이션, 동영상 촬영 기능 어플리케이션 등을 저장할 수 있다. 상기 단말 메모리(240)는 제1 전자 장치(100)로부터 수신된 합성 신호를 저장할 수 있다. 다양한 실시 예에 따르면, 상기 단말 메모리(240)는 상기 오디오 처리부(230)에 의해 생성된 합성 신호를 저장할 수 있다. 한 실시 예에 따르면, 상기 단말 메모리(240)는 제1 전자 장치(100)로부터 수신된 제1 오디오 신호 및 제2 오디오 신호를 저장할 수 있다. 한 실시 예에 따르면, 상기 단말 메모리(240)는 제1 전자 장치(100)로부터 수신된 제1 오디오 신호(또는 제2 오디오 신호)와 상기 제2 전자 장치(200)의 복수의 마이크들(MICs) 중 적어도 하나의 마이크가 수집한 제2 오디오 신호(또는 제1 오디오 신호)를 저장할 수 있다.
상기 디스플레이(260)는 상기 제2 전자 장치(200) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(260)는 제2 전자 장치(200)의 통화 기능 운용, 녹음 기능 운용, 또는 동영상 촬영 기능 운용에 따른 화면을 출력할 수 있다. 한 실시 예에 따르면, 상기 디스플레이(260)는 통화 기능 운용, 녹음 기능 운용, 또는 동영상 촬영 기능 운용 시, 제1 전자 장치(100)와의 통신 연결 상태, 제1 전자 장치(100) 기반의 신호 합성 기능 설정 상태, 제2 전자 장치(200)의 신호 합성 기능 설정 상태 등에 대응하는 가상 객체를 출력할 수 있다. 한 실시 예에 따르면, 상기 디스플레이(260)는 음원 재생 기능 운용에 따른 화면을 출력할 수 있다. 여기서, 디스플레이(260)는 단말 메모리(240)에 저장된 복수의 오디오 신호들을 기반으로 신호 합성을 수행하는 상태 및 합성된 신호의 출력 상태 중 적어도 하나에 대응하는 가상 객체를 출력할 수 있다.
상기 네트웍 통신 회로(290)는 상기 제2 전자 장치(200)의 원거리 통신 채널 형성 또는 기지국 기반의 통신 채널 형성을 수행할 수 있다. 상기 네트웍 통신 회로(290)는 예컨대 이동 통신 회로를 포함할 수 있다. 상기 네트웍 통신 회로(290)는 제1 전자 장치(100)가 통신 회로(110)를 통해 전달한 합성 신호 또는 제2 전자 장치(200)가 생성한 합성 신호를 외부 전자 장치에 전송할 수 있다.
상기 단말 프로세서(250)는 제2 전자 장치(200) 운용에 필요한 데이터의 처리, 데이터의 전달, 프로그램의 활성화 등을 제어할 수 있다. 한 실시 예에 따르면, 상기 단말 프로세서(250)는 통화 기능(예: 음성 통화 기능 또는 화상 통화 기능) 실행과 관련한 가상 객체를 디스플레이(260)에 출력하고, 상기 가상 객체 선택에 대응하여 통화 기능을 실행할 수 있다. 한 실시 예에 따르면, 상기 단말 프로세서(250)는 제1 전자 장치(100)와 통신 채널을 형성하고(또는 통신 채널이 이미 형성된 경우 통신 채널을 유지하고) 통화 기능과 관련한 오디오 신호를 제1 전자 장치(100)와 송수신할 수 있다. 예를 들어, 상기 단말 프로세서(250)는 제1 전자 장치(100)로부터 합성 신호를 수신하여 네트웍 통신 회로(290)를 통해 외부 전자 장치에 전송할 수 있다. 다양한 실시 예에 따르면, 상기 단말 프로세서(250)는 통화 기능 수행 시, 제1 전자 장치(100)로부터의 오디오 신호 수신 없이, 보유한 복수의 마이크들(MICs)을 이용하여 오디오 신호를 수집하고, 수집된 오디오 신호를 기반으로 신호 합성 및 출력을 수행할 수도 있다.
한 실시 예에 따르면, 단말 프로세서(250)는 통화 기능 수행 중에, 제1 전자 장치(100)로부터 제1 오디오 신호(또는 제2 오디오 신호)를 수신하고, 상기 오디오 처리부(230)에 전달하여, 제2 전자 장치(200)에 포함된 마이크들(MICs) 중 적어도 하나의 마이크가 수집한 제2 오디오 신호(또는 제1 오디오 신호)와 합성한 후, 외부 전자 장치에 전송하도록 제어할 수 있다. 상기 제1 오디오 신호는 예컨대, 제2 오디오 신호에 비하여 상대적으로 넓은 주파수 대역의 신호의 분포가 높은 오디오 신호를 포함할 수 있다. 또는, 상기 제2 오디오 신호는 상기 제1 오디오 신호에 비하여 상대적으로 좁은 주파수 대역의 신호의 분포가 높은 오디오 신호를 포함할 수 있다.
상기 단말 프로세서(250)는 녹음 기능 수행 시, 제1 전자 장치(100)와 통신 채널을 형성하고(또는 이미 통신 채널이 형성된 경우, 형성된 통신 채널을 유지하고), 제1 전자 장치(100)가 전달하는 합성 신호를 단말 메모리(240)에 저장할 수 있다. 한 실시 예에 따르면, 상기 단말 프로세서(250)는 제1 전자 장치(100)가 전달한 오디오 신호와 마이크들(MICs) 중 적어도 하나의 마이크가 수집한 오디오 신호를 합성하고, 합성된 신호를 단말 메모리(240)에 저장할 수 있다. 다양한 실시 예에 따르면, 단말 프로세서(250)는 녹음 기능 수행 시, 제1 전자 장치(100)와의 통신 연결 또는 제1 전자 장치(100)로부터의 오디오 신호 수신 없이, 보유한 복수개의 마이크들(MICs)을 기반으로 오디오 신호 수집, 고대역 신호 확장, 또는 신호 합성 및 출력을 수행할 수도 있다.
상기 단말 프로세서(250)는 동영상 촬영 기능 수행 시, 제1 전자 장치(100)와 통신 채널을 형성하고(또는 이미 통신 채널이 형성된 경우, 형성된 통신 채널을 유지하고), 카메라를 이용하여 촬영된 영상을 저장하면서, 제1 전자 장치(100)가 전달하는 합성 신호를 단말 메모리(240)에 저장할 수 있다. 한 실시 예에 따르면, 상기 단말 프로세서(250)는 제1 전자 장치(100)가 전달한 오디오 신호와 마이크들(MICs)이 수집한 오디오 신호를 합성하고, 합성된 신호를 단말 메모리(240)에 저장할 수 있다. 한 실시 예에 따르면, 상기 단말 프로세서(250)는 동영상 촬영 기능 수행 시, 카메라를 이용하여 촬영된 영상을 저장하면서, 복수의 마이크들(MICs)을 기반으로 수집된 오디오 신호의 합성을 수행하고, 합성 신호를 단말 메모리(240)에 저장할 수 있다.
도 5는 다양한 실시 예에 따른 제1 전자 장치의 일부 구성의 한 예를 나타낸 도면이다.
도 5를 참조하면, 한 실시 예에 따른 제1 전자 장치(100)의 적어도 일부는 제1 마이크(170), 제2 마이크(180), 스피커(130), 제1 신호 처리부(151), 제2 신호 처리부(153), 신호 합성부(155)를 포함할 수 있다.
상기 제1 마이크(170) 및 상기 제2 마이크(180)는 예컨대, 상기 도 1 또는 도 2에서 설명한 제1 마이크(170) 및 제2 마이크(180)일 수 있다. 상기 스피커(130)는 상기 도 2에서 설명한 스피커(130)일 수 있다. 도시된 도면에서는, 제2 마이크(180)에 인접되게 스피커(130)가 배치된 구조를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다.
상기 제1 신호 처리부(151)는 제1 마이크(170)와 연결되는 제1 노이즈 처리부(51a) 및 제1 신호 분석부(51c)를 포함할 수 있다. 상기 제1 노이즈 처리부(51a)는 예컨대 노이즈 억제 처리(noise- suppression)을 수행할 수 있다. 한 실시 예에 따르면, 상기 제1 노이즈 처리부(51a)는 프로세서(150)의 제어에 따라 제1 마이크(170)가 수집한 제1 오디오 신호에 대해 선택적으로 노이즈 처리를 수행할 수 있다. 예를 들면, 제1 오디오 신호에 포함된 노이즈의 크기가 지정된 값 이상인 경우, 제1 노이즈 처리부(51a)는 제1 오디오 신호에 대한 노이즈 처리를 수행할 수 있다. 제1 오디오 신호에 포함된 노이즈의 크기가 지정된 값 미만인 경우, 제1 노이즈 처리부(51a)는 제1 오디오 신호에 대한 노이즈 처리를 생략할 수 있다. 한 실시 예에 따르면, 상기 제1 노이즈 처리부(51a)에 의해 전처리된 오디오 신호는 501 상태에 나타낸 바와 같은 파형 형태를 나타낼 수 있다. 그래프에서, 가로축은 시간을 나타내고, 세로축은 주파수 값을 나타낼 수 있다.
상기 제1 신호 분석부(51c)는 제1 노이즈 처리부(51a)에 의해 사전 노이즈 처리된 오디오 신호에 대한 신호 분석(예: 선형 예측 분석)을 수행할 수 있다. 상기 제1 신호 분석부(51c)는 상기 오디오 신호에 대한 신호 분석을 수행하고, 신호 분석 결과를 기반으로 포락선 신호를 출력할 수 있다. 상기 제1 신호 분석부(51c)로부터 출력되는 포락선 신호는 예컨대, 503 상태에 나타낸 바와 같은 파형 형태를 나타낼 수 있다.
상기 제2 신호 처리부(153)는 제2 마이크(180)와 연결되는 에코 처리부(53a), 제2 노이즈 처리부(53b) 및 제2 신호 분석부(53c)를 포함할 수 있다.
상기 에코 처리부(53a)는 제2 마이크(180)를 통해 획득된 신호의 에코를 처리할 수 있다. 예를 들어, 스피커(130)에 의해 출력되는 오디오 신호는 제2 마이크(180)의 입력으로 전달될 수 있다. 상기 에코 처리부(53a)는 스피커(130)를 통해 출력되어 다시 제2 마이크(180)에 입력되는 신호의 적어도 일부를 제거할 수 있다. 상기 에코 처리부(53a)는 RES(Residual Echo Cancellation)을 수행할 수 있다. 다양한 실시 예에 따르면, 상기 제2 마이크(180) 및 스피커(130) 간의 거리가 지정된 거리 이상 이격된 경우, 상기 에코 처리부(53a)의 구성은 상기 제2 신호 처리부(153)에서 생략될 수 있다.
상기 제2 노이즈 처리부(53b)는 제1 노이즈 처리부(51a)와 유사하게 에코 캔슬된 제2 오디오 신호의 전처리(예: 노이즈 억제 처리(noise- suppression))을 수행할 수 있다. 한 실시 예에 따르면, 상기 제2 노이즈 처리부(53b)에 의해 전처리된 오디오 신호는 505 상태에 나타낸 바와 같은 파형 형태를 나타낼 수 있다. 제2 마이크(180)는 제1 마이크(170)에 비하여 상대적으로 저대역 신호를 양호한 품질로 수집하도록 마련되거나 지정된 저대역 신호를 수집하도록 마련된 마이크를 포함할 수 있다. 이에 따라, 제2 마이크(180)에 의해 획득된 제2 오디오 신호는 도시된 바와 같이 저대역 신호들의 분포가 상대적으로 많이 나타날 수 있다. 제2 노이즈 처리부(53b)는 제2 마이크(180)(예: Inner microphone)로부터 잡음환경에 유리하고 ECNS (Echo Cancellation & Noise Suppression) 처리된 신호를 획득할 수 있다.
한 실시 예에 따르면, 제2 마이크(180)를 통해 획득되는 제2 오디오 신호는 외부 경로(예: Air path)로 전달이 되지 않고 사람의 몸을 통해 전달될 수 있다. 사람 몸을 통해 전달되는 특성상, 제2 마이크(180)가 수집하는 제2 오디오 신호는 주로 저대역 신호(대략 2kHz 정도)를 포함할 수 있다. 사람 몸을 통해 전달된 신호의 경우, 잡음이 매우 심한 환경 (-10dB 이하 SNR, Signal to Noise Ratio)에서도 물리적으로 잡음이 상당히 차단되기 때문에, 제2 마이크(180)를 통해 획득되는 제2 오디오 신호는 SNR이 높게 형성될 수 있다. 높은 SNR을 가진 신호에 대해 노이즈 처리(예: Noise Suppression)를 할 경우 보다 명료한 오디오 신호를 수집할 수 있다. 또한, 고대역으로 신호를 확장할 때, 잡음을 최대한으로 제거한 신호를 이용하는 것이 보다 양호한 신호 획득 가능성을 높일 수 있기 때문에, 제2 신호 처리부(153)는 에코 처리부(53a) 및 제2 노이즈 처리부(53b)를 이용하여 잡음을 제거할 수 있다. 다양한 실시 예에 따르면, 상기 제2 노이즈 처리부(53b)의 구성은 제외되거나 또는 노이즈 환경에 따라 기능 수행이 생략될 수 있다.
상기 제2 신호 분석부(53c)는 제2 노이즈 처리부(53b)에 의해 사전 노이즈 처리된 오디오 신호에 대한 신호 분석을 수행할 수 있다. 상기 제2 신호 분석부(53c)는 상기 제2 마이크(180)가 수집하고 사전 노이즈 처리된 오디오 신호에 대한 신호 분석을 수행하고, 신호 분석 결과와 제1 신호 분석부(51c)에서 출력되는 포락선 신호를 기반으로 고대역이 확장된 신호(또는 고대역 확장된 여기 신호)를 출력할 수 있다. 상기 제2 신호 분석부(53c)로부터 출력되는 고대역이 확장된 신호는 예컨대, 507 상태에 나타낸 바와 같은 파형 형태를 나타낼 수 있다.
상기 제1 신호 분석부(51c) 및 상기 제2 신호 분석부(53c)는 각각 소스 필터 모델을 이용하여 여기 신호(Excitation signal)와 포락선 신호를 분리할 수 있다. 상기 선형 예측 분석(linear prediction analysis)은 현재 시간의 음성신호는 과거의 음성신호의 샘플들과의 상관관계가 높다는 가정으로 과거의 N개 선형 결합으로 예측하는 분석 방법으로서, 다음 수학식 1과 같이 표현될 수 있다.
은 추정된(~) envelope signal (성도전달함수), 는 추정된 envelope을 구성하는 LP coefficients, 는 추정된(~) narrow band Excitation signal, 는 음성 신호(예: narrow band 신호) 는 sample index를 나타낼 수 있다. 상술한 선형 예측 분석을 기반으로 제1 신호 분석부(51c)는 오디오 신호에서 음원에 해당하는 Excitation 신호를 추출하고, 제2 신호 분석부(53c)는 성도전달함수에 해당하는 포락선 신호(Spectral envelope)를 추출할 수 있다.
상기 제1 전자 장치(100)의 프로세서(150)는 한 실시 예에 따르면, 소스 필터 모델링 방법(source filter model 방법)을 기반으로 분석(분해)을 수행하여, 각 주파수 대역에서 양호한 특성을 가지는 신호들 예컨대, 제1 오디오 신호에 대응하는 포락선 신호 및 제2 오디오 신호에 대한 여기 신호(또는 협대역 여기 신호)를 추출할 수 있다.
다양한 실시 예에 따르면, 상기 제2 신호 분석부(53c)는 소스 필터 모델링 방법을 통해 획득한 협대역 여기 신호를 상기 포락선 신호를 이용하여 광대역으로 확장하여 고대역 여기 신호를 추정할 수 있다. 이와 관련하여, 상기 제2 신호 분석부(53c)는 선형 예측 분석을 통해 추정한 신호(예: 여기 신호)를 복사하고 주파수변조(frequency modulation)를 이용해 상위 대역(고대역)으로 이어 붙일 수 있다. 제2 신호 분석부(53c)의 고대역 신호 확장은 다음 수학식 2를 기반으로 수행될 수 있다.
상기 수학식 2에서, 는 Modulation된(~) 상위 대역의 여기 시 신호(또는 고대역이 확장된 신호, Excitation signal, high band), 는 여기 신호를 복사하여 붙일 modulation 주파수를 의미할 수 있다. 저대역 신호(0.1kHz~3kHz 범위, 예컨대 2kHz ~ 3kHz)의 확장에 있어 metallic sound(또는 기계음)를 최소화하기 위해, 제2 신호 분석부(53c)는 제2 마이크(180)로부터 획득된 오디오 신호의 F0 정보(Fundamental frequency)를 이용해 modulation frequency를 결정할 수 있다. 기초 주파수 F0는 다음 수학식 3을 통해 획득될 수 있다.
수학식 3에서, 는, Sampling Frequency, 는 , 는 Cutoff Frequency(예컨대, 2kHz), 는 Fundamental Frequency를 의미할 수 있다. 시간에 따라 여기 신호(excitation signal)의 주기적인 특성이 다르므로 자연스러운 확장을 위해 이어 붙일 주파수 값을 지정된 조건(예: 포락선 신호를 기준으로 여기 신호의 주기적인 특성을 고대역으로 확장)에 따라 계산하여 modulation frequency를 결정할 수 있다. 상기 제2 신호 분석부(53c)는 잡음 성분의 여기 신호 확장(excitation extension)을 통해 저대역 신호를 갖는 제2 오디오 신호에서 손실되기 쉬운 unvoiced speech를 복원할 수 있다.
상기 신호 합성부(155)(LP Synthesis)는 제1 신호 처리부(151)를 통해 출력된 고대역이 확장된 여기 신호와 제2 신호 처리부(153)를 통해 노이즈 처리된 오디오 신호(또는 포락선 신호)의 합성(예: 선형 예측 합성)을 수행할 수 있다. 예컨대, 상기 신호 합성부(155)는 제1 신호 처리부(151) 및 제2 신호 처리부(153)를 통해 각각 분해된 신호들의 장점들을 가지는 신호들을 합성할 수 있다. 신호 합성부(155)에 의해 합성된 신호는 예컨대 509 상태에서와 같이 스펙트럼을 나타낼 수 있다.
도 6은 한 실시 예에 따른 외부 잡음 상황에서 제1 마이크가 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 도면이다. 또는, 도시된 도면은 일정 속도 이상의 바람이 부는 상황에서, 바람에 영향을 받는 위치에 배치된 제1 마이크(170)(예: 외부 마이크)를 이용하여 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 것이다.
도시된 도면에서, 그래프의 x축은 시간을 나타내며, y축 상부 그래프는 수집된 신호의 파형 크기를 나타낸 것이고, y축 하부 그래프는 수집된 신호의 주파수를 나타낸 것이다. 제1 마이크(170)가 수집한 오디오 신호는 화자의 음성과 외부 바람 잡음이 포함될 수 있다. 도시된 도면은 바람의 세기가 강->약->강의 형태로 변화된 상태를 의미할 수 있다. 바람이 강할 경우에 화자의 음성 분간이 불가능할 수 있다.
도 7은 한 실시 예에 따른 외부 잡음 상황에서 제2 마이크가 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 도면이다. 예를 들어, 도시된 도면은 앞서 도 6에서 설명한 외부 잡음이 있는 동일한 상황에서 제2 마이크(180)(예: 인이어 마이크)를 이용하여 획득한 오디오 신호의 파형과 스펙트럼을 나타낸 것이다. 도 7에 도시된 그래프와 도 6에 도시된 그래프를 비교하면, 제2 마이크(180)가 수집한 화자의 음성 및 외부 바람 잡음은 제1 마이크(170)가 수집한 화자의 음성 및 외부 바람 잡음에 비하여 음성 스펙트럼이 확실하게 나타나기 때문에, 청취 시 음성 구분이 가능할 수 있다. 제2 마이크(180)가 수집한 화자의 음성 및 외부 바람 잡음은 약 2kHz 이상의 음성 신호의 정보가 없음을 알 수 있다. 한 실시 예에 따른 제1 전자 장치(100)는 상대적으로 높은 주파수 대역(예: 2kHz 이상)으로의 대역 확장을 통해 음성의 품질을 개선시킬 수 있다.
도 8은 도 7에 나타낸 오디오 신호에 대한 전처리(예: EC(eco-cancelation), NS(noise-suppression))를 적용한 후의 신호에 대한 파형과 스펙트럼을 나타낸 도면이다.
도 8에 나타낸 바와 같이, 제2 마이크(180)가 수집한 신호에 대한 전처리(예: EC, NS)를 수행한 경우, 전처리된 신호는 도 7에 나타낸 신호에 비하여 상대적으로 노이즈가 없는 상태를 나타낼 수 있다.
도 9는 도 6에 나타낸 오디오 신호에 대하여 전처리(예: NS)를 적용한 파형과 스펙트럼을 나타낸 도면이다.
도 9를 참조하면, 바람이 약한 신호에 대해서는(예: 그래프의 중간 부분) NS 처리가 잘 되는 것으로 나타나지만, 바람이 강한 신호에서는(예: 그래프의 좌/우 부분) 음성과 잡음이 일정 부분 분포되어 있는 것으로 나타남을 알 수 있다. 도 6에 나타난 그래프와 비교할 경우, 상대적으로 잡음이 적은 신호를 획득할 수 있기 때문에, 제1 전자 장치(100) 또는 제2 전자 장치(200)는 대역 확장에 유리한 포락선 신호 획득과 관련하여 도 9에서와 같이 제2 마이크(180)가 획득한 신호에 대한 노이즈 전처리를 수행한 신호를 획득할 수 있다.
한편, 1개의 마이크 신호를 이용하여 대역확장을 하는 일반 대역 확장 방법의 경우, 3.5~4kHz의 대역을 갖는 음성 신호로부터 7~8kHz까지 대역을 확장하기 때문에, 상술한 실시 예에서 설명하는 약 2kHz 대역을 갖는 음성 신호를 확장하는 사례에 비하여 더 많은 노이즈 정보를 가지게 되어, 고음질의 결과를 획득하기 어렵다. 한 실시 예에 따른 제1 전자 장치(100)는 특성이 다른 제1 마이크(170) 및 제2 마이크(180)가 수집한 오디오 신호들을 활용하여 각 마이크 입력의 장점을 취득하는 대역 확장을 수행할 수 있다. 예를 들어, 제1 마이크(170)는 잡음이 있는 상황에서 음성과 잡음이 그대로 섞인 정보를 포함할 수 있으나, 전 주파수 대역에서 화자 음성의 정보를 가져올 수 있다. 이 동작에서, 대역 확장 적용 시 잡음을 최소로 하기 위하여, 제1 마이크(170)가 수집한 오디오 신호에 대한 전처리(예: NS)를 수행할 수 있다.
도 10은 한 실시 예에 따른 제1 오디오 신호 및 제2 오디오 신호에 대한 포락선 신호의 한 예를 나타낸 도면이다.
도시된 도면은 오디오 신호를 포함하는 프레임들 중 임의의 제1 프레임(1001 그래프) 및 제2 프레임(1003 그래프)을 추출하여 나타낸 것이다. 상기 제1 프레임(1001 그래프) 및 제2 프레임(1003 그래프)은 예컨대, 오디오 신호 수집 중 서로 다른 시점에서 획득된 프레임이 될 수 있다. 점선 그래프는 외부 마이크(또는 제1 마이크(170))가 획득한 오디오 신호의 주파수 곡선 및 크기를 나타낸 것이며, 실선 그래프는 인이어 마이크(또는 이너 마이크, 또는 제2 마이크(180))가 획득한 오디오 신호의 주파수 곡선 및 크기를 나타낸 것이다.
공중 환경(예: Air)에서 마이크가 수집한 오디오 신호와, 사람의 신체구조를 통하여 입력되는 신호의 특성에 차이를 가지기 때문에, 한 실시 예에 따른 오디오 처리 시스템은 제1 마이크(170)에서의 포락선 정보를 활용하여 실제 신호와 가까운 음성을 복원할 수 있다.
도시된 도면에서 y축은 포락선의 크기 (dB scale)를 나타낼 수 있다. 협대역 마이크(또는 제2 마이크(180))에서 획득한 신호를 기반으로 추정되는 포락선(Spectral envelope) 신호는 화자의 고대역 특성을 알 수 없으므로, 한 실시예에 따른 오디오 신호 처리 시스템은 Wide band 정보를 갖는 광대역 마이크(또는 제1 마이크(170), 또는 외부 마이크)로부터 추정된 포락선(Spectral envelope) 신호를 이용할 수 있다. 한 실시 예에 따른 오디오 신호 처리 시스템은 협대역 여기 신호와 광대역 포락선 신호를 이용하여 고대역 확장된 신호를 생성하고, 이를 기반으로 신호 합성을 수행함에 따라, 화자의 특성 및 발화하는 단어 등에 따라 성도전달함수가 지속적으로 변화되더라도 양호한 음질의 오디오 신호를 합성 및 출력할 수 있다. 이러한 오디오 신호 처리 시스템은 협대역 신호를 고대역으로 신호 확장하기 때문에 대역 확장에 유리하며, 화자의 목소리 특성을 포함한 광대역 포락선 신호를 이용하여 대역 확장을 수행한 신호를 기반으로 오디오 신호들의 합성을 수행함에 따라, 화자의 목소리 특성을 유지하고, 합성된 신호가 사람 목소리처럼 들리지 않거나 로봇처럼 들리는 문제 발생을 제거하여, 화자의 원래 목소리처럼 자연스러운 오디오 신호를 제공할 수 있다.
도 11은 한 실시 예에 따른 신호 합성과 관련한 파형 및 스펙트럼을 나타낸 도면이다.
도 11을 참조하면, 1101 그래프는 제2 마이크(180)(예: 인이어 마이크 입력)에서 획득된 신호 파형을 나타낼 수 있다. 1103 그래프는 제1 마이크(170)(예: 외부 마이크 입력)에서 획득된 신호 파형을 나타낼 수 있다. 1105 그래프는 1101 그래프에 나타낸 제2 마이크(180)의 입력 신호가 고대역으로 확장된 신호에 대응하는 파형을 나타낼 수 있다. 1107 그래프는 고대역이 확장된 신호와 제1 마이크(170)에서 획득된 신호를 합성한 오디오 신호의 파형을 나타낼 수 있다.
도시된 바와 같이, 한 실시 예에 따른 오디오 처리 시스템은 상기 제1 마이크(170)에 비하여 상대적으로 노이즈가 없는 제2 마이크(180) 입력 신호의 고대역 신호 확장과, 상기 제2 마이크(180)에 비하여 상대적으로 광대역의 신호를 수집할 수 있는 제1 마이크(170) 입력 신호를 상기 고대역 확장된 신호와 합성하여, 노이즈가 적으면서 사용자 목소리와 유사한 자연스러운 오디오 신호의 생성 및 출력을 지원할 수 있다.
상술한 다양한 실시 예에 따른 오디오 신호 처리 시스템은 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행 시, 바깥귀길 내에서 오디오 신호를 수집하는 인이어 마이크 및 별도의 마이크(예: 단말 장치나, 기타 웨어러블 기기에 배치된 마이크)를 이용하여 음성 신호의 대역 확장과 신호 합성을 수행하여 양호한 오디오 신호를 출력할 수 있다. 한 실시 예에 따른 오디오 신호 처리 시스템은 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 실행 시, 골전도 마이크와 별도 마이크를 이용하여 신호를 수집하고, 수집된 신호의 합성을 기반으로 양호한 오디오 신호를 출력할 수 있다. 한 실시 예에 따른 오디오 신호 처리 시스템은 음성 인식 기능 실행 시, 낮은 SNR 잡음 환경에서 특성이 다른 복수의 마이크들(170, 180, MICs 중 적어도 두 개)를 이용하여 인식률을 개선할 수 있다.
한 실시 예에 따른 오디오 신호 처리 시스템은 통화 기능 실행 시, 복수의 마이크들을 포함한 단말 장치(예: 상기 제2 전자 장치(200))의 하단에 배치된 마이크가 막히는 상황에서, 하단 마이크와 상단 마이크가 획득한 오디오 신호의 합성을 기반으로 양호한 특성의 오디오 신호 출력을 지원할 수 있다. 이와 관련하여, 단말 장치는 케이스(또는 하우징)의 하단에 배치된 마이크가 획득한 신호에 대한 분석을 수행하고, 하단 마이크로부터 획득된 신호에 포함된 저대역 신호의 분포가 지정된 값 이상인 경우(또는 전체 주파수 대역의 신호 분포 중 지정된 크기 이상의 고대역 신호 분포가 지정된 값 미만인 경우), 상단 마이크를 활성화할 수 있다. 상기 단말 장치는 하단 마이크에서 획득된 오디오 신호를 기반으로 고대역 확장 신호를 획득한 후, 활성화된 상단 마이크에서 획득한 신호와 합성하여 출력할 수 있다.
한 실시 예에 따른 오디오 처리 시스템은 단말 장치(예: 제2 전자 장치(200))에 배치된 복수의 마이크들(MICs)을 기반으로 다채널 녹음 기능이 실행되는 경우, 하나의 마이크가 막히거나 성능이 좋지 않을 때 다른 채널 입력의 정보를 활용하여 멀티 채널 오디오 대역 확장을 수행할 수 있다. 이와 관련하여, 단말 장치는 특정 채널의 오디오 신호에 포함된 저대역 신호 분포가 지정된 값 이상인 경우 해당 채널의 마이크가 막히거나 성능이 저하된 상태로 판단할 수 있다.
한 실시 예에 따른, 단말 장치는 특정 마이크에 물이 유입된 경우, 해당 마이크에서 획득된 신호의 고대역 확장을 수행하고, 다른 마이크에서 획득한 신호와 합성을 수행할 수 있다. 상기 물 유입 판별과 관련하여, 상기 단말 장치의 마이크는 물 유입을 판별하기 위한 적어도 하나의 단자들을 포함하고, 유입된 물에 의하여 단자들이 숏트된 경우, 물 유입으로 판단할 수 있다. 또는, 단말 장치는 물 유입을 판별하기 위한 적어도 하나의 센서를 포함하고, 상기 센서가 수집한 신호를 판별하여 물 유입 상태 여부를 결정할 수 있다.
다양한 실시 예에 따르면, 헤드셋 장치 또는 단말 장치에 배치된 리시버 스피커(또는 스피커)가 마이크 기능을 지원할 수 있도록 설계된 경우, 한 실시 예에 따른 오디오 처리 시스템은 상기 리시버 스피커의 마이크 기능을 이용하여 획득된 오디오 신호에 대하여, 고대역 신호 확장을 수행하고, 다른 마이크로부터 획득된 오디오 신호와의 합성을 수행할 수 있다. 상기 리시버 스피커는 마이크 기능 지원과 관련하여, 신호의 출력단에 오디오 신호를 수집할 수 있는 구조물(마이크 구조물로서, 예컨대, 스피커의 신호 출력단과 전기적으로 연결된 신호 배선)을 포함하고, 리시버 스피커 활성화와 관련하여 제공되는 전력을 기반으로 외부 오디오 신호 수집을 지원할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치(예: 도 1 또는 도 2의 제1 전자 장치(100))는 특성이 다른 제1 마이크 및 제2 마이크(예: 도 1 또는 도 2의 제1 마이크(170) 및 제2 마이크(180)), 상기 제1 마이크 및 상기 제2 마이크와 동작적으로 연결되는 프로세서(예: 상기 도 2의 프로세서(150))를 포함하고, 상기 프로세서는 지정된 기능 실행 요청을 수신하고, 상기 기능 실행 요청에 대응하여 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제1 마이크가 획득한 제1 오디오 신호의 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 제2 마이크를 통해 제2 오디오 신호를 수집하고, 상기 제2 오디오 신호로부터 특징점을 추출하고, 제1 오디오 신호에서 추출된 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 노이즈 크기가 지정된 크기 미만인 경우, 상기 신호 합성 동작을 생략하고 상기 제1 오디오 신호를 기반으로 상기 지정된 기능 실행을 지원하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 지정된 기능은 통화 기능, 녹음 기능, 또는 동영상 촬영 기능 중 어느 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 제1 오디오 신호에 대한 전처리를 수행하고, 전처리된 신호에 대한 선형 예측 분석을 수행하여 상기 포락선 신호를 검출하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 고대역 확장 신호와 상기 제1 오디오 신호에 대응하는 포락선 신호를 선형 예측 음성 합성 방식을 기반으로 합성하도록 설정될 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치(예: 도 2의 제1 전자 장치(100) 또는 제2 전자 장치(200))는 제1 마이크(170), 통신 회로(110) 및 상기 제1 마이크 및 상기 통신 회로와 동작적으로 연결되는 프로세서(150)를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제1 마이크가 획득한 제1 오디오 신호의 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 통신 회로를 통해 외부 전자 장치의 제2 마이크를 기반으로 하는 제2 오디오 신호 수집을 요청하고, 상기 제2 오디오 신호 수집 시 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 제1 오디오 신호에서 추출된 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 합성하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 노이즈 크기가 지정된 크기 미만인 경우, 상기 신호 합성 동작을 생략하고 상기 제1 오디오 신호를 기반으로 상기 지정된 기능 실행을 지원하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 통신 회로를 기반으로 상기 외부 전자 장치와 근거리 통신 채널을 형성하고, 상기 외부 전자 장치 중 상기 제1 오디오 신호보다 상대적으로 저대역 신호의 분포가 높은 오디오 신호의 수집을 요청하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 통화 기능 실행 요청, 녹음 기능 실행 요청 또는 동영상 촬영 기능 실행 중 어느 하나의 실행이 요청되면, 상기 제1 마이크 활성화 및 상기 노이즈 크기 확인을 수행하고, 상기 노이즈 크기에 따라 상기 신호 합성을 수행하도록 제어할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치(예: 제1 전자 장치(100)는 제1 마이크(170), 통신 회로(170) 및 상기 제1 마이크 및 상기 통신 회로와 동작적으로 연결되는 프로세서(150)를 포함하고, 상기 프로세서는 통화 기능 실행 요청, 녹음 기능 실행 요청 또는 동영상 촬영 기능 실행 중 어느 하나의 실행이 요청되면, 자동으로 상기 제1 마이크를 활성화하고, 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제1 마이크가 획득한 제1 오디오 신호의 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 통신 회로를 통해 외부 전자 장치의 제2 마이크를 기반으로 하는 제2 오디오 신호 수집을 요청하고, 상기 제2 오디오 신호 수집 시 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 제1 오디오 신호에서 추출된 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행할 수 있다. 또는, 프로세서(150)는 제1 오디오 신호에 대응하는 포락선 신호를 추정하고, 상기 포락선 신호와 상기 고대역 확장 신호를 합성하도록 설정될 수 있다.
도 12는 한 실시 예에 따른 오디오 신호 처리 방법의 한 예를 나타낸 도면이다.
도 12를 참조하면, 한 실시 예에 따른 오디오 신호 처리 방법과 관련하여, 동작 1201에서, 제1 전자 장치(100)의 프로세서(150)는 이벤트 발생 시, 상기 이벤트 발생이 오디오 신호 수집 요청과 관련된 이벤트 발생인지 확인할 수 있다. 또는, 상기 프로세서(150)는 오디오 신호 수집이 필요한 통화 기능, 녹음 기능, 또는 동영상 촬영 기능의 실행 요청과 관련한 이벤트(예: 사용자 입력 또는 통화 호 수신 등)이 발생하는지 확인할 수 있다. 발생된 이벤트가 오디오 신호 수집 요청과 관련이 없는 경우, 동작 1203에서, 상기 프로세서(150)는 이벤트 발생에 따른 기능 수행을 처리할 수 있다. 예를 들어, 이벤트 발생에 따라 상기 프로세서(150)는 메모리(140)에 저장된 적어도 하나의 컨텐츠를 실행하고, 컨텐츠 실행에 따른 오디오 및 비디오 중 적어도 하나의 출력을 처리할 수 있다. 또는 상기 프로세서(150)는 사용자 입력에 대응하여 다른 전자 장치와 통신 채널을 형성하고, 다른 전자 장치가 제공하는 음원을 수신하여 출력할 수 있다.
오디오 신호 수집이 요청되면, 동작 1205에서, 상기 프로세서(150)는 제1 마이크(170) 활성화 및 신호 수집을 수행할 수 있다. 상기 제1 마이크(170)는 예컨대, 제2 마이크(180)에 비하여 상대적으로 광대역 신호를 수집할 수 있는 마이크일 수 있다. 또는, 상기 제1 마이크(170)는 제1 전자 장치(100)가 이어폰인 경우, 착용 시 귀 외측을 향해 음공이 배치되는 외부 마이크를 포함할 수 있다. 프로세서(150)는 제1 마이크(170)가 수집한 제1 오디오 신호를 메모리(140)에 저장할 수 있다.
동작 1207에서, 상기 프로세서(150)는 제2 마이크(180) 수집 신호의 합성이 필요한지 확인할 수 있다. 이와 관련하여, 프로세서(150)는 제1 마이크(170)가 수집한 제1 오디오 신호의 노이즈 크기(또는 SNR)를 확인할 수 있다. 상기 프로세서(150)는 제1 마이크(170)가 수집한 제1 오디오 신호에 포함된 노이즈가 지정된 크기 이상인 경우(또는 SNR이 지정된 미만인 경우) 동작 1209에서, 상기 프로세서(150)는 제2 마이크(180)를 활성화할 수 있다. 상기 제2 마이크(180)는 상기 제1 마이크(170)와 특성이 다른 마이크 또는 전자 장치에서의 배치 위치가 다른 마이크를 포함할 수 있다. 한 실시 예에 따르면, 상기 제2 마이크(180)는 인이어 마이크를 포함할 수 있다. 또는, 상기 제2 마이크(180)는 제1 마이크(170)에 비하여 상대적으로 저대역 신호를 잘 수집할 수 있도록 마련된 마이크일 수 있다.
동작 1211에서, 상기 프로세서(150)는 제2 마이크(180)가 수집한 제2 오디오 신호로부터 특징점을 추출할 수 있다. 특징점 추출 과정에서, 프로세서(150)는 제2 오디오 신호에서 환경에 유리한 특징점(예: F0(기본 주파수), excitation, phase, energy) 을 계산할 수 있다. 또한, 프로세서(150)는 선택적으로 전처리된 제1 오디오 신호로부터 전체 대역을 갖는 특징점(spectral envelope, excitation, phase, energy, freq. response)을 계산할 수 있다.
동작 1213에서, 상기 프로세서(150)는 추출된 특징점들과 제1 오디오 신호로부터 추출된 포락선 신호를 기반으로 고대역 신호 확장을 수행할 수 있다. 예컨대, 상기 프로세서(150)는 획득된 특징점을 이용하여 대역 한정 신호(band limited 신호, 협대역 신호)를 고대역까지 확장할 수 있다. 이 동작에서, 프로세서(150)는 excitation extension, frequency response를 이용할 수 있다. 예를 들어, 상기 프로세서(150)는 저대역 신호들의 특징점들을 복사한 후 지정된 고대역에 이어 붙이는 과정을 수행하여 고대역 신호 확장을 수행할 수 있다.
동작 1215에서, 상기 프로세서(150)는 고대역이 확장된 신호와 상기 제1 마이크(170)가 수집한 제1 오디오 신호(또는 제1 오디오 신호에 대응하는 포락선 신호)를 합성할 수 있다. 예컨대, 프로세서(150)는 선형 예측 음성 합성 방식에 따라 고대역 확장 신호 및 제1 오디오 신호의 합성을 수행할 수 있다.
동작 1217에서, 상기 프로세서(150)는 합성된 신호를 출력할 수 있다. 예컨대, 프로세서(150)는 실행 중인 기능에 따라 상기 합성된 신호를 근거리 통신 채널을 형성하고 있는 다른 전자 장치에 전송하거나 또는 기지국 기반으로 외부 전자 장치에 전송할 수 있다. 또는, 상기 프로세서(150)는 실행 중인 기능의 종류에 따라 합성된 신호를 메모리(140)에 저장하거나, 촬영된 영상과 싱크를 맞추어 저장할 수 있다.
제2 마이크(180) 수집 신호의 합성이 필요 없는 경우 동작 1219에서, 상기 프로세서(150)는 제2 마이크(180)를 비활성화할 수 있다. 예를 들어, 제1 마이크(170)가 획득한 제1 오디오 신호에 포함된 노이즈가 지정된 값 미만인 경우 신호 합성 기능이 생략될 수 있다. 이 경우, 프로세서(150)는 제2 마이크(180)를 비활성화하거나 또는 비활성화 상태를 유지할 수 있다. 제2 마이크(180)를 비활성화하면, 동작 1221에서, 상기 프로세서(150)는 제1 마이크(170) 수집 신호를 출력할 수 있다. 예컨대, 프로세서(150)는 제1 마이크(170)가 수집한 제1 오디오 신호를 메모리(140)에 저장하거나 다른 전자 장치에 전송할 수 있다.
동작 1223에서, 상기 프로세서(150)는 오디오 신호 수집이 필요한 기능의 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 상기 프로세서(150)는 오디오 신호 수집이 필요한 기능의 종료를 요청하는 이벤트 발생을 확인할 수 있다. 오디오 신호 수집이 필요한 기능 종료를 요청하는 이벤트가 발생하면, 프로세서(150)는 오디오 신호 수집 기능을 종료하고, 활성화 중인 제1 마이크(170) 또는 제2 마이크(180)를 비활성화할 수 있다. 종료 이벤트 발생이 없으면, 상기 프로세서(150)는 이전 수행된 기능 상태에 따라 1201 상태, 1205 상태, 1209 상태 또는 1219 상태 이전으로 분기하여 이하 동작을 재수행할 수 있다.
한편, 상술한 도 12에서 설명한 오디오 신호 처리 방법에 대하여 제1 전자 장치(100)의 프로세서(150)를 기준으로 동작 설명을 하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 도 12에서 설명한 오디오 신호 처리 방법에서의 각 동작들은 제2 전자 장치(200)의 프로세서(250), 복수개의 마이크들(MICs), 단말 메모리(240) 등을 기반으로 수행될 수 있다.
도 13은 한 실시 예에 따른 오디오 신호 처리 방법의 다른 예를 나타낸 도면이다.
도 13을 참조하면, 한 실시 예에 따른 오디오 신호 처리 방법과 관련하여, 동작 1301에서, 제1 전자 장치(100)의 프로세서(150)는 특정 기능 실행과 관련한 이벤트가 발생하면, 해당 이벤트가 오디오 신호 수집과 관련한 이벤트인지 확인할 수 있다. 오디오 신호 수집과 관련 없는 이벤트가 발생하면, 동작 1303에서, 상기 프로세서(150)는 이벤트 종류에 따른 기능 수행을 지원할 수 있다. 예를 들어, 프로세서(150)는 음원 재생 기능과 관련한 이벤트가 발생하면, 메모리에 저장된 음원을 재생하고, 재생된 음원을 출력할 수 있다.
오디오 신호 수집과 관련한 이벤트가 발생하면 동작 1305에서, 상기 프로세서(150)는 수집 특성이 다른 복수의 마이크를 활성화할 수 있다. 예를 들어, 상기 프로세서(150)는 제2 마이크(180)이 비하여 상대적으로 넓은 범위의 주파수 대여 신호를 획득하는 제1 마이크(170), 제1 마이크(170)에 비하여 상대적으로 좁은 범위 또는 상대적으로 저대역 신호 수집을 더 양호하게 할 수 있도록 마련된 제2 마이크(180)를 활성화할 수 있다. 또는, 상기 프로세서(150)는 무선 헤드셋 또는 무선 이어폰에 배치된 인이어 마이크 및 외부 마이크를 활성화할 수 있다.
동작 1307에서, 상기 프로세서(150)는 획득된 신호 중 제2 마이크(180)가 수집한 오디오 신호에서 저대역 특징점 추출을 수행할 수 있다. 이와 관련하여, 상기 프로세서(150)는 수집된 오디오 신호에 대한 선형 예측 분석을 수행할 수 있다.
동작 1309에서, 상기 프로세서(150)는 추출된 특징점을 기반으로 고대역 신호 확장을 수행할 수 있다. 예컨대, 프로세서(150)는 제1 마이크(170)가 수집한 오디오 신호에 대한 포락선 검출 및 검출된 포락선 신호와 상기 추출된 특징점을 기반으로 고대역 신호 확장을 수행할 수 있다.
동작 1311에서, 상기 프로세서(150)는 고대역이 확장된 신호 및 제1 마이크(170)가 수집한 오디오 신호를 합성할 수 있다. 합성 동작에서, 상기 프로세서(150)는 상기 고대역이 확장된 신호 및 제1 오디오 신호에 대해 선형 예측 합성을 수행할 수 있다.
동작 1313에서, 상기 프로세서(150)는 합성된 신호의 출력을 수행할 수 있다. 예컨대, 상기 프로세서(150)는 합성된 신호를 스피커를 통해 출력하거나, 다른 전자 장치에 전송할 수 있다. 또는, 프로세서(150)는 합성된 신호를 메모리(140)에 저장할 수 있다.
동작 1315에서, 상기 프로세서(150)는 오디오 신호 수집과 관련한 기능 종료 이벤트가 발생하는지 확인할 수 있다. 기능 종료 이벤트 발생이 없으면, 프로세서(150)는 1307 이전으로 분기하여 이하 동작을 재수행할 수 있다.
한편, 상술한 도 13에서 설명한 오디오 신호 처리 방법에 대하여 제1 전자 장치(100)의 프로세서(150)를 기준으로 동작 설명을 하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 도 12에서 설명한 오디오 신호 처리 방법에서의 각 동작들은 제2 전자 장치(200)의 프로세서(250), 복수개의 마이크들(MICs), 단말 메모리(240) 등을 기반으로 수행될 수 있다.
도 14는 한 실시 예에 따른 오디오 신호 처리 방법의 또 다른 예를 나타낸 도면이다.
도 14를 참조하면, 한 실시 예에 따른 오디오 신호 처리 방법과 관련하여, 동작 1401에서, 제2 전자 장치(200)의 프로세서(250)는 특정 기능 실행과 관련한 이벤트가 발생하면, 해당 이벤트가 오디오 신호 수집과 관련한 이벤트인지 확인할 수 있다. 오디오 신호 수집과 관련 없는 이벤트가 발생하면, 동작 1403에서, 상기 프로세서(250)는 이벤트 종류에 따른 기능 수행을 지원할 수 있다.
오디오 신호 수집과 관련한 이벤트인 경우, 동작 1405에서, 상기 프로세서(250)는 외부 전자 장치와 연결된 상태인지 확인할 수 있다. 외부 전자 장치와 연결된 상태가 아니면, 동작 1407에서 상기 프로세서(250)는 일반 기능 처리를 수행할 수 있다. 예컨대, 상기 프로세서(250)는 전자 장치(200)에 포함된 복수개의 마이크들(MICs) 중 적어도 하나의 특정 마이크를 활성화하고, 상기 특정 마이크를 기반으로 오디오 신호를 수집한 후, 단말 메모리(240)에 저장하거나, 스피커에 출력하거나, 또는 다른 전자 장치에 전송할 수 있다.
제1 전자 장치(100)가 연결된 상태이면, 동작 1409에서, 상기 프로세서(250)는 제1 전자 장치(100)의 마이크(예: 제1 마이크(170))를 기반으로 제1 오디오 신호를 수집하도록 요청하면서, 제2 전자 장치(200)의 마이크(예: 상기 복수개의 마이크들(MICs) 중 적어도 하나의 특정 마이크)를 기반으로 제2 오디오 신호를 수집할 수 있다. 상기 프로세서(250)는 제1 오디오 신호 수집 요청에 따라 제1 전자 장치(100)로부터 제1 오디오 신호를 수신할 수 있다. 한 실시 예에 따르면, 상기 제2 전자 장치(200)는 단말 장치(예: 스마트폰)이고 상기 제1 전자 장치(100)는 이어폰 또는 헤드셋 장치일 수 있다. 상기 제1 오디오 신호는 제2 오디오 신호에 비하여 상대적으로 광대역 주파수 신호를 포함할 수 있다. 제2 오디오 신호는 제1 오디오 신호에 비하여 상대적으로 협대역 주파수 신호 또는 저대역 주파수 신호의 분포가 높은 신호를 포함할 수 있다. 다양한 실시 예에 따르면, 상기 제2 전자 장치는 헤드셋 또는 이어폰 장치이고, 상기 제1 전자 장치는 단말 장치일 수 있다. 이 경우, 제2 전자 장치에 배치된 마이크(예: 귀 내측에서 신호를 수집하는 마이크)가 제1 전자 장치에 배치된 마이크에 비하여 상대적으로 저대역 신호를 잘 수집하도록 설계된 마이크일 수 있다.
동작 1411에서, 프로세서(250)는 제2 전자 장치(100)가 수집한 제2 오디오 신호에 대한 저대역 신호 특징점 추출을 수행할 수 있다. 또는, 제1 전자 장치(100)가 인이어 마이크를 기반으로 오디오 신호를 제공한 경우, 프로세서(250)는 상기 제1 전자 장치(100)가 제공한 오디오 신호의 저대역 신호 특징점 추출을 수행할 수 있다. 동작 1413에서 프로세서(250)는 획득된 저대역 신호의 특징점을 이용하여 고대역 신호 확장을 수행하고(예: 제1 오디오 신호로부터 검출된 포락선 신호와 상기 특징점을 이용한 고대역 신호 확장을 수행), 동작 1415에서, 고대역 확장된 신호와 제1 오디오 신호(또는 상대적으로 광대역 주파수 신호)와 합성한 후, 동작 1417에서 출력할 수 있다.
다양한 실시 예에 따르면, 동작 1405에서, 상기 프로세서(250)는 제1 전자 장치(100)와 연결이 필요한 상태인지 확인할 수 있다. 예컨대, 프로세서(250)는 제2 전자 장치(200)에 포함된 마이크를 기반으로 오디오 신호를 수집하고, 수집된 오디오 신호에 포함된 노이즈 크기가 지정된 크기 미만인지 확인할 수 있다. 상기 노이즈 크기가 지정된 크기 이상인 경우, 상기 프로세서(250)는 제1 전자 장치(100)와 통신 연결이 되어 있는지 확인할 수 있다. 상기 프로세서(250)는 제1 전자 장치(100) 연결이 없는 경우, 제1 전자 장치(100) 스캔을 수행하고, 제1 전자 장치(100)와 통신 연결을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(250)는 디스플레이를 포함한 단말 장치이며, 제1 전자 장치(100)와 연결되어 있지 않은 경우, 보다 양호한 오디오 신호 수집과 관련하여, 제1 전자 장치(100) 연결이 필요함을 안내하는 정보를 디스플레이(260)에 출력할 수 있다. 추가적으로, 상기 프로세서(250)는 외부 전자 장치와 페어링을 수행할 수 있는 링크 정보 또는 가상 객체를 디스플레이(260)에 출력할 수 있다.
한편, 상술한 도 14에서 설명한 오디오 신호 처리 방법에 대하여 제2 전자 장치(200)의 프로세서(250)를 기준으로 동작 설명을 하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 도 14에서 설명한 오디오 신호 처리 방법에서의 각 동작들은 제1 전자 장치(100)의 프로세서(150), 복수개의 마이크들(170, 180), 메모리(140) 등을 기반으로 수행될 수 있다.
상술한 바와 같이, 한 실시 예에 따른 오디오 신호 처리 방법은 대역 확장 기술 적용 시 확장이 필요한 대역의 정확한 특성을 확인하고(예: 포락선 신호를 기반으로 대역 확장이 필요한 신호 확인), 해당 대역의 신호 확장 및 합성을 통해 보다 자연스러운 합성 신호를 생성할 수 있다. 또한, 한 실시 예에 따른 오디오 신호 처리 방법은 협대역 신호에 대한 노이즈 전처리 및 외부 마이크를 통해 수신된 신호의 노이즈 전처리를 수행함으로써, 고대역 신호 확장 시 노이즈가 없는 여기 신호 및 포락선 신호를 기반으로 보다 양질의 음감을 가진 합성 신호를 생성할 수 있다.
이러한 오디로 신호 처리 방법은 서로 다른 특성의 마이크가 수집한 오디오 신호를 기반으로 자연스러운 대역 확장을 적용하고, 고도 잡음 상황에서도 안정적인 음성 신호 수집을 지원할 수 있다. 예를 들어, 한 실시 예에 따른 오디오 신호 처리 방법은 잡음에 강건한 마이크(예: 인이어 마이크, 골전도 마이크)의 입력으로 높은 정확도를 가진 VAD(voice activity detector) 정보를 활용하여 여기 신호를 예측하고, Noise-free 상황에서 계산된 기본 주파수(fundamental frequency)를 활용하여 예측된 대역 한정 여기 신호의 정교한 확장을 수행하며, 넓은 대역의 정보를 갖는 다른 마이크 입력(예: 외부 마이크)의 상황을 판단하여 노이즈 전처리 수행 후 포락선(spectral envelope)의 예측을 수행하고, 대역 확장 신호와 포락선 신호의 합성 통해 양질의 결과물을 출력할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치는 제1 마이크 및 제2 마이크, 상기 제1 마이크 및 상기 제2 마이크와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제2 마이크를 통해 제2 오디오 신호를 수집하고, 상기 제1 오디오 신호로부터 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하도록 설정될 수 있다.
상기 제1 마이크는 이어폰 또는 헤드셋의 일측에 배치되며 귀에 거치되는 하우징 일측에 배치되는 외부 마이크를 포함할 수 있다.
상기 제2 마이크는 인이어 마이크 또는 골전도 마이크 중 적어도 하나를 포함할 수 있다.
상기 제1 오디오 신호는 상기 제2 오디오 신호에 비하여 상대적으로 광대역 신호의 분포가 높은 신호를 포함할 수 있다.
상기 제2 오디오 신호는 상기 제1 오디오 신호에 비하여 저대역 신호의 분포가 상대적으로 높은 신호를 포함할 수 있다.
상기 프로세서는 상기 제1 오디오 신호에 포함된 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 제1 오디오 신호에 대한 전처리를 수행하고, 전처리된 신호에 대한 선형 예측 분석을 수행하여 상기 포락선 신호를 검출하도록 설정될 수 있다.
상기 프로세서는 상기 제1 오디오 신호에 포함된 노이즈 크기가 지정된 값 미만인 경우, 상기 제1 오디오 신호에 대한 전처리를 생략하고, 전처리가 생략된 오디오 신호에 대한 선형 예측 분석을 수행하여 상기 포락선 신호를 검출하도록 설정될 수 있다.
상기 프로세서는 상기 합성된 신호를 메모리에 저장하거나, 스피커를 통해 출력하도록 설정되거나, 상기 합성된 신호를 통신 회로를 기반으로 연결된 외부 전자 장치에 전송하도록 설정될 수 있다.
상기 프로세서는 통화 기능 실행 요청, 녹음 기능 실행 요청 또는 동영상 촬영 기능 실행 중 어느 하나의 실행이 요청되면, 자동으로 상기 제1 마이크 및 상기 제2 마이크 활성화를 제어하고, 상기 신호 합성을 수행하도록 제어할 수 있다.
다양한 실시 예에 따르면, 한 실시 예에 따른 복수개의 마이크를 포함하는 전자 장치의 오디오 신호 처리 방법은 복수개의 마이크 중 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 복수개의 마이크 중 제2 마이크를 통해 제2 오디오 신호를 수집하는 동작, 상기 제1 오디오 신호로부터 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 특징점을 추출하는 동작, 상기 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하는 동작, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하는 동작을 포함할 수 있다.
상기 방법은 상기 제1 오디오 신호에 포함된 노이즈 크기를 확인하는 동작을 더 포함하고, 상기 합성을 수행하는 동작은 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 제1 오디오 신호에 대한 전처리를 수행하는 동작, 상기 전처리된 신호에 대한 선형 예측 분석을 수행하여 상기 포락선 신호를 검출하는 동작, 상기 검출된 포락선 신호와 상기 고대역 확장 신호를 합성하는 동작을 포함할 수 있다.
상기 포락선 신호를 검출하는 동작은 상기 제1 오디오 신호에 포함된 노이즈 크기가 지정된 값 미만인 경우, 상기 제1 오디오 신호에 대한 전처리를 생략하고, 전처리가 생략된 오디오 신호에 대한 선형 예측 분석을 수행하여 상기 포락선 신호를 검출하는 동작을 포함할 수 있다.
상기 방법은 상기 합성된 신호를 메모리에 저장하는 동작, 상기 합성된 신호를 스피커를 통해 출력하는 동작 또는 상기 합성된 신호를 통신 회로를 기반으로 연결된 외부 전자 장치에 전송하는 동작 중 어느 하나를 더 포함할 수 있다.
상기 방법은 통화 기능 실행 요청, 녹음 기능 실행 요청 또는 동영상 촬영 기능 실행 중 어느 하나의 실행 요청을 수신하는 동작, 자동으로 상기 제1 마이크 및 상기 제2 마이크 활성화하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치는 제1 마이크, 통신 회로 및 상기 제1 마이크 및 상기 통신 회로와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제1 마이크가 획득한 제1 오디오 신호의 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 통신 회로를 통해 외부 전자 장치의 제2 마이크를 기반으로 하는 제2 오디오 신호 수집을 요청하고, 상기 제2 오디오 신호 수집 시 상기 제2 오디오 신호로부터 특징점을 추출하고, 상기 제1 오디오 신호에서 추출된 포락선 신호와 상기 특징점을 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하고, 상기 고대역 확장 신호와 상기 제1 오디오 신호를 합성하도록 설정될 수 있다.
상기 프로세서는 상기 노이즈 크기가 지정된 크기 미만인 경우, 상기 신호 합성 동작을 생략하고 상기 제1 오디오 신호를 기반으로 상기 지정된 기능 실행을 지원하도록 설정될 수 있다.
도 15는, 다양한 실시예들에 따른, 네트워크 환경(1500) 내의 전자 장치(1501)의 블럭도이다. 도 15를 참조하면, 네트워크 환경(1500)에서 전자 장치(1501)는 제 1 네트워크(1598)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1502)와 통신하거나, 또는 제 2 네트워크(1599)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1504) 또는 서버(1508)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1501)는 서버(1508)를 통하여 전자 장치(1504)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1501)는 프로세서(1520), 메모리(1530), 입력 장치(1550), 음향 출력 장치(1555), 표시 장치(1560), 오디오 모듈(1570), 센서 모듈(1576), 인터페이스(1577), 햅틱 모듈(1579), 카메라 모듈(1580), 전력 관리 모듈(1588), 배터리(1589), 통신 모듈(1590), 가입자 식별 모듈(1596), 또는 안테나 모듈(1597)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1501)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1560) 또는 카메라 모듈(1580))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1576)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1560)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1520)는, 예를 들면, 소프트웨어(예: 프로그램(1540))를 실행하여 프로세서(1520)에 연결된 전자 장치(1501)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1520)는 다른 구성요소(예: 센서 모듈(1576) 또는 통신 모듈(1590))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1532)에 로드하고, 휘발성 메모리(1532)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1534)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1520)는 메인 프로세서(1521)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1523)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1523)은 메인 프로세서(1521)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1523)는 메인 프로세서(1521)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1523)는, 예를 들면, 메인 프로세서(1521)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1521)를 대신하여, 또는 메인 프로세서(1521)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1521)와 함께, 전자 장치(1501)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1560), 센서 모듈(1576), 또는 통신 모듈(1590))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1523)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1580) 또는 통신 모듈(1590))의 일부로서 구현될 수 있다.
메모리(1530)는, 전자 장치(1501)의 적어도 하나의 구성요소(예: 프로세서(1520) 또는 센서모듈(1576))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1540)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1530)는, 휘발성 메모리(1532) 또는 비휘발성 메모리(1534)를 포함할 수 있다.
프로그램(1540)은 메모리(1530)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1542), 미들 웨어(1544) 또는 어플리케이션(1546)을 포함할 수 있다.
입력 장치(1550)는, 전자 장치(1501)의 구성요소(예: 프로세서(1520))에 사용될 명령 또는 데이터를 전자 장치(1501)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1550)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:　스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1555)는 음향 신호를 전자 장치(1501)의 외부로 출력할 수 있다. 음향 출력 장치(1555)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1560)는 전자 장치(1501)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1560)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1560)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1570)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1570)은, 입력 장치(1550)를 통해 소리를 획득하거나, 음향 출력 장치(1555), 또는 전자 장치(1501)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1502)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1576)은 전자 장치(1501)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1576)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1577)는 전자 장치(1501)이 외부 전자 장치(예: 전자 장치(1502))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1577)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1578)는, 그를 통해서 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1578)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1579)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1579)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1580)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1580)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1588)은 전자 장치(1501)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1589)는 전자 장치(1501)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1589)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1590)은 전자 장치(1501)와 외부 전자 장치(예: 전자 장치(1502), 전자 장치(1504), 또는 서버(1508))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1590)은 프로세서(1520)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1590)은 무선 통신 모듈(1592)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1594)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1598)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1599)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1592)은 가입자 식별 모듈(1596)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크 내에서 전자 장치(1501)를 확인 및 인증할 수 있다.
안테나 모듈(1597)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1597)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1598) 또는 제 2 네트워크(1599)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1590)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1590)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1597)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1599)에 연결된 서버(1508)를 통해서 전자 장치(1501)와 외부의 전자 장치(1504)간에 송신 또는 수신될 수 있다. 전자 장치(1502, 1504) 각각은 전자 장치(1501)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1501)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1502, 1504, or 1508) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1501)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1501)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1501)로 전달할 수 있다. 전자 장치(1501)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치(1501)는 상술한 구성들의 적어도 일부를 감싸는 하우징과, 상기 하우징의 지정된 위치들에 배치되는 복수개의 마이크들(예: 입력 장치(1550))을 포함할 수 있다. 예를 들어, 상기 하우징은 전체적으로 사각형 형상으로 마련될 수 있고, 상기 복수개의 마이크들은 상기 하우징의 하단 일측, 상단 일측, 좌우 일측 중 적어도 한 곳 이상에 복수개가 배치될 수 있다. 상기 복수개의 마이크들 중 적어도 일부는 다른 일부 마이크들과 특성이 다르게 설계될 수 있다. 상기 전자 장치(1501)는 제1 특성을 가진 적어도 하나의 마이크(또는 제1 특성 마이크 그룹)를 이용하여 제1 오디오 신호를 획득하고, 제2 특성을 가진 적어도 하나의 마이크(또는 제2 특성 마이크 그룹)를 이용하여 제2 오디오 신호를 획득할 수 있다. 상기 전자 장치(1501)는 상대적으로 저대역 신호의 분포가 높은 오디오 신호(예: 제2 오디오 신호)에 대해 노이즈 전처리를 선택적으로 수행(노이즈 크기가 지정된 값 미만인 경우 노이즈 전처리 생략 가능)한 후, 고대역 신호 확장을 수행할 수 있다. 상기 전자 장치(1501)는 고대역이 확장된 신호와 제1 오디오 신호를 합성하여 출력함으로써, 보다 양호한 오디오 신호를 제공할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1501)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1536) 또는 외장 메모리(1538))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1540))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1501))의 프로세서(예: 프로세서(1520))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 제1 마이크 및 제2 마이크;
    상기 제1 마이크 및 상기 제2 마이크와 동작적으로 연결되는 프로세서를 포함하고,
    상기 프로세서는
    상기 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 제2 마이크를 통해 제2 오디오 신호를 수집하고,
    상기 제1 오디오 신호로부터 광대역 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 협대역 여기 신호를 추출하고,
    상기 광대역 포락선 신호와 상기 협대역 여기 신호를 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하여 고대역 확장 신호를 생성하고,
    상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하도록 설정된 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서,
    상기 제1 마이크는
    이어폰 또는 헤드셋의 일측에 배치되며 귀에 거치되는 하우징 일측에 배치되는 외부 마이크;를 포함하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 제2 마이크는
    인이어 마이크 또는 골전도 마이크 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서,
    상기 제1 오디오 신호는
    상기 제2 오디오 신호에 비하여 상대적으로 광대역 신호의 분포가 높은 신호를 포함하는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서,
    상기 제2 오디오 신호는
    상기 제1 오디오 신호에 비하여 저대역 신호의 분포가 상대적으로 높은 신호를 포함하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는
    상기 제1 오디오 신호에 포함된 노이즈 크기를 확인하고, 상기 노이즈 크기가 지정된 값 이상인 경우, 상기 제1 오디오 신호에 대한 전처리를 수행하고, 전처리된 신호에 대한 선형 예측 분석을 수행하여 상기 광대역 포락선 신호를 검출하도록 설정된 것을 특징으로 하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는
    상기 제1 오디오 신호에 포함된 노이즈 크기가 지정된 값 미만인 경우, 상기 제1 오디오 신호에 대한 전처리를 생략하고, 전처리가 생략된 오디오 신호에 대한 선형 예측 분석을 수행하여 상기 광대역 포락선 신호를 검출하도록 설정된 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 합성된 신호를 메모리에 저장하거나, 스피커를 통해 출력하도록 설정되거나,
    상기 합성된 신호를 통신 회로를 기반으로 연결된 외부 전자 장치에 전송하도록 설정된 것을 특징으로 하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는
    통화 기능 실행 요청, 녹음 기능 실행 요청 또는 동영상 촬영 기능 실행 중 어느 하나의 실행이 요청되면, 자동으로 상기 제1 마이크 및 상기 제2 마이크의 활성화를 제어하고, 상기 신호 합성을 수행하도록 제어하는 것을 특징으로 하는 전자 장치.
  10. 복수개의 마이크를 포함하는 전자 장치의 오디오 신호 처리 방법에 있어서,
    복수개의 마이크 중 제1 마이크를 통해 제1 오디오 신호를 수집하고, 상기 복수개의 마이크 중 제2 마이크를 통해 제2 오디오 신호를 수집하는 동작;
    상기 제1 오디오 신호로부터 광대역 포락선 신호를 검출하고 상기 제2 오디오 신호로부터 협대역 여기 신호를 추출하는 동작;
    상기 광대역 포락선 신호와 상기 협대역 여기 신호를 기반으로 상기 제2 오디오 신호의 고대역 확장을 수행하여 고대역 확장 신호를 생성하는 동작;
    상기 고대역 확장 신호와 상기 제1 오디오 신호를 기반으로 신호 합성을 수행하는 동작;을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020190001044A 2019-01-04 2019-01-04 오디오 신호 처리 방법 및 이를 지원하는 전자 장치 KR102570480B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190001044A KR102570480B1 (ko) 2019-01-04 2019-01-04 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
PCT/KR2019/018680 WO2020141824A2 (en) 2019-01-04 2019-12-30 Processing method of audio signal and electronic device supporting the same
US16/733,735 US11308977B2 (en) 2019-01-04 2020-01-03 Processing method of audio signal using spectral envelope signal and excitation signal and electronic device including a plurality of microphones supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001044A KR102570480B1 (ko) 2019-01-04 2019-01-04 오디오 신호 처리 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20200085030A KR20200085030A (ko) 2020-07-14
KR102570480B1 true KR102570480B1 (ko) 2023-08-25

Family

ID=71404519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001044A KR102570480B1 (ko) 2019-01-04 2019-01-04 오디오 신호 처리 방법 및 이를 지원하는 전자 장치

Country Status (3)

Country Link
US (1) US11308977B2 (ko)
KR (1) KR102570480B1 (ko)
WO (1) WO2020141824A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1644515S (ko) 2019-04-25 2019-10-28
JP1644596S (ko) * 2019-04-25 2019-10-28
JP1644595S (ko) 2019-04-25 2019-10-28
USD904349S1 (en) * 2019-07-29 2020-12-08 Logitech Europe S.A. Wireless earphone with fin
USD917426S1 (en) * 2019-09-12 2021-04-27 Shenzhen Ginto E-commerce Co., Limited Wireless earphone
USD909346S1 (en) * 2019-09-16 2021-02-02 Baoqing Wang Earphone
USD906298S1 (en) * 2019-09-16 2020-12-29 Baoqing Wang Earphone
USD925492S1 (en) * 2019-09-27 2021-07-20 Yamaha Corporation Earphone
USD967065S1 (en) * 2019-12-27 2022-10-18 Anhui Huami Information Technology Co., Ltd. Earphone
USD910602S1 (en) * 2020-07-30 2021-02-16 Shenzhen Humboldt Technology Co., Ltd Earbud
CN111988702B (zh) * 2020-08-25 2022-02-25 歌尔科技有限公司 音频信号的处理方法、电子设备及存储介质
CN112017677B (zh) * 2020-09-10 2024-02-09 歌尔科技有限公司 音频信号的处理方法、终端设备及存储介质
KR20220040146A (ko) * 2020-09-23 2022-03-30 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR20220050641A (ko) * 2020-10-16 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치에서 무선 오디오 입출력 장치를 이용한 오디오 레코딩 방법
WO2022141364A1 (zh) * 2020-12-31 2022-07-07 深圳市韶音科技有限公司 生成音频的方法和***
KR20220102492A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 오디오 데이터를 처리하기 위한 오디오 장치 및 그의 동작 방법
US11887574B2 (en) 2021-02-01 2024-01-30 Samsung Electronics Co., Ltd. Wearable electronic apparatus and method for controlling thereof
KR20220111054A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 웨어러블 전자 장치 및 이의 제어 방법
EP4231663A4 (en) 2021-03-12 2024-05-08 Samsung Electronics Co Ltd ELECTRONIC AUDIO INPUT DEVICE AND OPERATING METHOD THEREFOR
KR20220128127A (ko) * 2021-03-12 2022-09-20 삼성전자주식회사 오디오 입력을 위한 전자 장치 및 그 동작 방법
CN113205824B (zh) * 2021-04-30 2022-11-11 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备
CN114745673B (zh) * 2022-04-15 2023-03-24 广州易而达科技股份有限公司 蓝牙耳机的连接控制方法、装置、蓝牙耳机和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228543A1 (en) * 2005-09-02 2010-09-09 Nortel Networks Limited Method and apparatus for extending the bandwidth of a speech signal
US20110293109A1 (en) * 2010-05-27 2011-12-01 Sony Ericsson Mobile Communications Ab Hands-Free Unit with Noise Tolerant Audio Sensor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
US8213629B2 (en) * 2008-02-29 2012-07-03 Personics Holdings Inc. Method and system for automatic level reduction
RU2483366C2 (ru) * 2008-07-11 2013-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство и способ декодирования кодированного звукового сигнала
KR101077328B1 (ko) * 2009-09-30 2011-10-26 엘지이노텍 주식회사 Ｓｔｆｄ용 헤드셋에서의 음질 개선 시스템
CN104217727B (zh) 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
KR102317526B1 (ko) 2015-06-25 2021-10-26 엘지전자 주식회사 헤드셋 및 그 제어 방법
KR20170080387A (ko) * 2015-12-30 2017-07-10 주식회사 오르페오사운드웍스 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
US9997173B2 (en) * 2016-03-14 2018-06-12 Apple Inc. System and method for performing automatic gain control using an accelerometer in a headset
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228543A1 (en) * 2005-09-02 2010-09-09 Nortel Networks Limited Method and apparatus for extending the bandwidth of a speech signal
US20110293109A1 (en) * 2010-05-27 2011-12-01 Sony Ericsson Mobile Communications Ab Hands-Free Unit with Noise Tolerant Audio Sensor

Also Published As

Publication number Publication date
WO2020141824A2 (en) 2020-07-09
KR20200085030A (ko) 2020-07-14
WO2020141824A3 (en) 2020-08-13
US20200219525A1 (en) 2020-07-09
US11308977B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
KR102570480B1 (ko) 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
KR102565882B1 (ko) 복수의 마이크들을 포함하는 음향 출력 장치 및 복수의 마이크들을 이용한 음향 신호의 처리 방법
KR102607566B1 (ko) 음향 장치의 착용 감지 방법 및 이를 지원하는 음향 장치
CN108335703B (zh) 确定音频数据的重音位置的方法和装置
KR20210017229A (ko) 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
KR102475989B1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
KR102478393B1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
KR102374620B1 (ko) 음성 인식을 위한 전자 장치 및 시스템
KR102435697B1 (ko) 가스 센서가 장착된 구조물을 갖는 전자 장치
KR102512614B1 (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
US10795442B2 (en) Method of providing vibration and electronic device for supporting same
KR102565447B1 (ko) 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법
CN109065068B (zh) 音频处理方法、装置及存储介质
WO2022199405A1 (zh) 一种语音控制方法和装置
CN111081275B (zh) 基于声音分析的终端处理方法、装置、存储介质及终端
CN111048109A (zh) 声学特征的确定方法、装置、计算机设备及存储介质
KR102443637B1 (ko) 네트워크 연결 정보에 기반하여 잡음 제어 파라미터를 결정하는 전자 장치 및 그의 동작 방법
US20200260182A1 (en) Electronic device and method for detecting blocked state of microphone
KR20210001646A (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
KR102461608B1 (ko) 스피커에 포함된 진동판을 이용하여 하우징 내부 공간의 액체를 외부로 배출하는 전자 장치, 및 그 전자 장치의 제어 방법
CN113362836A (zh) 训练声码器方法、终端及存储介质
KR102435701B1 (ko) 가스 센서와 일체화된 이어폰 잭을 갖는 전자 장치
KR20210101644A (ko) 음질 개선 방법 및 이어 웨어러블 장치
KR20210101670A (ko) 음질 개선 방법 및 이를 이용한 전자 장치
CN108650584B (zh) 音频装置、信息处理***和声音处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant