KR20170035504A - 전자 장치 및 전자 장치의 오디오 처리 방법 - Google Patents

전자 장치 및 전자 장치의 오디오 처리 방법 Download PDF

Info

Publication number
KR20170035504A
KR20170035504A KR1020150134403A KR20150134403A KR20170035504A KR 20170035504 A KR20170035504 A KR 20170035504A KR 1020150134403 A KR1020150134403 A KR 1020150134403A KR 20150134403 A KR20150134403 A KR 20150134403A KR 20170035504 A KR20170035504 A KR 20170035504A
Authority
KR
South Korea
Prior art keywords
speaker
information
output
signal
sound source
Prior art date
Application number
KR1020150134403A
Other languages
English (en)
Inventor
김동완
송명석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150134403A priority Critical patent/KR20170035504A/ko
Priority to US15/215,741 priority patent/US20170084287A1/en
Priority to EP16848782.5A priority patent/EP3304548B1/en
Priority to CN201680054687.4A priority patent/CN108028982A/zh
Priority to PCT/KR2016/007980 priority patent/WO2017052056A1/en
Publication of KR20170035504A publication Critical patent/KR20170035504A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 적어도 하나의 스피커, 적어도 하나의 마이크, 마이크로부터 출력되는 오디오 신호를 처리하는 신호 처리부 및 스피커에 입력되는 스피커 신호를 분석하여 스피커의 출력에 대한 정보를 판단하고, 마이크로부터 출력되는 오디오 신호를 분석하여 마이크로 입력되는 음원에 대한 정보를 판단하며, 판단된 스피커의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 오디오 신호를 처리하도록 신호 처리부를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 전자 장치의 오디오 처리 방법{ELECTRONIC DEVICE AND METHOD OF AUDIO PROCESSING THEREOF}
본 발명은 전자 장치 및 전자 장치의 오디오 처리 방법에 관한 것으로, 보다 상세하게는, 마이크로부터 출력되는 오디오 신호를 처리하는 전자 장치 및 전자 장치의 오디오 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치들이 개발 및 보급되고 있다. 특히, 최근에는 통화, 화상회의, 음성인식 등의 음성신호를 처리하는 다양한 전자 장치 및 인프라가 상용화되어 있다.
이때, 원활한 통화 및 음성 인식을 위해서 효과적인 오디오 처리 시스템이 요구된다. 이를 위해, 오디오 처리 시스템은 일반적으로 마이크에서 출력되는 오디오 신호에 잡음 제거 등 각종 필요한 처리를 수행하게 된다.
이때, 종래의 오디오 처리 시스템은 그 성능을 좌우하는 각종 파라미터 값들을 초기 설정 후 고정 처리를 하게 된다. 예를 들어, 음성 인식 시스템을 구비한 전자 장치의 경우, 초기 설정 시 주위의 음향 환경을 분석하거나 일정 주기마다 특정 필터 값들을 초기화함에 그친다.
이 경우, 변화하는 주위 음향 환경이 오디오 처리 시스템의 동작에 반영하지 못하므로, 특정 음향 환경에서는 오디오 처리 시스템의 성능 열화가 발생하게 된다.
따라서, 전자 장치 주위에 변화하는 음향 환경을 반영하여 효과적으로 오디오 신호를 처리할 수 있는 기술에 대한 필요성이 대두된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 전자 장치 및 전자 장치 주위의 음향 환경에 따라 동적으로 오디오 신호를 처리하는 전자 장치 및 전자 장치의 오디오 신호 처리 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는 적어도 하나의 스피커, 적어도 하나의 마이크, 상기 마이크로부터 출력되는 오디오 신호를 처리하는 신호 처리부 및 상기 스피커에 입력되는 스피커 신호를 분석하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 오디오 신호를 분석하여 상기 마이크로 입력되는 음원에 대한 정보를 판단하며, 상기 판단된 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보 중 적어도 하나에 따라 상기 오디오 신호를 처리하도록 상기 신호 처리부를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 스피커 신호 각각에 대해 산출한 에너지 값에 기초하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 각 오디오 신호의 위상차를 이용하여 상기 음원에 대한 정보를 판단할 수 있다.
또한, 상기 신호 처리부는, 상기 마이크로부터 출력되는 오디오 신호에서 상기 스피커의 출력으로 인한 에코 신호를 제거하는 에코 신호 제거부를 포함하고, 상기 프로세서는, 상기 스피커의 출력에 대한 정보에 따라 상기 에코 신호의 제거 세기를 변경하도록 상기 에코 신호 제거부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 스피커의 출력이 기설정된 레벨 미만인 경우, 상기 에코 신호 제거를 수행하지 않도록 상기 에코 신호 제거부를 제어할 수 있다.
또한, 상기 신호 처리부는, 상기 마이크로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔포밍 중 적어도 하나를 수행하는 잡음 제거부를 포함하고, 상기 프로세서는, 상기 음원에 대한 정보에 따라 상기 소음 제거의 세기 및 빔포밍 방향 중 적어도 하나를 변경하도록 상기 잡음 제거부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 음원의 개수가 하나인 경우, 상기 잡음 제거를 수행하지 않도록 상기 잡음 제거부를 제어할 수 있다.
또한, 상기 신호 처리부는, 상기 마이크로부터 출력되는 오디오 신호를 증폭하는 신호 증폭부를 포함하고, 상기 프로세서는, 상기 음원까지의 거리에 따라 상기 오디오 신호의 증폭 정도를 변경하도록 상기 신호 증폭부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 스피커에 입력되는 스피커 신호 및 상기 마이크로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 상기 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보를 판단할 수 있다.
또한, 상기 스피커의 출력에 대한 정보는, 상기 적어도 하나의 스피커의 출력 유무 정보, 채널 개수 정보, 볼륨 정보 및 상기 스피커와 상기 마이크의 전달함수의 선형성 정보 중 적어도 하나를 포함하고, 상기 음원에 대한 정보는, 상기 음원의 개수 정보, 방향 정보 및 상기 음원까지의 거리 정보 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 적어도 하나의 스피커 및 적어도 하나의 마이크를 구비한 전자 장치의 오디오 처리 방법은 상기 스피커에 입력되는 스피커 신호를 분석하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 오디오 신호를 분석하여 상기 마이크로 입력되는 음원에 대한 정보를 판단하는 단계 및 상기 판단된 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보 중 적어도 하나에 따라 상기 마이크로부터 출력되는 오디오 신호를 처리하는 단계를 포함한다.
또한, 상기 판단하는 단계는, 상기 스피커 신호 각각에 대한 에너지에 기초하여 상기 스피커의 출력에 대한 정보를 판단하는 단계 및 상기 마이크로부터 출력되는 각 오디오 신호의 위상차를 이용하여 상기 음원에 대한 정보를 판단하는 단계를 포함할 수 있다.
또한, 상기 처리하는 단계는, 상기 마이크로부터 출력되는 오디오 신호에서 상기 스피커의 출력으로 인한 에코 신호를 제거하는 에코 신호 제거 단계를 포함하고, 상기 에코 신호 제거 단계는, 상기 스피커의 출력에 대한 정보에 따라 상기 에코 신호의 제거 세기를 변경하는 단계를 포함할 수 있다.
또한, 상기 변경하는 단계는, 상기 스피커의 출력이 기설정된 레벨 미만인 경우, 상기 에코 신호 제거를 수행하지 않도록 변경할 수 있다.
또한, 상기 처리하는 단계는, 상기 마이크로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔포밍 중 적어도 하나를 수행하는 잡음 제거 단계를 포함하고, 상기 잡음 제거 단계는, 상기 음원에 대한 정보에 따라 상기 소음 제거의 세기 및 빔포밍 방향 중 적어도 하나를 변경하는 단계를 포함할 수 있다.
또한, 상기 변경하는 단계는, 상기 음원의 개수가 하나인 경우, 상기 잡음 제거를 수행하지 않도록 변경할 수 있다.
또한, 상기 처리하는 단계는, 상기 마이크로부터 출력되는 오디오 신호를 증폭하는 단계를 포함하고, 상기 증폭하는 단계는, 상기 음원에 대한 정보에 따라 상기 오디오 신호의 증폭 정도를 변경하는 단계를 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 스피커에 입력되는 스피커 신호 및 상기 마이크로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 상기 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보를 판단할 수 있다.
또한, 상기 스피커의 출력에 대한 정보는, 상기 적어도 하나의 스피커의 출력 유무 정보, 채널 개수 정보, 볼륨 정보 및 상기 스피커와 상기 마이크의 전달함수의 선형성 정보 중 적어도 하나를 포함하고, 상기 음원에 대한 정보는, 상기 음원의 개수 정보, 방향 정보 및 상기 음원까지의 거리 정보 중 적어도 하나를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예들에 따르면, 전자 장치 및 전자 장치 주위의 음향 환경에 따라 동적으로 오디오 신호를 처리할 수 있다. 이에 따라, 보다 효과적인 음성 처리가 가능해 진다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 보다 자세한 구성을 나타내는 상세 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 오디오 처리 방법을 나타내는 흐름도이다.
도 5는 본 발명의 다른 일 실시 예에 따른 전자 장치의 오디오 처리 방법을 나타내는 흐름도이다.
본 발명을 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명한다. 도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 전자 장치(100)는 적어도 하나의 마이크(110), 적어도 하나의 스피커(120), 신호 처리부(130) 및 프로세서(140)를 포함한다.
이때, 전자 장치(100)는 TV, 휴대폰, PDA, 사운드 바, 전자 액자, 전자 칠판, 전자 테이블, LFD(Large Format Display), 테이블 디스플레이, 데스크 탑 PC, 노트북, 셋탑 박스, 스마트 가전 기기, 멀티 채널 스피커 등으로 구현될 수 있으나, 이에 한정되는 것은 아니며, 적어도 하나의 마이크(110) 및 적어도 하나의 스피커(120)를 구비하여 마이크(110)로부터 출력되는 오디오 신호가 필요한 모든 시스템이 본 발명에 따른 전자 장치(100)가 될 수 있다.
마이크(110)는 외부의 소리를 전기적인 오디오 신호로 변환하여 출력한다. 이때, 마이크(110)는 도 1에 도시된 마이크 1(110-1), 마이크 2(110-2), 마이크 N(110-N)과 같이 적어도 하나일 수 있으며, 각 마이크는 전자 장치(100) 외부의 적어도 하나의 음원으로부터 발생되는 소리를 각각 수신하여 오디오 신호로 변환하고, 변환된 오디오 신호를 신호 처리부(110) 및 프로세서(140)로 출력할 수 있다.
스피커(120)는 전기적인 스피커 신호를 소리로 변환하여 출력한다. 이때, 스피커(120)는 도 1에 도시된 스피커 1(120-1), 스피커 2(120-2), 스피커 M(120-M)과 같이 적어도 하나일 수 있으며, 적어도 하나의 스피커(120)는 각각에 대응되는 스피커 신호를 수신하여 전자 장치(100)의 외부로 출력할 수 있다.
한편, 스피커 1(120-1) 내지 스피커 M(120-M)은 M 개의 스피커 채널에 대응되는 각각의 스피커(120)일 수 있으나, 이에 한정되는 것은 아니다.
신호 처리부(130)는 마이크(100)로부터 출력되는 오디오 신호를 처리한다. 구체적으로, 신호 처리부(130)는 마이크(100)로부터 출력되는 오디오 신호 및 스피커(120)에 입력되는 스피커 신호를 수신하여 각종 신호 처리를 수행할 수 있다.
예를 들어, 신호 처리부(130)는 전자 장치(100)의 스피커(120) 출력이 마이크(110)로 유입된 에코 신호를 제거하는 '에코 제거'(Acoustic Echo Cancellation), 외부의 복수의 음원 중 주화자의 발성 외 간섭 신호를 제거하는 '잡음 제거'(Beam-forming and Noise Cancellation) 및 오디오 신호를 증폭하는 신호 증폭 등의 처리를 수행할 수 있다.
특히, 신호 처리부(130)는 후술할 바와 같이, 프로세서(140)의 제어를 받아 오디오 신호에 대한 처리를 변경할 수 있다.
이와 같이, 신호 처리부(130)에서 처리된 오디오 신호는 전자 장치(100)의 내부 또는 외부의 음성 인식 시스템으로 전달되어 음성 인식에 이용되거나 통화 상대방에게 전달될 수 있다.
프로세서(140)는 스피커(120)에 입력되는 스피커 신호를 분석하여 스피커(120)의 출력에 대한 정보를 판단하고, 마이크(110)로부터 출력되는 오디오 신호를 분석하여 마이크(110)로 입력되는 음원에 대한 정보를 판단할 수 있다.
구체적으로, 프로세서(140)는 스피커 신호 각각에 대해 에너지 값을 산출하고, 산출된 각 에너지 값을 이용하여 스피커(120)의 출력에 대한 정보를 판단할 수 있다. 또한, 프로세서(140)는 마이크(110)로부터 출력되는 각 오디오 신호의 위상차를 이용하여 음원에 대한 정보를 판단할 수 있다.
이때, 프로세서(140)는 스피커(120)에 입력되는 스피커 신호를 매 프레임 마다 분석하여 스피커(120)의 출력에 대한 정보를 판단할 수 있고, 마이크(100)로부터 출력되는 오디오 신호를 매 프레임 마다 분석하여 음원에 대한 정보를 판단할 수 있다. 그러나, 이에 한정되는 것은 아니며, 가령, 프로세서(140)는 스피커(120)에 입력되는 스피커 신호 및 마이크(110)로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 스피커(120)의 출력에 대한 정보 및 음원에 대한 정보를 판단할 수도 있다.
여기서, 스피커(120)의 출력에 대한 정보는 적어도 하나의 스피커(120) 각각의 출력 유무 정보, 스피커(120)의 채널 개수 정보, 각 스피커(120)의 볼륨 정보, 스피커(120)와 마이크(110) 간의 전달함수의 선형성 정보 등일 수 있으나, 이에 한정되는 것은 아니다.
또한, 음원에 대한 정보는 전자 장치(100) 외부의 음원의 개수(구성 수) 정보, 전자 장치(100)의 위치를 기준으로 한 음원의 방향 정보 또는 각도 정보, 음원의 움직임 정보, 음원까지의 거리 정보 등일 수 있으나, 이에 한정되는 것은 아니다.
특히, 프로세서(140)는 위와 같이 판단된 스피커(120)의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 오디오 신호를 처리하도록 오디오 신호 처리부(130)를 제어할 수 있다.
구체적으로, 프로세서(140)는 스피커(120)의 출력에 대한 정보에 따라 오디오 신호에 포함된 에코 신호의 제거 세기를 변경하도록 신호 처리부(130)를 제어하거나, 음원에 대한 정보에 따라 소음 제거의 세기, 빔포밍 정도, 빔포밍 방향, 오디오 신호의 증폭 정도를 변경하도록 신호 처리부(130)를 제어할 수 있다.
이때, 프로세서(140)가 신호 처리부(130)를 제어한다는 것은, 신호 처리부(130)가 프로세서(140)에서 판단된 스피커(120)의 출력에 대한 정보 및 음원에 대한 정보에 따라 오디오 신호를 처리하도록 하는 모든 수단을 의미한다.
즉, 예를 들어, 프로세서(140)가 스피커(120)의 출력에 대한 정보나 음원에 대한 정보만을 신호 처리부(130)로 제공하고, 신호 처리부(130)가 제공된 정보에 따라 처리 로직을 변경(예를 들어, 필터 밴드 수 변경)하거나 사용되는 파라미터 값들(예를 들어, 에코 신호 제거 세기, 잡음 제거 세기, 신호 증폭 정도)을 변경할 수도 있고, 실시 예에 따라, 프로세서(140)가 스피커(120)의 출력에 대한 정보나 음원에 대한 정보에 따라 직접 신호 처리부(130)에서 사용되는 파라미터 값들을 산출하여 신호 처리부(130)에 적용하거나 직접 신호 처리부(130)의 처리 로직을 변경하는 것도 가능할 것이다. 그러나, 이에 한정되지 않는다.
이하에서, 도 2를 통해 본 발명에 따른 전자 장치의 동작을 보다 자세히 설명한다. 도 2를 설명함에 있어, 도 1을 통해 전술한 것과 중복되는 것은 설명을 생략한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 보다 자세한 구성을 나타내는 상세 블럭도이다. 도 2에 따르면 전자 장치(100')는 마이크 1(110-1), 마이크 2(110-2), 스피커 1(120-1), 신호 처리부(130) 및 프로세서(140)를 포함한다.
신호 처리부(130)는 에코 제거부(131), 잡음 제거부(132) 및 신호 증폭부(133)를 포함하며, 마이크(110-1, 110-2)로부터 출력되는 오디오 신호에 대해 에코 신호 제거, 잡음 제거 및 신호 증폭 등과 같은 각종 처리를 수행할 수 있다. 이를 위해, 신호 처리부(130)의 각 구성들(131, 132, 133)은 각종 필터나 증폭기 등을 포함할 수 있다.
이때, 마이크(110-1, 110-2)로는, 도 2 에 도시된 바와 같이, 처리의 목표가 되는 주 화자(10)의 음성뿐만 아니라 처리 과정에서 감쇄 또는 제거되어야 할 간섭 화자(20)의 음성이나 스피커(120-1, 120-2)에서 출력되는 소리가 마이크(110-1, 110-2)로 유입될 수 있으며, 마이크(110-1, 110-2)는 이와 같이 입력되는 모든 소리를 오디오 신호로 변환하여 신호 처리부(130)로 출력하며, 신호 처리부(130)는 이와 같은 오디오 신호에 대해 각종 처리를 수행할 수 있다.
에코 제거부(131)는 마이크(110-1, 110-2)로부터 출력되는 오디오 신호에서 스피커(120-1, 120-2)의 출력이 마이크(110-1, 110-2)로 유입되어 발생되는 에코 신호를 제거할 수 있다.
구체적으로, 에코 제거부(130)는 스피커(120-1, 120-2)에 입력되는 스피커 신호를 수신하고, 수신된 스피커 신호(도 2의 예에서는 스피커 신호 1 및 스피커 신호 2)를 이용하여 에코 신호를 제거할 수 있다. 에코 제거부(130)가 스피커 신호에 입력되는 스피커 신호를 이용하여 오디오 신호에서 에코 신호를 제거하는 구체적인 내용은 본 발명의 요지와 무관하므로 구체적인 설명은 생략한다.
특히, 에코 제거부(131)는 후술할 바와 같이 프로세서(140)의 제어를 받아 에코 신호 제거 세기 등과 같은 처리 파라미터 값을 실시간으로 변경하고, 변경된 파라미터 값에 따라 에코 신호 제거를 수행할 수 있다.
잡음 제거부(132)는 마이크(110-1, 110-2)로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔 포밍 중 적어도 하나의 처리를 수행한다.
이때, 소음 제거는 오디오 신호에서 화자(10, 20)의 음성이 아닌 마이크(110-1, 110-2) 주변의 소음이나 회로 노이즈 등을 제거하기 위한 처리이며, 빔 포밍은 간섭 화자(20)의 음성을 제거하고 주 화자(10)의 음성을 강조하기 위한 처리일 수 있다.
이를 위해, 잡음 제거부(132)는 오디오 신호에서 음성과 비음성을 분리하는 음성 분리 기술이나 특정 화자의 음성에 대응되는 오디오 신호를 강조하는 빔 포밍 기술을 통해 소음 제거 및 빔 포밍 처리를 수행할 수 있다.
특히, 잡음 제거부(132)는 후술할 바와 같이 프로세서(140)의 제어를 받아 잡음 제거의 세기 등과 같은 처리 파라미터 값을 실시간으로 변경하고, 변경된 파라미터 값에 따라 잡음 제거를 수행할 수 있다.
신호 증폭부(133)는 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 증폭한다. 구체적으로, 신호 증폭부(133)는 에코 신호 처리부(131)나 잡음 제거부(132)에서 처리된 신호를 증폭할 수 있으나, 이에 한정되는 것은 아니다.
특히, 신호 증폭부(133)는 후술할 바와 같이 프로세서(140)의 제어를 받아 증폭 정도 등과 같은 처리 파라미터 값을 실시간으로 변경하고, 변경된 파라미터 값에 따라 입력된 신호를 증폭할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 마이크(110-1, 110-2)로부터 출력되는 오디오 신호는 먼저 에코 제거 처리가 수행되고, 에코 신호가 제거된 신호에 대해 잡음 제거 처리가 수행되며, 잡음 제거 처리가 수행된 신호가 증폭되는 순서로 처리될 수 있다. 그러나, 마이크(110-1, 110-2)로부터 출력되는 오디오 신호가 신호 처리부(130)에서 처리되는 순서가 이에 한정되는 것은 아니다.
프로세서(140)는 스피커(120-1, 120-2)에 입력되는 스피커 신호를 분석하여 스피커(120-1, 120-2)의 출력에 대한 정보를 판단하고, 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 분석하여 마이크(110-1, 110-2)로 입력되는 음원에 대한 정보를 판단할 수 있다.
구체적으로, 프로세서(140)는 도 2에 도시된 바와 같이 스피커 1(120-1)에 입력되는 스피커 신호 1 및 스피커 2(120-2)에 입력되는 스피커 신호 2 각각에 대해 기설정된 프레임 단위로 에너지 값을 산출하고, 산출된 에너지 값에 기초하여 스피커(120-1, 120-2)의 출력에 대한 정보를 판단할 수 있다.
예를 들어, 프로세서(140)는 기설정된 시간 동안의 스피커 신호의 평균 에너지가 0 인지 여부를 판단하여 각 스피커(120-1, 120-2)의 출력 유무 정보를 판단할 수 있다. 즉, 프로세서(140)는 스피커 신호 1 및 스피커 신호 2 각각에 대해 매 프레임마다 에너지 값을 산출하고, 기설정된 개수의 프레임에 대한 평균 에너지 값을 산출하여 기설정된 시간 동안의 스피커 신호의 평균 에너지 값을 산출할 수 있다. 이와 같이 산출된 평균 에너지 값이 0 인 경우, 해당 스피커는 그 출력이 없는 것으로 판단할 수 있다. 그러나, 실시 예가 이에 한정되는 것은 아니다. 가령, 산출된 평균 에너지 값이 기설정된 값 미만인 경우에 해당 스피커의 출력은 없는 것으로 판단할 수도 있을 것이다.
또한, 프로세서(140)는 스피커(120)의 채널 개수 정보를 판단할 수 있다. 구체적으로, 채널의 개수는 출력되는 스피커의 개수와 관련되므로, 예를 들어, 처음에는 스피커 1(120-1) 및 스피커 2(120-2)의 출력이 모두 존재하다가 어떤 시간에 스피커 2(120-2)의 출력이 없는 것으로 판단되면, 2 채널에서 1 채널로 채널 개수가 변경되었다고 판단할 수 있다. 이와 같이, 프로세서(140)는 스피커(120)의 채널 개수에 관한 정보를 실시간으로 판단할 수 있다.
또한, 프로세서(140)는 적어도 하나의 스피커(120)의 볼륨 정보를 판단할 수 있다. 여기서, 볼륨 정보는 각 스피커(120-1, 120-2)의 출력 크기에 관한 정보를 의미한다. 구체적으로, 프로세서(140)는 매 프레임마다 산출되는 각 스피커(120-1, 120-2)의 에너지 값의 크기를 통해 각 스피커(120-1, 120-2)의 볼륨 정보를 실시간으로 판단할 수 있다.
또한, 프로세서(140)는 스피커(120)와 마이크(110)의 전달함수의 선형성 정보를 판단할 수 있다. 여기서, 스피커(120)와 마이크(110)의 전달함수는 스피커(120)의 출력 크기에 따른 마이크(110)로 유입되는 에코 신호의 크기의 비를 의미한다. 일반적으로, 이러한 전달함수는 스피커(120)의 출력 크기가 낮을 때는 선형성을 갖다가 출력 크기가 일정 크기를 넘어서면 비선형적인 특징이 발생 된다. 따라서, 프로세서(140)는 매 프레임마다 산출되는 각 스피커(120-1, 120-2)의 에너지 값이 기설정된 값 이상이 되는지를 판단하여 스피커(120)와 마이크(110)의 전달함수의 선형성 정보를 판단할 수 있다.
또한, 프로세서(140)는 마이크(110-1, 110-2)로부터 출력되는 각 오디오 신호의 위상차를 이용하여 마이크(110-1, 110-2)로 입력되는 소리의 음원에 대한 정보를 판단할 수 있다.
예를 들어, 외부의 음원으로 주 화자(10), 간섭 화자(20) 및 차량 소음(미도시)이 있다고 가정하면, 각 음원에서 발생되는 소리는 각 마이크(110-1, 110-2)로 경로를 달리하여 유입된다. 이에 따라, 프로세서(140)는 각 마이크(110-1, 110-2)로부터 출력되는 오디오 신호 간의 위상 차이를 산출하고, 산출된 위상 차이 값을 이용하여 각 음원의 각도 정보, 방향 정보, 음원의 구성 수에 관한 정보, 음원의 움직임 정보 등을 판단할 수 있다. 프로세서(140)가 오디오 신호의 위상차를 이용하여 상술한 음원에 대한 정보를 판단하는 구체적인 내용 및 복수의 음성 음원 중 주 화자(10)를 판단하는 내용 등은 본 발명의 요지와 무관하므로, 더 자세한 설명은 생략한다.
또한, 프로세서(140)는 복수의 음원 중 음성 및 비음성 음원의 구성 수를 판단할 수 있다. 예를 들어, 프로세서(140)는 음성 검출 모듈을 이용하여, 상술한 예에서 음성 음원이 2개(주 화자(10) 및 간섭 화자(20))이고, 비음성 음원이 1개(차량 소음)인 것을 판단할 수도 있다.
한편, 프로세서(140)는 상술한 바와 같이 오디오 신호 간의 위상 차를 이용하여 각 음원이 구분되면, 구분된 각 음원에 대응되는 오디오 신호의 에너지 크기를 산출하고, 산출된 에너지 크기에 기초하여 각 음원까지의 거리를 판단할 수도 있다.
이때, 프로세서(140)가 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 기설정된 프레임 단위로 분석하여 상술한 음원에 대한 정보를 판단할 수 있음은 물론이다. 예를 들어, 프로세서(140)는 매 프레임마다 상술한 음원에 대한 정보를 판단할 수 있다.
프로세서(140)는 위와 같이 판단된 스피커(120-1, 120-2)의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 처리하도록 신호 처리부(130)를 제어할 수 있다.
구체적으로, 프로세서(140)는 스피커(120-1, 120-2)의 출력에 대한 정보에 따라 에코 신호의 제거 세기를 변경하도록 에코 신호 제거부(131)를 제어할 수 있다.
예를 들어, 프로세서(140)는 스피커(120-1, 120-2)의 출력이 기설정된 레벨 미만인 경우, 에코 신호 제거를 수행하지 않도록 에코 신호 제거부(131)를 제어할 수 있다. 즉, 상술한 바와 같이 스피커 신호 1 및 스피커 신호 2에 대해 산출된 평균 에너지가 모두 0 또는 모두 기설정된 레벨 미만이라면, 스피커(120-1, 120-2)의 출력이 모두 없는 것으로 판단될 수 있으므로, 프로세서(140)는 스피커(120-1, 120-2)의 출력이 없는 것으로 판단된 경우, 에코 신호 제거를 수행하지 않도록 에코 신호 제거부(131)를 제어할 수 있다. 이는 스피커(120-1, 120-2)의 출력이 없거나 특정 레벨 미만인 경우, 에코 신호 제거 처리를 수행하지 않는 것이 주 화자(10)의 음성에 대응되는 오디오 신호를 덜 왜곡시키기 때문이다.
또한, 프로세서(140)는 채널 개수 정보에 따라 에코 신호 제거 세기를 변경하도록 에코 제거부(131)를 제어할 수 있다. 예를 들어, 프로세서(140)는 채널 개수가 많을수록 에코 신호 제거 세기를 높일 수 있다. 이는 채널 개수가 많을수록 스피커(120-1, 120-2)에서 마이크(110-1, 110-2)로 유입되는 에코 신호가 많아지기 때문이다.
또한, 프로세서(140)는 볼륨 정보에 따라 에코 신호 제거 세기를 변경하도록 에코 제거부(131)를 제어할 수 있다. 예를 들어, 프로세서(140)는 볼륨 레벨이 높아질수록 에코 신호 제거 세기를 높일 수 있다. 볼륨 정보는 스피커(120-1, 120-2)의 출력 크기를 나타내므로, 볼륨 레벨이 높을수록 스피커(120-1, 120-2)의 출력 크기가 커지므로, 스피커(120-1, 120-2)에서 마이크(110-1, 110-2)로 유입되는 에코 신호가 많아지기 때문이다.
또한, 프로세서(140)는 스피커(120-1, 120-2)와 마이크(110-1, 110-2)의 전달함수의 선형성 정보에 따라 에코 신호 제거 세기를 변경하도록 에코 제거부(131)를 제어할 수 있다. 예를 들어, 프로세서(140)는 전달함수의 선형성 정도가 낮아질수록 에코 신호 제거 세기를 높일 수 있다. 이는 스피커(120-1, 120-2)의 출력이 클수록 선형성 정도가 낮아지고, 스피커(120-1, 120-2)에서 마이크(110-1, 110-2)로 유입되는 에코 신호가 많아지기 때문이다.
반대로, 채널 개수가 적을수록, 볼륨 레벨이 낮을수록 또는 전달함수가 선형적일수록 프로세서(140)는 에코 제거부(131)를 제어하여 에코 신호 제거 세기를 낮출 수 있다.
이때, 에코 제거부(131)는 프로세서(140)의 제어에 따라 필터 밴드 수를 변경하는 등 신호 처리 로직을 변경하거나, 제거 세기 파라미터 값을 변경하여 에코신호 제거 세기를 변경할 수 있다.
한편, 프로세서(140)는 음원에 대한 정보에 따라 소음 제거의 세기나 빔 포밍 방향을 변경하도록 잡음 제거부(132)를 제어할 수 있다.
예를 들어, 프로세서(140)는 음원의 개수가 하나인 경우, 잡음 제거를 수행하지 않도록 잡음 제거부(132)를 제어할 수 있다. 즉, 외부의 음원으로 주 화자(10), 간섭 화자(20) 및 차량 소음(미도시)과 같이 3개의 음원이 존재하다가 음원이 주 화자(10) 하나로 변경되면, 더이상 분리할 음원이나 제거할 음원이 없으므로, 프로세서(140)는 잡음 제거를 수행하지 않도록 잡음 제거부(132)를 제어할 수 있다.
또한, 프로세서(140)는 복수의 음원 중 음성 및 비음성 음원의 구성 수에서 비 음성의 구성 수가 감소하는 경우, 소음 제거 세기를 낮추도록 잡음 제거부(132)를 제어할 수 있다. 음성 인식이나 전화 통화시 비음성은 소음에 해당되므로, 프로세서(140)는 소음이 줄어드는 것에 맞게 소음 제거 세기를 낮추도록 잡음 제거부(132)를 제어할 수 있다.
또한, 프로세서(140)는 각 음원에 대한 각도 정보 또는 방향 정보에 따라 빔 포밍 방향을 변경하도록 잡음 제거부(132)를 제어할 수도 있다. 예를 들어, 주 화자(10)에게 빔 포밍이된 상태에서 주 화자(10)의 위치에 이동이 있는 경우, 프로세서(140)는 이동된 주 화자의 위치에 맞게 빔 포밍을 수행하도록 빔 포밍의 방향을 변경하도록 잡음 제거부(132)를 제어할 수 있다.
한편, 프로세서(140)는 음원까지의 거리에 따라 오디오 신호의 증폭 정도를 변경하도록 신호 증폭부(133)를 제어할 수 있다. 예를 들어, 프로세서(140)는 전자 장치(100, 100') 또는 마이크(110-1, 110-2)로부터 주 화자(10)까지의 거리가 가까워지는 경우 오디오 신호의 증폭 정도를 감소시키도록 신호 증폭부(130)를 제어하고, 거리가 멀어지는 경우 증폭 정도를 증가시키도록 신호 증폭부(130)를 제어할 수 있다.
한편, 프로세서(140)는 적어도 하나의 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 집음하여 프레임 단위의 디지털 신호로 변환하고, 변환된 프레임 단위 오디오 신호를 분석할 수 있다. 실시 예에 따라, 전자 장치(100, 100')는 마이크(110-1, 110-2)로부터 출력되는 각 오디오 신호를 집음하여 프레임 단위 신호로 변환하여 프로세서(140)로 제공하는 별도의 집음부(미도시)를 구비할 수도 있다.
따라서, 프로세서(140)는 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 음원에 대한 정보를 판단할 수 있다.
또한, 프로세서(140)는 스피커(120-1, 120-2)에 입력되는 스피커 신호(스피커 신호 1 및 스피커 신호 2) 역시 프레임 단위로 처리할 수 있으므로, 스피커(120-1, 120-2)에 입력되는 스피커 신호를 기설정된 개수의 프레임 단위로 분석하여 스피커(120-1, 120-2)의 출력에 대한 정보를 판단할 수 있다.
한편, 도 2의 예에서는 신호 처리부(130)가 에코 제거부(131), 잡음 제거부(132) 및 신호 증폭부(133)를 모두 포함하는 것을 예로 들었으나, 신호 처리부(130)의 구성이 이에 한정되는 것은 아니며, 실시 예에 따라 에코 제거부(131), 잡음 제거부(132) 및 신호 증폭부(133) 중 적어도 하나의 구성이 신호 처리부(130)에 포함될 수 있음은 물론이다.
한편, 이상에서는 스피커(120-1, 120-2)의 출력에 대한 정보 및 음원에 대한 정보를 신호 처리부(130)와 별도의 프로세서(140)에서 판단하는 것을 예로 들었으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니다. 즉, 신호 처리부(130)의 각 구성(131, 132, 133)에서 스피커(120-1, 120-2)의 출력에 대한 정보 및 음원에 대한 정보를 판단하고, 판단된 정보에 따라 신호 처리를 변경하는 실시 예도 가능할 것이다.
예를 들어, 에코 제거부(131)가 스피커 신호 및 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 분석하여 스피커(120-1, 120-2)의 출력에 대한 정보를 판단하고, 그에 따라 에코 신호의 제거 세기를 변경할 수도 있고, 잡음 제거부(132)나 신호 증폭부(133)가 마이크(110-1, 110-2)로부터 출력되는 오디오 신호를 분석하여 음원에 대한 정보를 판단하고, 그에 따라 잡음 제거의 세기를 변경하거나 신호 증폭의 정도를 변경하는 것도 가능할 것이다.
그러나, 신호 처리부(130)의 각 구성에서 스피커 신호 및 오디오 신호를 분석하여 정보를 판단하고, 그에 따라 신호 처리를 변경하는 실시 예보다는 별도의 프로세서(140)를 이용하는 것이, 오동작이 발생하는 경우 디버깅이 쉽고, 더 안정적인 시스템이 될 것이다.
한편, 도 1 및 도 2의 예를 통해서는 전자 장치(100, 100')가 하나의 장치로 구현된 것을 예로 들었지만, 반드시 이에 한정되는 것은 아니며, 전자 장치(100, 100')의 각 구성이 별개로 동작하고, 각 구성이 유/무선으로 통신 연결된 전체 시스템 역시 본 발명 일 실시 예에 따른 전자 장치(100, 100')에 포함될 수 있음은 물론이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 예시도이다. 구체적으로, 도 3a에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 전자 장치(100, 100')는 TV와 같은 디스플레이 장치에 구현될 수 있다. 이때, TV는 2개의 마이크(110-1, 110-2) 및 2개의 스피커(120-1, 120-2)를 포함하며, 음성 인식 시스템이나 음성/화상 통화 시스템을 구비할 수 있다.
이때, 예를 들어, TV에서 컨텐츠를 재생하는 중에 사용자가 음성 인식을 통해 TV를 조작하는 경우, 프로세서(미도시)는 스피커(120-1, 120-2)에 입력되는 각 스피커 신호와 마이크(110-1, 110-2)를 통해 입력된 사용자의 발성, 스피커(120-1, 120-2)의 출력, 각종 잡음 등 복수 음원에 대응되는 오디오 신호를 분석하여 스피커(120-1, 120-2)의 출력에 대한 정보 및 음원에 대한 정보를 판단하고, 판단된 정보에 따라 오디오 신호를 처리하도록 신호 처리부(130)를 제어할 수 있다.
이에 따라, 주위의 음향 환경에 따라 동적으로 오디오 신호를 처리함으로써, 음성 인식의 정확도를 높일 수 있게 된다. 뿐만 아니라, 사용자가 TV를 통해 음성 또는 화상 통화를 하는 경우에도 마이크(110--1, 110-2)로 입력되는 사용자의 음성을 보다 정확하게 상대방에게 전달할 수 있게 된다.
한편, 도 3b는 본 발명의 다른 일 실시 예에 따른 전자 장치(100, 100')의 구현 예를 나타낸다. 도 3b의 예에서 전자 장치(100, 100')는 내부에 적어도 하나의 스피커(120-3) 및 복수의 마이크(110-3, 110-4, 110-5, 110-6)를 구비하고 있다. 또한, 도 3b의 전자 장치(100, 100')는 블루투스 등의 방식으로 외부 장치와 무선으로 연결되어, 오디오 컨텐츠를 재생하거나 외부 장치를 통해 상대방과 음성 통화를 할 수도 있으며, 사용자가 조작 명령을 발화하여 외부 장치를 음성으로 제어할 수도 있다.
이러한 스피커 시스템의 경우에도 주위의 음향 환경에 따라 동적으로 오디오 신호를 처리함으로써, 효과적인 음성 처리가 가능한 본 발명의 기술적 사상은 그대로 적용될 수 있으며, 이에 따라, 보다 정확한 외부 장치 조작이나 통화 상대방과의 통신이 가능해 진다.
도 3c는 하나의 마이크(110-7) 및 하나의 스피커(120-4)를 포함하는 전자 장치(100, 100')의 일 예로서 휴대폰을 나타내는 도면이다. 이와 같이, 하나의 마이크(110-7) 및 하나의 스피커(120-4)를 포함하는 시스템의 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
구체적으로, 하나의 마이크(110-7)만을 포함하는 경우라도, 프로세서(140)는 마이크(110-7)를 통해 입력되는 외부 음원의 에너지 크기를 통해 음원까지의 거리를 판단할 수 있으므로, 판단된 음원까지의 거리에 따라 오디오 신호 증폭 정도를 변경하도록 신호 증폭부(133)를 제어할 수 있다.
또한, 하나의 스피커(120-4)만을 포함하는 경우라도, 프로세서(140)는 스피커(120-4)로 입력되는 스피커 신호를 분석하여 스피커(120-4)의 출력 유무, 채널이 하나라는 정보, 볼륨 정보 및 스피커(120-4)와 마이크(110-7) 사이의 전달함수의 선형성 정보 중 적어도 하나를 판단할 수 있으므로, 프로세서(140)는 이와 같이 판단된 스피커(120-4)의 출력에 대한 정보에 따라 에코 제거부(131) 및 잡음 제거부(132)의 동작을 제어할 수 있다. 이와 같이 오디오 신호를 처리함으로써, 통화 상대방에게 보다 좋은 음질의 사용자 음성을 전달할 수 있게 된다.
한편, 본 발명이 적용될 수 있는 전자 장치의 종류에는 제한이 없으며, 적어도 하나의 마이크와 적어도 하나의 스피커를 구비한 오디오 처리 시스템 어디라도 적용될 수 있다.
도 3d는 본 발명의 일 실시 예에 따라 하나의 마이크(110)와 복수의 스피커(120)를 포함하는 AV시스템(100, 100')을 도시한 예시도이다. 예를 들어, 사용자가 하나의 마이크(110-8)를 구비한 모니터 일체형 PC(10) 에 2 개의 스피커(120-5, 120-6)를 연결하여 사용할 수 있다. 이 경우, 신호 처리부(130) 및 프로세서(140)는 PC(10)에 포함될 수 있으나, 이에 한정되지는 않는다.
이때, 사용자는 2 개의 스피커(120-5, 120-6)로 스테레오 음악을 감상하면서, PC(10)를 통해 통화 상대방과 화상 통화를 하거나 음성을 통해 PC(10)를 제어하는 상황이 있을 수 있다.
이러한 경우에도, 상술한 본 발명의 다양한 예들에 따르면, 프로세서(140)는 스피커(120-5, 120-6)에 입력되는 스피커 신호를 분석하여 스피커(120-5, 120-6)의 출력에 대한 정보를 판단하고, 마이크(110-8)로부터 출력되는 오디오 신호를 분석하여 마이크(110-8)로 입력되는 음원에 대한 정보 (특히, 음원까지의 거리 정보)를 판단하며, 판단된 스피커(120-5, 120-6)의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 오디오 신호를 처리하도록 신호 처리부(130)를 제어함으로써, 보다 효과적인 음성 처리가 가능해진다.
도 3e는 본 발명의 또 다른 일 실시 예에 따라 하나의 스피커(120)와 복수의 마이크(110)를 포함하는 화상 회의 시스템(100, 100')을 도시한 예시도이다. 도 3e에 따르면, 본 발명의 일 실시 예에 따른 화상 회의 시스템(100, 100')은 화상 회의를 위한 테이블(20)에 하나의 스피커(120-7) 및 6개의 마이크(110-9 내지 110-14)를 포함하는 형태로 구현될 수 있다.
이와 같은 상황에서, 다수의 사용자(미도시)가 프로젝터 화면(30)을 통해 상대방과 회의를 하는 경우에도, 프로세서(140)는 실시간으로 판단되는 스피커의 출력에 대한 정보 및 음원에 대한 정보를 이용하여 동적으로 오디오 신호 처리를 수행함으로써, 보다 좋은 음질의 통화가 가능해 진다.
도 3a 내지 3e를 통해 살펴본 바와 같이, 본 발명의 기술적 사상은 하나의 마이크 및 하나의 스피커로 이루어진 장치 또는 시스템, 하나의 마이크 및 복수의 스피커로 이루어진 장치 또는 시스템, 복수의 마이크 및 하나의 스피커로 이루어진 장치 또는 시스템, 그리고, 복수의 마이크 및 복수의 스피커로 이루어진 장치 및 시스템 등에서 적용 가능하다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 오디오 처리 방법을 나타내는 흐름도이다. 도 4에 도시된 바와 같이, 전자 장치(100, 110')는 적어도 하나의 스피커에 입력되는 스피커 신호를 분석하여 스피커의 출력에 대한 정보를 판단하고, 적어도 하나의 마이크로부터 출력되는 오디오 신호를 분석하여 마이크로 입력되는 음원에 대한 정보를 판단할 수 있다(S410).
이때, 스피커의 출력에 대한 정보는 적어도 하나의 스피커의 출력 유무 정보, 채널 개수 정보, 볼륨 정보 및 스피커와 상기 마이크의 전달함수의 선형성 정보 중 적어도 하나일 수 있고, 음원에 대한 정보는 음원의 개수 정보, 방향 정보 및 음원까지의 거리 정보 중 적어도 하나일 수 있다.
구체적으로, 전자 장치(100, 110')는 스피커 신호 각각에 대한 에너지에 기초하여 스피커의 출력에 대한 정보를 판단하고, 마이크로부터 출력되는 각 오디오 신호의 위상차를 이용하여 음원에 대한 정보를 판단할 수 있다.
이때, 전자 장치(100, 110')는 스피커에 입력되는 스피커 신호 및 마이크로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 스피커의 출력에 대한 정보 및 음원에 대한 정보를 판단할 수 있다.
이에 따라, 장치(100, 110')는 판단된 스피커의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 마이크로부터 출력되는 오디오 신호를 처리할 수 있다(S420).
구체적으로, 전자 장치(100, 110')는 마이크로부터 출력되는 오디오 신호에서 스피커의 출력으로 인한 에코 신호를 제거할 수 있으며, 이때, 스피커의 출력에 대한 정보에 따라 에코 신호의 제거 세기를 변경할 수 있다. 특히, 전자 장치(100, 100')는 스피커의 출력이 기설정된 레벨 미만인 경우, 에코 신호 제거를 수행하지 않도록 에코 신호의 제거 세기를 변경할 수 있다.
또한, 전자 장치(100, 110')는 마이크로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔포밍 중 적어도 하나를 수행하여 잡음을 제거할 수 있으며, 이때, 음원에 대한 정보에 따라 소음 제거의 세기 및 빔 포밍의 방향 중 적어도 하나를 변경할 수 있다. 특히, 전자 장치(100, 110')는 음원의 개수가 하나인 경우, 잡음 제거를 수행하지 않을 수 있다.
또한, 전자 장치(100, 110')는 마이크로부터 출력되는 오디오 신호를 증폭할 수 있으며, 이때, 음원에 대한 정보에 따라 오디오 신호의 증폭 정도를 변경할 수 있다.
도 5는 본 발명의 다른 일 실시 예에 따른 전자 장치의 오디오 처리 방법을 나타내는 흐름도이다. 도 5에 따르면, 전자 장치(100, 110')는 적어도 하나의 스피커에 입력되는 스피커 신호 및 적어도 하나의 마이크로부터 출력되는 오디오 신호를 분석하여 각 스피커의 출력에 대한 정보 및 마이크로 입력되는 적어도 하나의 음원에 대한 정보를 판단할 수 있다(S510).
이에 따라, 전자 장치(100, 110')는 스피커의 출력에 대한 정보가 변경되었는지 여부를 판단하고(S520), 변경된 경우(S520, Y), 변경된 스피커의 출력에 대한 정보에 따라 에코 신호 제거 처리를 변경하여 수행할 수 있다(S530).
이에 따라, 전자 장치(100, 110')는 음원에 대한 정보가 변경되었는지 여부를 판단하고(S540), 변경된 경우(S540, Y), 변경된 음원에 대한 정보에 따라 잡음 제거 처리 또는 신호 증폭 처리를 변경하여 수행할 수 있다(S550).
이상과 같은 다양한 실시 예들에 따르면, 전자 장치 및 전자 장치 주위의 음향 환경에 따라 동적으로 오디오 신호를 처리할 수 있다. 이에 따라, 보다 효과적인 음성 처리가 가능해 진다.
구체적으로, 전술한 바와 같이 종래의 오디오 처리 시스템에서는 에코 신호 제거 세기와 같은 처리 파라미터 값을 초기 설정 후 고정 처리하거나 일정 주기마다 특정 필터 값들을 초기화함에 그친다. 따라서, 예를 들어, 스피커 출력이 없거나 미미할 때 동일한 설정으로 에코 제거를 수행한다면, 오히려 사용자 발화 음성의 음질이 하락할 가능성이 높고, 잡음 환경이 아닌 주화자 발성만 있을 경우 잡음 제거를 수행하는 경우에도 음질 하락할 수 있으며, 주 화자와의 거리 또는 주 화자의 발성 크기의 변화를 감지하지 않고 고정된 값으로 신호 증폭을 수행한다면 거리가 급변하거나 발성 크기가 급변하는 경우에 음성 인식 성능이 저하되거나 통화 품질이 하락할 수 있다.
이에 반해, 상술한 본 발명의 다양한 실시 예들에 따르면, 음향 환경의 변화에 따라 동적으로 오디오 신호의 처리가 가능하므로, 음향 환경이 변화하는 경우에도 음성 인식의 성능 저하 또는 통화 품질의 하락을 막을 수 있다.
한편, 상술한 다양한 실시 예들에 따른 전자 장치(100)의 프로세서(140)의 동작이나 전자 장치의 오디오 처리 방법들은 소프트웨어로 생성되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 적어도 하나의 스피커에 입력되는 스피커 신호를 분석하여 스피커의 출력에 대한 정보를 판단하고, 적어도 하나의 마이크로부터 출력되는 오디오 신호를 분석하여 마이크로 입력되는 음원에 대한 정보를 판단하는 단계 및 판단된 스피커의 출력에 대한 정보 및 음원에 대한 정보 중 적어도 하나에 따라 마이크로부터 출력되는 오디오 신호를 처리하는 단계를 포함하는 전자 장치의 오디오 처리 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
여기서, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 :　마이크 　　　　　　　　　　　　　 　 120 : 스피커
130 :　신호 처리부　　　　 140 : 프로세서

Claims (18)

  1. 전자 장치에 있어서,
    적어도 하나의 스피커;
    적어도 하나의 마이크;
    상기 마이크로부터 출력되는 오디오 신호를 처리하는 신호 처리부; 및
    상기 스피커에 입력되는 스피커 신호를 분석하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 오디오 신호를 분석하여 상기 마이크로 입력되는 음원에 대한 정보를 판단하며, 상기 판단된 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보 중 적어도 하나에 따라 상기 오디오 신호를 처리하도록 상기 신호 처리부를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 스피커 신호 각각에 대해 산출한 에너지값에 기초하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 각 오디오 신호의 위상차를 이용하여 상기 음원에 대한 정보를 판단하는 것을 특징으로 하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 신호 처리부는,
    상기 마이크로부터 출력되는 오디오 신호에서 상기 스피커의 출력으로 인한 에코 신호를 제거하는 에코 신호 제거부;를 포함하고,
    상기 프로세서는,
    상기 스피커의 출력에 대한 정보에 따라 상기 에코 신호의 제거 세기를 변경하도록 상기 에코 신호 제거부를 제어하는 것을 특징으로 하는 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 스피커의 출력이 기설정된 레벨 미만인 경우, 상기 에코 신호 제거를 수행하지 않도록 상기 에코 신호 제거부를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 신호 처리부는,
    상기 마이크로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔 포밍 중 적어도 하나를 수행하는 잡음 제거부;를 포함하고,
    상기 프로세서는,
    상기 음원에 대한 정보에 따라 상기 소음 제거의 세기 및 상기 빔 포밍 방향 중 적어도 하나를 변경하도록 상기 잡음 제거부를 제어하는 것을 특징으로 하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 음원의 개수가 하나인 경우, 상기 잡음 제거를 수행하지 않도록 상기 잡음 제거부를 제어하는 것을 특징으로 하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 신호 처리부는,
    상기 마이크로부터 출력되는 오디오 신호를 증폭하는 신호 증폭부;를 포함하고,
    상기 프로세서는,
    상기 음원까지의 거리에 따라 상기 오디오 신호의 증폭 정도를 변경하도록 상기 신호 증폭부를 제어하는 것을 특징으로 하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 스피커에 입력되는 스피커 신호 및 상기 마이크로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 상기 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보를 판단하는 것을 특징으로 하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 스피커의 출력에 대한 정보는,
    상기 적어도 하나의 스피커의 출력 유무 정보, 채널 개수 정보, 볼륨 정보 및 상기 스피커와 상기 마이크의 전달함수의 선형성 정보 중 적어도 하나를 포함하고,
    상기 음원에 대한 정보는,
    상기 음원의 개수 정보, 방향 정보 및 상기 음원까지의 거리 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  10. 적어도 하나의 스피커 및 적어도 하나의 마이크를 구비한 전자 장치의 오디오 처리 방법에 있어서,
    상기 스피커에 입력되는 스피커 신호를 분석하여 상기 스피커의 출력에 대한 정보를 판단하고, 상기 마이크로부터 출력되는 오디오 신호를 분석하여 상기 마이크로 입력되는 음원에 대한 정보를 판단하는 단계; 및
    상기 판단된 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보 중 적어도 하나에 따라 상기 마이크로부터 출력되는 오디오 신호를 처리하는 단계;를 포함하는 제어 방법.
  11. 제 10 항에 있어서,
    상기 판단하는 단계는,
    상기 스피커 신호 각각에 대한 에너지에 기초하여 상기 스피커의 출력에 대한 정보를 판단하는 단계; 및
    상기 마이크로부터 출력되는 각 오디오 신호의 위상차를 이용하여 상기 음원에 대한 정보를 판단하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  12. 제 10 항에 있어서,
    상기 처리하는 단계는,
    상기 마이크로부터 출력되는 오디오 신호에서 상기 스피커의 출력으로 인한 에코 신호를 제거하는 에코 신호 제거 단계;를 포함하고,
    상기 에코 신호 제거 단계는,
    상기 스피커의 출력에 대한 정보에 따라 상기 에코 신호의 제거 세기를 변경하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  13. 제 12 항에 있어서,
    상기 변경하는 단계는,
    상기 스피커의 출력이 기설정된 레벨 미만인 경우, 상기 에코 신호 제거를 수행하지 않도록 변경하는 것을 특징으로 하는 오디오 처리 방법.
  14. 제 10 항에 있어서,
    상기 처리하는 단계는,
    상기 마이크로부터 출력되는 오디오 신호에 대해 소음 제거 및 빔 포밍 중 적어도 하나를 수행하는 잡음 제거 단계;를 포함하고,
    상기 잡음 제거 단계는,
    상기 음원에 대한 정보에 따라 상기 소음 제거의 세기 및 상기 빔 포밍의 방향 중 적어도 하나를 변경하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  15. 제 14 항에 있어서,
    상기 변경하는 단계는,
    상기 음원의 개수가 하나인 경우, 상기 잡음 제거를 수행하지 않도록 변경하는 것을 특징으로 하는 오디오 처리 방법.
  16. 제 10 항에 있어서,
    상기 처리하는 단계는,
    상기 마이크로부터 출력되는 오디오 신호를 증폭하는 단계;를 포함하고,
    상기 증폭하는 단계는,
    상기 음원에 대한 정보에 따라 상기 오디오 신호의 증폭 정도를 변경하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  17. 제 10 항에 있어서,
    상기 판단하는 단계는,
    상기 스피커에 입력되는 스피커 신호 및 상기 마이크로부터 출력되는 오디오 신호를 기설정된 개수의 프레임 단위로 분석하여 상기 스피커의 출력에 대한 정보 및 상기 음원에 대한 정보를 판단하는 것을 특징으로 하는 오디오 처리 방법.
  18. 제 10 항에 있어서,
    상기 스피커의 출력에 대한 정보는,
    상기 적어도 하나의 스피커의 출력 유무 정보, 채널 개수 정보, 볼륨 정보 및 상기 스피커와 상기 마이크의 전달함수의 선형성 정보 중 적어도 하나를 포함하고,
    상기 음원에 대한 정보는,
    상기 음원의 개수 정보, 방향 정보 및 상기 음원까지의 거리 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 처리 방법.
KR1020150134403A 2015-09-23 2015-09-23 전자 장치 및 전자 장치의 오디오 처리 방법 KR20170035504A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150134403A KR20170035504A (ko) 2015-09-23 2015-09-23 전자 장치 및 전자 장치의 오디오 처리 방법
US15/215,741 US20170084287A1 (en) 2015-09-23 2016-07-21 Electronic device and method of audio processing thereof
EP16848782.5A EP3304548B1 (en) 2015-09-23 2016-07-22 Electronic device and method of audio processing thereof
CN201680054687.4A CN108028982A (zh) 2015-09-23 2016-07-22 电子设备及其音频处理方法
PCT/KR2016/007980 WO2017052056A1 (en) 2015-09-23 2016-07-22 Electronic device and method of audio processing thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134403A KR20170035504A (ko) 2015-09-23 2015-09-23 전자 장치 및 전자 장치의 오디오 처리 방법

Publications (1)

Publication Number Publication Date
KR20170035504A true KR20170035504A (ko) 2017-03-31

Family

ID=58282933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134403A KR20170035504A (ko) 2015-09-23 2015-09-23 전자 장치 및 전자 장치의 오디오 처리 방법

Country Status (5)

Country Link
US (1) US20170084287A1 (ko)
EP (1) EP3304548B1 (ko)
KR (1) KR20170035504A (ko)
CN (1) CN108028982A (ko)
WO (1) WO2017052056A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099792A (ko) * 2021-01-07 2022-07-14 엘지전자 주식회사 사운드 재생 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI665661B (zh) * 2018-02-14 2019-07-11 美律實業股份有限公司 音頻處理裝置及音頻處理方法
CN108766457B (zh) * 2018-05-30 2020-09-18 北京小米移动软件有限公司 音频信号处理方法、装置、电子设备及存储介质
CN108806711A (zh) * 2018-08-07 2018-11-13 吴思 一种提取方法及装置
CN112292870A (zh) * 2018-08-14 2021-01-29 阿里巴巴集团控股有限公司 音频信号处理装置及方法
US11579846B2 (en) * 2018-11-30 2023-02-14 Crestron Electronics, Inc. Rolling security code for a network connected soundbar device
CN111261179A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 回声消除方法及装置和智能设备
CN111698593B (zh) * 2019-03-14 2022-04-15 北京小米移动软件有限公司 主动降噪方法及装置、终端
CN110366067B (zh) * 2019-05-27 2021-07-20 深圳康佳电子科技有限公司 一种远场语音模块回声消除电路及装置
CN112737535A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 声音信号的处理方法和装置
CN114390425A (zh) * 2020-10-20 2022-04-22 深圳海翼智新科技有限公司 会议音频处理方法、设备、***及存储装置
CN112992171B (zh) * 2021-02-09 2022-08-02 海信视像科技股份有限公司 一种显示设备及消除麦克风接收回声的控制方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO320942B1 (no) * 2003-12-23 2006-02-13 Tandberg Telecom As System og fremgangsmate for forbedret stereolyd
KR100630826B1 (ko) * 2005-06-21 2006-10-02 주식회사 현대오토넷 차량의 대칭 음향 시스템 및 그 제어 방법
JP4929685B2 (ja) * 2005-11-15 2012-05-09 ヤマハ株式会社 遠隔会議装置
US20080085014A1 (en) 2006-02-13 2008-04-10 Hung-Yi Chen Active gain adjusting method and related system based on distance from users
JP4727542B2 (ja) * 2006-09-26 2011-07-20 富士通株式会社 電子機器、そのエコーキャンセル方法、そのエコーキャンセルプログラム、記録媒体及び回路基板
RS49875B (sr) * 2006-10-04 2008-08-07 Micronasnit, Sistem i postupak za slobodnu govornu komunikaciju pomoću mikrofonskog niza
JP5034607B2 (ja) * 2006-11-02 2012-09-26 株式会社日立製作所 音響エコーキャンセラシステム
US20100062713A1 (en) * 2006-11-13 2010-03-11 Peter John Blamey Headset distributed processing
EP1983799B1 (en) * 2007-04-17 2010-07-07 Harman Becker Automotive Systems GmbH Acoustic localization of a speaker
US8842843B2 (en) * 2008-11-27 2014-09-23 Nec Corporation Signal correction apparatus equipped with correction function estimation unit
KR20110010179A (ko) * 2009-07-24 2011-02-01 조정권 음성 인식을 이용한 엘리베이터 내의 자동 보안 시스템 및 그 방법
US8755546B2 (en) 2009-10-21 2014-06-17 Pansonic Corporation Sound processing apparatus, sound processing method and hearing aid
US8219394B2 (en) 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
JP2012093705A (ja) * 2010-09-28 2012-05-17 Yamaha Corp 音声出力装置
JP5060631B1 (ja) * 2011-03-31 2012-10-31 株式会社東芝 信号処理装置及び信号処理方法
US9654609B2 (en) * 2011-12-16 2017-05-16 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device
CN103179295A (zh) * 2011-12-26 2013-06-26 沈阳晨讯希姆通科技有限公司 滤除回声的移动终端及其滤除回声的方法
US20130202130A1 (en) * 2012-02-03 2013-08-08 Motorola Mobility, Inc. Motion Based Compensation of Uplinked Audio
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
US9184791B2 (en) * 2012-03-15 2015-11-10 Blackberry Limited Selective adaptive audio cancellation algorithm configuration
US9264823B2 (en) * 2012-09-28 2016-02-16 Apple Inc. Audio headset with automatic equalization
US9769588B2 (en) * 2012-11-20 2017-09-19 Nokia Technologies Oy Spatial audio enhancement apparatus
US9338551B2 (en) * 2013-03-15 2016-05-10 Broadcom Corporation Multi-microphone source tracking and noise suppression
US9083782B2 (en) * 2013-05-08 2015-07-14 Blackberry Limited Dual beamform audio echo reduction
GB2520029A (en) * 2013-11-06 2015-05-13 Nokia Technologies Oy Detection of a microphone

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099792A (ko) * 2021-01-07 2022-07-14 엘지전자 주식회사 사운드 재생 장치

Also Published As

Publication number Publication date
WO2017052056A1 (en) 2017-03-30
EP3304548A4 (en) 2018-06-27
EP3304548B1 (en) 2020-02-26
US20170084287A1 (en) 2017-03-23
EP3304548A1 (en) 2018-04-11
CN108028982A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
KR20170035504A (ko) 전자 장치 및 전자 장치의 오디오 처리 방법
US11527243B1 (en) Signal processing based on audio context
US10425717B2 (en) Awareness intelligence headphone
US9913022B2 (en) System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US10269369B2 (en) System and method of noise reduction for a mobile device
KR101606966B1 (ko) 공간 선택적 오디오 증강을 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들
US7706551B2 (en) Dynamic volume control
JP4247002B2 (ja) マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
EP1556857B1 (en) Controlling an apparatus based on speech
KR101731714B1 (ko) 음질 개선을 위한 방법 및 헤드셋
US20070165879A1 (en) Dual Microphone System and Method for Enhancing Voice Quality
US20080175408A1 (en) Proximity filter
US20100098266A1 (en) Multi-channel audio device
CN105976829B (zh) 声音处理装置、声音处理方法
JP2016541222A (ja) フィードバック検出のためのシステムおよび方法
CA2781702A1 (en) An apparatus for processing audio and speech signals in an audio device
US9769567B2 (en) Audio system and method
US10461712B1 (en) Automatic volume leveling
US20170365249A1 (en) System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector
WO2015086895A1 (en) Spatial audio processing apparatus
JP6645322B2 (ja) 雑音抑圧装置、音声認識装置、雑音抑圧方法、及び雑音抑圧プログラム
US11367457B2 (en) Method for detecting ambient noise to change the playing voice frequency and sound playing device thereof
JP7493875B2 (ja) 音声処理装置および音声処理方法
WO2011149969A2 (en) Separating voice from noise using a network of proximity filters
KR102575293B1 (ko) 음성을 처리하기 위한 음성 처리 장치, 음성 처리 시스템 및 음성 처리 방법