CN104065798A - 声音信号处理方法及设备 - Google Patents

声音信号处理方法及设备 Download PDF

Info

Publication number
CN104065798A
CN104065798A CN201310092267.3A CN201310092267A CN104065798A CN 104065798 A CN104065798 A CN 104065798A CN 201310092267 A CN201310092267 A CN 201310092267A CN 104065798 A CN104065798 A CN 104065798A
Authority
CN
China
Prior art keywords
signal processing
sound signal
information
array
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310092267.3A
Other languages
English (en)
Other versions
CN104065798B (zh
Inventor
张德明
刘媛媛
龙志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Ruixin Technology Co.,Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310092267.3A priority Critical patent/CN104065798B/zh
Priority to EP14767360.2A priority patent/EP2977985A4/en
Priority to PCT/CN2014/073124 priority patent/WO2014146547A1/zh
Publication of CN104065798A publication Critical patent/CN104065798A/zh
Priority to US14/859,743 priority patent/US20160011851A1/en
Application granted granted Critical
Publication of CN104065798B publication Critical patent/CN104065798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明实施例提供一种声音信号处理方法及设备,方法包括:接收用户输入的用于指示目标方向的方向指示信息;根据方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。本发明实施例提供的声音信号处理方法及设备,根据用户提供的用于指示目标方向的方向指示信息,对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。

Description

声音信号处理方法及设备
技术领域
本发明实施例涉及通信技术,尤其涉及一种声音信号处理方法及设备。
背景技术
随着手机或电脑等各种终端设备在会议通讯或者声音收录等场景下的普遍应用,在终端设备上配置麦克风阵列进行声音信号的拾取,或在终端设备上配置扬声器阵列进行声音信号的放送,已经成为研究与应用的热点。
以终端设备中配置的麦克风阵列为例,终端设备可以根据麦克风阵列中的各个麦克风采集到的声音信号的强弱和各麦克风设置位置等因素,进行声源空间信息的计算,再通过声源的空间信息估计出主声源所在位置,并针对主声源位置进行自适应调整,调整采集指向以采集主声源的声音波束。最终只保留或增强主声源的声音信号,从而使主声源的声音能够更加清晰地被采集或传送。
现有技术中,如果在嘈杂环境下使用终端设备采集声音,终端设备无法准确估计主声源所在位置;如果使用终端设备放送声音,终端设备无法获知需要将声音信号主要放送至哪个方向。所以终端设备无法对声音信号进行准确的处理,无法实现对所处理的声音信号在主声源方向或主要放送方向上的增强。
发明内容
本发明实施例提供一种声音信号处理方法及设备。
第一方面,本发明实施例提供的一种声音信号处理方法,包括:
接收用户输入的用于指示目标方向的方向指示信息;根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
在第一方面的第一种可能的实现方式中,所述根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态,包括:根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将所述声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
根据第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时具体包括:根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;对应地,所述根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号具体包括:根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - jω τ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
根据第一方面的第一种可能的实现方式,在第一方面的第三种可能的实现方式中,根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时具体包括:根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 πf a ( r 1 - r a ) c , e - j 2 πf a ( r 2 - r a ) c . . . , e - j 2 πf a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;对应地,所述根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号具体包括:根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
根据第一方面的第一种至第三种可能的实现方式中的任意一种,在第一方面的第四种可能的实现方式中,所述声音信号处理阵列包括声音信号采集阵列,所述声音信号采集阵列包括多个声音信号采集单元;对应地,所述根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时,包括:根据所述方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;对应地,所述根据各个信号延时,对与所述信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与所述信号延时对应的声音信号采集单元采集的声音信号进行延时处理;或者,所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,所述根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元的所对应的信号延时,包括:根据所述方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;对应地,所述根据各个信号延时,对与所述信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与所述信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
根据第一方面或第一方面的第一种至第三种可能的实现方式中的任意一种,在第一方面的第五种可能的实现方式中,所述接收用户输入的用于指示目标方向的方向指示信息之前,还包括:接收用户输入的控制模式显示指令;根据所述控制模式显示指令,获取并显示可供选择的多种控制模式,所述多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;接收用户发送的针对所述多种控制模式的控制模式选择指令,并开启用户所选择的控制模式;所述接收用户输入的用于指示目标方向的方向指示信息,包括:接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息。
根据第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述多种控制模式包括用户自主控制模式,所述用户自主控制模式为允许用户自主输入所述方向指示信息的模式;若所述用户所选择的控制模式为用户自主控制模式,所述接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息,包括:接收所述用户通过语音输入方式所输入的语音信号,解析所述语音信号以获取所述语音信号中包含的方向指示信息;或者,接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;或者,接收所述用户通过投影屏幕投射输入的手势图像信息,解析所述手势图像信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;或者,接收所述用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,所述用于指示目标方向的控制指令包括所述用于指示目标方向的方向指示信息;或者,接收所述用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,所述用滚动信息包括所述用于指示目标方向的方向指示信息。
根据第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,若所述用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:接收所述用户在触摸屏上滑动输入的一条轨迹信息;对应,所述解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息包括:根据所述一条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,确定所述滑动输入所指示的所述目标方向,并生成用以指示所述目标方向的方向指示信息;或者,接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:接收所述用户在触摸屏上滑动输入的两条轨迹信息;对应,所述解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息,包括:根据所述两条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息。
根据第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,包括:根据所述两条轨迹的延伸方向确定所述两条轨迹所构成夹角的角平分线延伸的方向;根据所述角平分线延伸的方向,确定所述滑动输入所指示的目标方向处于第一角度范围中,所述第一角度范围以所述角平分线延伸方向为中心,以所述两条轨迹所构成夹角的角度的一半为主瓣宽度。
根据第一方面或第一方面的前八种可能的实现方式之一,在第一方面的第九种可能的实现方式中,在所述接收用户输入的用于指示目标方向的方向指示信息之前,还包括:感测所述声音信号处理阵列的朝向发生改变,并确定朝向变化量;根据所述朝向变化量以及所述声音信号处理阵列的朝向改变之前的目标方向,确定所述声音信号处理阵列的朝向改变之后的目标方向;提示用户输入用于指示所述朝向改变之后的目标方向的所述方向指示信息。
根据第一方面的第五种可能的实现方式,在第一方面的第十种可能的实现方式中,所述用户所选择的控制模式为扫描模式,所述扫描模式为通过扫描提示用户输入所述方向指示信息的模式;所述接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的所述方向指示信息之前,还包括:通过扫描采集至少两个方向上的声音信号;分析所述声音信号的能量,确定能量最大的声音信号的声源方向;提示用户根据所述声源方向输入所述方向指示信息。
第二方面,本发明实施例提供的另一种声音信号处理方法,包括:
根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;确定所述声音信号处理阵列的朝向与所述目标方向之间的夹角;提示用户根据所述夹角调整所述声音信号处理阵列的朝向,以使所述声音信号处理阵列的接收方向与所述主声源方向一致。
第三方面,本发明实施例提供的一种声音信号处理设备,包括:
接收模块,用于接收用户输入的用于指示目标方向的方向指示信息;调整模块,用于根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
在第三方面的第一种可能的实现方式中,所述调整模块具体用于:根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将所述声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
根据第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,所述调整模块具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;
根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - j ωτ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
根据第三方面的第一种可能的实现方式,在第三方面的第三种可能的实现方式中,所述调整模块具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 πf a ( r 1 - r a ) c , e - j 2 πf a ( r 2 - r a ) c . . . , e - j 2 πf a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;
所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;
所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
根据第三方面的第一种至第三种可能的实现方式之一,在第三方面的第四种可能的实现方式中,所述声音信号处理阵列包括声音信号采集阵列,所述声音信号采集阵列包括多个声音信号采集单元;对应地,所述调整模块具体用于:根据所述方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;根据各信号延时,对与所述信号延时对应的声音信号采集单元采集的声音信号进行延时处理;或者,所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,所述调整模块具体用于:根据所述方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;根据各信号延时,对与所述信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
根据第三方面或第三方面的第一种至第三种可能的实现方式,在第三方面的第五种可能的实现方式中,所述接收模块还用于:接收用户输入的控制模式显示指令;所述设备还包括:显示模块,用于根据所述控制模式显示指令,获取并向用户显示可供选择的多种控制模式,所述多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;所述接收模块还用于:接收用户发送的针对所述多种控制模式的控制模式选择指令,并开启用户所选择的控制模式,接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息。
根据第三方面的第五种可能的实现方式,在第三方面的第六种可能的实现方式中,所述多种控制模式包括用户自主控制模式,所述用户自主控制模式为允许用户自主输入所述方向指示信息的模式;若所述用户所选择的控制模式为用户自主控制模式;所述接收模块具体用于:接收所述用户通过语音输入方式所输入的语音信号,解析所述语音信号以获取所述语音信号中包含的方向指示信息;或者,所述接收模块具体用于:接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;或者,所述接收模块具体用于:接收所述用户通过投影屏幕投射输入的手势图像信息,解析所述手势图像信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;或者,所述接收模块具体用于:接收所述用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,所述用于指示目标方向的控制指令包括所述用于指示目标方向的方向指示信息;或者,所述接收模块具体用于:接收所述用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,所述用滚动信息包括所述用于指示目标方向的方向指示信息。
根据第三方面的第六种可能的实现方式,在第三方面的第七种可能的实现方式中,若所述用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:所述接收模块具体用于:接收所述用户在触摸屏上滑动输入的一条轨迹信息;根据所述一条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;或者,所述接收模块具体用于:接收所述用户在触摸屏上滑动输入的两条轨迹信息;根据所述两条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息。
根据第三方面的第七种可能的实现方式,在第三方面的第八种可能的实现方式中,所述接收模块具体用于:根据所述两条轨迹的延伸方向确定所述两条轨迹所构成夹角的角平分线延伸的方向;根据所述角平分线延伸的方向,确定所述滑动输入所指示的目标方向处于第一角度范围中,所述第一角度范围以所述角平分线延伸方向为中心,以所述两条轨迹所构成夹角的角度的一半为主瓣宽度。
根据第三方面或第一方面的前八种可能的实现方式之一,在第三方面的第九种可能的实现方式中,还包括:感测模块:用于感测所述声音信号处理阵列的朝向发生改变,并确定朝向变化量;确定模块:用于根据所述朝向变化量以及所述声音信号处理阵列的朝向改变之前的目标方向,确定所述声音信号处理阵列的朝向改变之后的目标方向;提示模块:用于提示用户输入用于指示所述朝向改变之后的目标方向的所述方向指示信息。
根据第三方面的第五种可能的实现方式,在第三方面的第十种可能的实现方式中,所述用户所选择的控制模式为扫描模式,所述扫描模式为通过扫描提示用户输入所述方向指示信息的模式;对应地,还包括:扫描模块,用于通过扫描采集至少两个方向上的声音信号;分析模块,用于分析所述声音信号的能量,确定能量最大的声音信号的声源方向;所述提示模块还用于提示用户根据所述声源方向输入所述方向指示信息。
第四方面,本发明实施例提供的另一种声音信号处理设备,包括:
确定模块,用于根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;确定所述声音信号处理阵列的朝向与所述目标方向的夹角,所述声音信号处理阵列的波束指向固定;提示模块,用于提示用户根据所述夹角调整所述声音信号处理阵列的朝向,以使所述声音信号处理阵列的接收方向与所述主声源方向一致。
本发明实施例提供的声音信号处理方法及设备,根据用户提供的用于指示目标方向的方向指示,对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。本发明另一实施例提供的声音信号处理方法及设备,可根据主声源方向确定信号处理阵列的接收方向,并根据所述接收方向及所述声音信号处理阵列的波束指向来确定处理阵列的目标方向,以及所述处理阵列的朝向和所述目标方向之间的夹角来提示用户通过调整所述声音信号处理阵列的朝向以使所述声音信号处理阵列的接收方向与所述主声源方向一致,从而提高信号处理阵列对主声源估计的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的声音信号处理方法实施例一的流程图;
图2为本发明提供的声音信号处理方法实施例二的示意图;
图3为本发明提供的声音信号处理方法实施例三的示意图;
图4为本发明提供的声音信号处理方法实施例四的示意图;
图5为本发明提供的声音信号处理方法实施例五的示意图;
图6为本发明提供的声音信号处理方法实施例六的示意图;
图7为本发明提供的声音信号处理方法实施例七的流程图;
图8为本发明提供的声音信号处理设备实施例一的结构示意图;
图9为本发明提供的声音信号处理设备实施例二的结构示意图;
图10为本发明提供的声音信号处理设备实施例三的结构示意图;
图11为本发明提供的声音信号处理设备实施例四的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明提供的声音信号处理方法实施例一的流程图,如图1所示,本实施例提供的声音信号处理方法可以包括:
S110、接收用户输入的用于指示目标方向的方向指示信息。
具体而言,在本发明实施例应用于声音信号采集阵列采集声音信号的情况下,例如是麦克风阵列采集声音信号的情况下,目标方向可以是主要声源的方向或者其它麦克风阵列需要着重采集的声音信号所处的方向;而在本发明实施例应用于声音信号发送阵列发送声音信号的情况下,例如是扬声器阵列发送声音信号的情况下,目标方向则可以是声音信号发送目的地的方向。本发明实施例将声音信号采集阵列和声音信号发送阵列等统称为声音信号处理阵列。后续实施例多以将本发明应用于声音信号采集阵列采集声音信号的情况为例对本发明实施方式加以说明,本领域技术人员可以在此基础上无需花费创造性劳动地得出本发明实施例应用于声音信号发送阵列发送声音信号的情况下的实施方式。
用于执行声音信号处理方法的装置可以接收用户输入的用于指示目标方向的方向指示信息,该方向指示信息可以是用户通过语音、手势或旋转旋钮等多种方式输入的能够指示目标方向的信息。
S120、根据方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
声音信号处理阵列的波束指向,可以理解为经声音信号处理阵列处理后所加强的声音信号对应的来源或者传输方向。例如麦克风阵列的波束指向,可以理解为经麦克风阵列增强处理后所主要采集到的声音信号的来源方向;扬声器阵列的波束指向,可以理解为经扬声器阵列增强处理后声音信号放送的主要方向。声音信号处理装置可以根据用于指示目标方向的方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态,例如将麦克风阵列的波束指向调整至所需采集声源所在的方向,从而对采集到的声音信号进行准确的处理;或者也可以使将麦克风阵列的波束指向调整至与所采集声源所在的方向相对应的状态,即与所采集声源所在的方向相同或者与所采集声源所在的方向之间的偏差在预设或者合理的范围之内。
本实施例提供的声音信号处理方法,根据用户提供的用于指示目标方向的方向指示信息,对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
图1实施例中,根据方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态,包括:根据方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;根据各个信号延时,对与信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
声音信号处理阵列包括声音信号采集阵列,声音信号采集阵列包括多个声音信号采集单元;对应地,根据方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时,包括:根据方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;对应地,根据各个信号延时,对与信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与信号延时对应的声音信号采集单元采集的声音信号进行延时处理;或者,所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,根据方向指示信息,确定声音信号处理阵列中各个声音信号处理单元的所对应的信号延时,包括:根据方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;对应地,根据各个信号延时,对与信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
换言之,根据方向指示信息,确定声音信号处理阵列中各声音信号处理单元所对应的信号延时,例如可以根据用于指示目标方向的方向指示信息,以及麦克风阵列中包含的声音信号处理单元即麦克风单元的排列位置等信息,获取各麦克风单元所对应的信号延时;根据各个信号延时,对与信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,例如获取麦克风阵列中包含的各麦克风单元对应的信号延时后,可以根据各信号延时对与其对应的麦克风单元采集的声音信号做延时处理,以实现麦克风单元仅对采集到的在目标方向上的声音进行保留或增强的目的。
根据方向指示信息,确定声音信号处理阵列中各声音信号处理单元所对应的信号延时,例如可以根据用于指示目标方向的方向指示信息,以及扬声器阵列中包含的声音信号处理单元即扬声器单元的排列位置等信息,获取各扬声器单元所对应的信号延时;根据各信号延时,对与信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,例如获取扬声器阵列中包含的各扬声器单元对应的信号延时后,可以根据各信号延时对与其对应的扬声器单元将要发送的声音信号做延时处理,以实现扬声器单元仅对发送给目标方向上的声音进行保留或增强的目的。
本实施例提供的声音信号处理方法,根据用户提供的用于指示目标方向的方向指示信息,首先确定声音信号延时,再根据声音信号延时对声音信号进行延时处理,以此对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
本发明实施例提供的声音信号处理方法中,根据各方向指示信息,确定声音信号处理阵列中各声音信号处理单元对应的信号延时,可以包括:根据各方向指示信息确定声音信号处理阵列中包含的呈线形排列或者环形排列的各声音信号处理单元的信号延时。
以声音信号处理阵列为麦克风阵列为例,根据方向指示信息获取麦克风阵列中包含的麦克风单元对应的信号延时可以包括:根据方向指示信息获取麦克风阵列中包含的一个以上的麦克风单元对应的信号延时;麦克风单元可以呈线形、环形或者其它不规则形状等多种形式的排列。
具体地,图2为本发明提供的声音信号处理方法实施例二的示意图,如图2所示,如果采用手机作为声音信号采集设备,以手机的麦克风阵列中包含的麦克风单元1~N呈线形排列为例,其中以手机的中心点为坐标原点O,目标为A。
首先,手机接收用户在触摸屏上滑动输入的方向指示信息BC,方向指示信息BC用于指示目标A的方向,方向指示信息BC与横坐标轴x方向的夹角为α,麦克风阵列中心D指向目标A的方向与横坐标x方向的夹角为β,由于目标A与手机的距离远大于麦克风阵列本身的尺寸,所以可以近似认为α=β。呈线形排列的麦克风阵列中包含的麦克风单元之一的麦克风单元n与麦克风阵列中心D之间的距离为dn。则麦克风单元n对应的信号延时τn(β)可以表达为:
τ n ( β ) = d n cos β c × f s 式(1),
式(1)中,c代表声速,fs代表麦克风阵列的声音信号采样频率。
获得麦克风单元n对应的信号延时τn(β)后,根据该信号延时对与该信号延时对应的麦克风单元n采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - j ωτ n ( β ) 式(2),
式(2)中,为将采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
将经延时处理后的声音信号送入波束形成器,即可达到根据方向指示信息BC,对麦克风阵列的波束指向进行调整以保留或增强源自目标A的声音信号的目的。
图3为本发明提供的声音信号处理方法实施例三的示意图,如图3所示,如果仍采用手机作为声音信号采集设备,但以手机的麦克风阵列中包含的M个麦克风单元呈环形均匀排列为例,其中以手机的中心点为坐标原点O,目标为A,M个麦克风单元组成的环形阵列的半径为b,目标A与坐标原点O的连线与垂直于麦克风阵列所在平面的直线之间的夹角为θ,目标A至坐标原点O的距离为ra,麦克风阵列的声音信号采样频率为fa,声速为c,目标A在麦克风阵列所在平面上的投影为A`,那么将OA`与麦克风单元1至坐标原点O连线的夹角定义为a1,则OA`与麦克风单元m至坐标原点O连线的夹角am可以表示为:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M 式(3),
则目标A至麦克风单元m的距离rm可以表示为:
r m = | AA ` | 2 + | m A ` | 2 = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M 式(4),
M个麦克风单元对应的信号延时的集合可以表示为:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ] 式(5),
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。将经延时处理后的声音信号送入波束形成器,即可达到,对麦克风阵列的波束指向进行调整以保留或增强源自目标A处声音信号的目的。
图2和图3提供的声音信号处理方法实施例分别以麦克风单元呈线形和环形排列为例,对本发明提供实施例提供的声音信号处理方法加以说明,需要明确的是,本发明实施例应用场景不以此为限,计算方式也不以此为限。例如在图3实施例中,除了以基于样点的方式计算信号延时,还可以以相位差的形式表示信号延时如下:
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 πf a ( r 1 - r a ) c , e - j 2 πf a ( r 2 - r a ) c . . . , e - j 2 πf a ( r M - r a ) c ] 式(6),
图2和图3提供的声音信号处理方法实施例,根据用户自主提供的方向指示信息,获取麦克风阵列中包含的多个以不同形式排列的麦克风单元对应的信号延时,通过对多个以不同形式排列的麦克风单元采集的声音信号进行相应的延时处理,对麦克风阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
进一步地,接收用户输入的用于指示目标方向的方向指示信息之前,还包括:接收用户输入的控制模式显示指令;根据控制模式显示指令,获取并向用户显示可供选择的多种控制模式,多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;接收用户发送的控制模式选择指令,开启用户所选择的控制模式;接收用户输入的用于指示目标方向的方向指示信息,包括:接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息。
换言之,本发明实施例可以为用户提供用于控制声音信号处理方式的多种控制模式供用户选择。声音信号处理设备接收到用户输入的控制模式显示指令后,可以获取能够为用户提供的多种控制模式并向用户进行显示。控制模式可以有一种或多种的方向指示信息输入方式,即用户在该种控制模式下可以通过一种或多种方式输入用于指示目标方向的方向指示信息。用户选择好控制模式后,声音信号处理设备开启用户所选择的控制模式,用户通过在所选择的控制模式下的方向指示信息输入方式输入方向指示信息,用以控制声音信号的处理。本发明实施例为用户提供多种控制模式用以控制声音信号的处理,旨在为用户提供多种不同选择,以实现多种对声音信号进行处理的方式,同时增加用户使用的方便性。
用户所选择的控制模式为用户自主控制模式,用户自主控制模式为允许用户自主输入方向指示信息的模式;则可以包括下列几种方式对声音信号进行处理:
方式一:
接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息,包括:接收用户通过语音输入方式所输入的语音信号,解析语音信号以获取语音信号中包含的方向指示信息。
用户自主控制模式下,用户可以通过语音输入用于指示目标方向的语音信号,可以通过语音识别器来实现该语音信号的识别,语音识别器在词表设计和模型训练的过程中,将表示方位或角度的词语进行加强训练,确保对类似词汇的识别率在95%以上,经相关验证,目前小词汇量的关键词语的识别率可以达到95%以上。例如,以手机作为声音采集设备为例,用户可以说出期望手机的麦克风阵列波束指向的目标方向,比如为“右前方三十五度”。手机的语音识别器接收到该语音信号后,根据预先的约定规则,解析获取该语音信号中“右”、“前”以及“三十五度”分别表示的方位,从而准确判断出该语音信号中包含的目标方向信息。将声音信号处理阵列的波束指向调整至目标方向信息对应的目标方向。
这种通过语音输入用于指示目标方向的语音信号的声音信号处理方法的实施方式,无需基于用户的手动输入操作,可以根据用户自主提供的语音信号,获取麦克风阵列中包含的各麦克风单元对应的信号延时,通过对麦克风单元采集的声音信号进行相应的延时处理,实现麦克风单元对语音信号所指示的方向上的声音信号的保留或增强,进而在嘈杂环境下仍可以对所采集的声音信号起到增强的效果。
方式二:
接收用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析轨迹信息所指示的目标方向,并生成用以指示目标方向的方向指示信息。接收用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:接收用户在触摸屏上滑动输入的轨迹信息;对应,解析轨迹信息所指示的目标方向,并生成用以指示目标方向的方向指示信息包括:根据轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,接收用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:接收用户在触摸屏上滑动输入的两条轨迹信息;对应,解析轨迹信息所指示的目标方向,并生成用以指示目标方向的方向指示信息,包括:根据两条轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向,根据两条轨迹的延伸方向所限定的角度范围,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息。具体地:
以图2为例,以用户在手机的触摸屏上朝向目标方向滑动输入方向指示信息,也就是一条轨迹信息BC来控制麦克风阵列对目标A的声音信号的采集为例,对本实施例提供的声音信号处理方法做详细说明:
第一步:接收用户在手机的触摸屏上朝向目标方向滑动输入的一条轨迹信息BC;
第二步:确定轨迹信息BC的起点B在手机的坐标系中的坐标(xb,yb),以及轨迹信息BC的终点C在手机的坐标系中的坐标(xc,yc),获取轨迹信息BC与手机的坐标系的横坐标轴x方向的夹角α:
α = arctan y c - y b x c - x b 式(7),
α的获取方法不以此为限,例如用户通过语音信号或通过旋钮来输入轨迹信息BC时,即可以根据预定义的语音指示规则获取α,或者根据旋钮刻度值直接获知α;
第三步:得到麦克风阵列中心D指向目标A的方向与横坐标轴x方向的夹角β;由于目标A与手机的距离远大于麦克风阵列本身的尺寸,所以可以近似认为β=α;
第四步:根据麦克风阵列中心D指向目标A的方向与横坐标轴x方向的夹角β,获取麦克风阵列中包含的麦克风单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s 式(1),
式(1)中,呈线形排列的麦克风阵列中包含的麦克风单元之一麦克风单元n与麦克风阵列中心D之间的距离为dn,c代表声速,fs代表麦克风阵列的声音信号采样频率;
第五步:可以对麦克风阵列采集到的声音信号进行预处理,包括降噪和回声抑制等,再将声音信号时频变化得到频域信号其中ω代表频率索引,对采集到的声音信号做延时处理,经延时处理后的声音信号为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - jω τ n ( β ) 式(2);
第六步:将经延时处理后的声音信号送入波束形成器,即可达到根据轨迹信息BC对麦克风阵列的波束指向进行调整,以保留或增强源自目标A的声音信号的目的。
在执行上述的实施方式之前,或者得到麦克风阵列中心D指向目标A的方向与横坐标轴x方向的夹角β之后,可以向用户提供确认提示,提示用户确认是否改变用于指示目标方向的方向指示信息,或者提示用户确认新输入的方向指示信息是否正确等,以避免用户对输入方向指示信息的误启动或误操作。
这种通过触摸屏输入用于指示目标方向的轨迹信息的声音信号处理方法的实施方式,为用户提供了一种直观的方向指示信息输入方式,用户可以根据目标方向简便的向手机提供轨迹信息,以使手机根据用户提供的轨迹信息,确定目标方向,从而对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声源信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
图4为本发明提供的声音信号处理方法实施例四的示意图,如图4所示,本实施例提供的声音信号处理方法与上一实施例的区别在于,本实施例提供的声音信号处理方法中接收用户输入的通过触摸屏输入的用于指示目标方向的轨迹信息可以包括两条或两条以上的轨迹信息。
具体而言,以用户在手机的触摸屏上朝向目标方向滑动输入轨迹信息BC1和轨迹信息BC2来控制麦克风阵列的波束指向为例,对本实施例提供的声音信号处理方法做详细说明:
第一步:接收用户在手机的触摸屏上朝向目标方向滑动输入的轨迹信息,轨迹信息包含具有相同起点B的轨迹信息BC1和轨迹信息BC2,轨迹信息BC1和轨迹信息BC2应被同步输入,即轨迹信息BC1和轨迹信息BC2不应是先后间隔输入的两条轨迹信息。轨迹信息BC1和轨迹信息BC2用于指示需采集的声音信号来源的范围,即目标A位于轨迹信息BC1和轨迹信息BC2夹角的范围内;
第二步:提示用户确认用于控制麦克风阵列的波束指向的具体轨迹信息,如果用户确认用于控制麦克风阵列的波束指向的具体轨迹信息只包含轨迹信息BC1或轨迹信息BC2的其中之一,表示用户同步输入轨迹信息BC1和轨迹信息BC2为误输入,后续根据具体轨迹信息获取信号延时的方法与图2所示实施例中类似,不再赘述;如果用户确认用于控制麦克风阵列的波束指向的具体轨迹信息包含轨迹信息BC1和轨迹信息BC2,那么执行下一步;
第三步:确定轨迹信息BC1和轨迹信息BC2的起点B在手机的坐标系中的坐标(xb,yb),以及轨迹信息BC1的终点C1在手机的坐标系中的坐标(xc1,yc1)和轨迹信息BC2的终点C2在手机的坐标系中的坐标(xc2,yc2),获取轨迹信息BC1与手机的坐标系的横坐标轴x方向的夹角α1,以及轨迹信息BC2与手机的坐标系的横坐标轴x方向的夹角α2
α 1 = arctan y c 1 - y b x c 1 - x b 式(8),
α 2 = arctan y c 2 - y b x c 2 - x b 式(9),
α1和α2的获取方法不以此为限;
第四步:轨迹信息BC1和轨迹信息BC2的角平分线BC3与坐标系的横坐标轴x方向的夹角α3
α 3 = α 1 + α 2 2 式(10),
对麦克风阵列中包含的麦克风单元1~N采集到的声音信号,以角平分线BC3为中心,以作为主瓣宽度,即保留或增强处于轨迹信息BC1和轨迹信息BC2夹角范围内的声音信号,处于其它方位的声音信号被抑制。
这种通过触摸屏输入多条用于指示目标方向的轨迹信息的声音信号处理方法的实施方式,为用户提供了一种直观的方向指示信息输入方式,用户可以根据目标的大致方位简便的向手机提供轨迹信息,以使手机根据用户提供的轨迹信息的延伸方向,确定目标方向,从而对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
方式三:
接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息,包括:接收用户通过投影屏幕投射输入的手势图像信息,解析手势图像信息所指示的目标方向,并生成用以指示目标方向的方向指示信息;接收用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,用于指示目标方向的控制指令包括用于指示目标方向的方向指示信息。
用户首先可以用手指或其它指示工具在投影屏幕上滑动,形成手势图像信息,用以指示发言人或其它需采集的声源所处的方位,或者指示声音发送的目的地方位;投影设备上配备的摄像头可以对用户在投影屏幕上滑动的手势图像信息进行连续拍照,采集包括位置信息、灰度信息以及变化信息等在内的特征信息,并提取这些特征信息;将提取的特征信息与预先建立的手势信息库进行匹配,查找与特征信息最接近的手势及手势对应的图像信息;根据图像信息获取声音处理阵列中包含的声音处理单元对应的信号延时;再根据信号延时对声音信号做延时处理。
方式四:
接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息,包括:接收用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,用于指示目标方向的控制指令包括用于指示目标方向的方向指示信息。
指令输入终端装置可以是无线控制装置或远程控制装置等。
用户可以通过与声音信号处理阵列分离设置的终端设备或其它种类的可以控制声音信号处理阵列的无线控制装置,以近距离遥控或远程控制的方式输入用于指示目标方向的控制指令,以控制声音信号处理阵列对声音信号的采集或发送,例如控制麦克风阵列对声音信号的采集。
图5为本发明提供的声音信号处理方法实施例五的示意图,如图5所示,本实施例示出了近距离遥控输入控制指令的具体方法,可以包括:
S510、无线控制装置与接收端建立无线控制连接。其中,无线控制装置按照无线遥控***的基本原理与接收端建立无线控制连接,无线控制装置可以为手机或其它具有无线信号发射功能的终端设备,接收端包括麦克风阵列或者扬声器阵列等形式的声音信号处理阵列。
S520、无线控制装置接收用户输入的用于指示目标方向的控制指令。用户输入控制指令的方式可以包括多种,例如通过语音指示输入,或通过设置在无线控制装置上的触摸屏输入等。
S530、无线控制装置将控制指令发送给接收端。无线控制装置可以按照无线遥控***的基本原理,将控制指令进行编码、调制以及放大后发送给接收端。
S540、接收端根据接收到的控制指令对声音信号进行处理。以接收端为麦克风阵列为例,麦克风阵列通过天线接收到无线控制装置发送的经过处理的包含控制指令的信息后,对该信息进行放大、检波以及解码,根据解码后得到的控制指令获取麦克风阵列中包含的各麦克风单元对应的信号延时,并对采集到的声音信号做相应的延时处理,以实现调整采集指向角度的目的。其中无线控制装置与接收端之间的无线传输方式可以采用红外或蓝牙等,本发明对此不做限制。
用户可以通过与声音信号处理阵列分离设置的终端设备或其它种类的可以控制声音信号处理阵列的远程控制装置,以远程控制的方式输入用于指示目标方向的控制指令,以控制声音信号处理阵列对声音信号的采集或发送,例如控制麦克风阵列对声音信号的采集。以通过互联网控制为例:
图6为本发明提供的声音信号处理方法实施例六的示意图,如图6所示,本实施例示出了远程输入控制指令的具体方法,可以包括:
S610、远程控制装置按照通信协议通过互联网与接收端建立连接。其中,远程控制装置可以为电脑或手机等具有无线通信功能并可以接入互联网的终端设备,接收端包括麦克风阵列或者扬声器阵列等形式的声音信号处理阵列。
S620、远程控制装置接收用户输入的用于指示目标方向的控制指令。用户输入控制指令的方式可以包括多种,例如通过语音指示输入,或通过设置在远程控制装置上的触摸屏输入,或通过设置在远程控制装置上的滚轮输入等。
S630、远程控制装置将控制指令发送给接收端。远程控制装置可以按照协议将包含用于指示目标方向的控制指令的数据进行打包发送给接收端。
S640、接收端根据接收到的控制指令对声音信号进行处理。以接收端为麦克风阵列为例,麦克风阵列通过天线接收到远程控制装置发送的经过处理的包含控制指令的信息后,按照协议对数据解包获取控制指令;接收端根据控制指令获取声音信号处理阵列中包含的处理单元对应的信号延时,并对声音信号做相应的延时处理,以实现调整采集或发送指向角度的目的。
方式五:接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的方向指示信息,包括:接收用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,用滚动信息包括用于指示目标方向的方向指示信息。
上述实施例中提供的声音信号处理方法中,用户可以通过多种方式输入方向指示信息,旨在为用户提供输入方向指示信息的不同选择,以增加用户使用的方便性。
进一步地,接收用户输入的用于指示目标方向的方向指示信息之前,还包括:感测声音信号处理阵列的朝向发生改变,并确定朝向变化量;根据朝向变化量以及声音信号处理阵列的朝向改变之前的目标方向,确定声音信号处理阵列的朝向改变之后的目标方向;提示用户输入用于指示朝向改变之后的目标方向的方向指示信息。
详细而言,此实施方式可以应用于,在声音信号处理阵列或者声音信号处理阵列所在的声音信号处理设备上配备了运动感测器、位置感测器、角度感测器等传感器,具备感测声音信号处理阵列自身朝向变化功能的场景。
以声音信号处理设备为配置有三轴陀螺仪的手机为例,具体实施方式可以包括:
第一步:用户将手机旋转一定角度;
第二步:手机的三轴陀螺仪感测手机的位置变化,即手机上麦克风阵列朝向的变化,假设麦克风阵列朝向相对于未被旋转前变化了角度,即麦克风阵列的朝向变化量为
第三步:根据朝向变化量,以及声音信号处理阵列的朝向改变之前的目标方向,确定目标相对于旋转后的麦克风阵列的方向,即确定声音信号处理阵列的朝向改变之后的目标方向;
第四步:提示用户确认第三步中确定的声音信号处理阵列的朝向改变之后的目标方向,用户输入用于指示声音信号处理阵列的朝向改变之后的目标方向的方向指示信息,手机根据方向指示信息对麦克风阵列的波束指向进行调整;当然,手机也可以在确定目标方向后不经用户确认,直接根据目标方向对麦克风阵列的波束指向进行调整。
本实施例提供的声音信号处理方法,在用户对声音信号处理阵列朝向改变的情况下,感测该朝向改变,并根据该朝向变化量确定声音信号处理阵列的朝向改变之后的目标方向,根据声音信号处理阵列的朝向改变之后的目标方向对声音信号进行处理,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
进一步地,用户所选择的控制模式为扫描模式,扫描模式为通过扫描提示用户输入方向指示信息的模式;接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的方向指示信息之前,还包括:通过扫描采集至少两个方向上的声音信号;分析声音信号的能量,确定能量最大的声音信号的声源方向;提示用户根据声源方向输入方向指示信息。
以声音信号处理阵列为麦克风阵列,麦克风阵列的声音信号处理单元呈线形排列为例,具体实施方式可以包括:
第一步:麦克风阵列采集多个方向上的多个声音信号。可以根据需要设定分辨率Δ,分辨率Δ用于表示声音信号处理阵列的波束的宽度,如果分辨率Δ为30°,则呈线形排列的各声音信号处理单元在其可以朝向的180°范围内,波束采集均布的6个方向上的声音信号,即可采集到180°范围内的所有声音信号。采集某一方向上的声音信号时,可以保持波束指向该方向一定时间,例如500ms等。
第二步:对采集到的多个方向上的多个声音信号进行分析。例如,以20ms为一帧计算声音信号的能量,每一方向上采集500ms声音信号则对应25帧的声音信号,计算1个方向上25个帧声音信号的能量平均值,依次计算全部6个方向上的声音信号的能量平均值,确定能量平均值最大的方向为目标方向。
第三步:提示用户根据第二步中确定的目标方向输入方向指示信息。
第四步:根据方向指示信息,对声音信号处理阵列的波束指向进行调整。
本实施例提供的声音信号处理方法,通过采集和分析多个方向上的声音信号获取目标方向,并提示用户输入相应的用于指示目标方向的方向指示信息,根据方向指示信息对声音信号进行处理,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
本发明实施例中声音信号处理方法的控制模式还可以包括除上述模式之外的其它不同种类的模式以供用户选择,旨在为用户提供包括用户自主控制模式和扫描模式在内的多种不同选择,以实现多种对声音信号进行处理的方式,同时增加用户使用的方便性。
进一步地,接收用户输入的用于指示目标方向的方向指示信息,还可以包括接收用户通过旋钮输入的用于指示目标方向的方向指示信息。旋钮可以是设置在用于控制声音信号处理阵列的设备上的实体的旋钮,也可以是用于控制声音信号处理阵列的设备上的软件形式的旋钮,本发明对此不作限制。采用通过旋钮输入方向指示的方式,丰富了用户操控声音信号处理阵列波束指向的实现方式。
图7为本发明提供的声音信号处理方法实施例七的流程图,如图7所示,本实施例提供的声音信号处理方法可以包括:
S710、根据主声源方向确定声音信号处理阵列的接收方向,根据接收方向及声音信号处理阵列的波束指向确定处理阵列的目标方向,目标方向指处理阵列的接收方向与主声源方向一致时处理阵列的朝向;确定声音信号处理阵列的朝向与目标方向之间的夹角;
S720、提示用户根据夹角调整声音信号处理阵列的朝向,以使声音信号处理阵列的接收方向与主声源方向一致。
本实施例提供的声音信号处理方法,在声音信号处理阵列的波束指向固定的情境下,可以根据主声源方向提示用户调整声音信号处理阵列的接收方向,从而对所处理的声音信号起到增强的效果。
图7所示实施例的具体实现方式可以包括:
第一步:固定麦克风阵列的波束指向,即保持麦克风阵列的波束指向相对于麦克风阵列自身保持不变。以图2为例,即β保持不变,固定麦克风阵列的波束指向的方式可以采用软件控制方式,也可以采用硬件方式固定,例如选择带有指向性的麦克风阵列,比如心形麦克风,心形麦克风对于某一个方向上的声音信号采集效果较好。本发明对固定麦克风阵列的波束指向所采用的形式不做限制;
第二步:以自适应方式确定目标方向,根据目标方向和麦克风阵列被固定的波束指向的夹角,得到麦克风阵列朝向所需调整的角度;
第三步:提示用户根据目标方向输入方向指示信息,即提示用户调整麦克风阵列的朝向,提示中给出建议用户调整麦克风阵列的角度;
第四步:用户根据提示对麦克风阵列的朝向进行调整,例如如果麦克风阵列设置在手机上,用户可以根据手机给出的提示将手机进行相应角度的旋转,以使手机的麦克风阵列的波束指向朝向目标方向。
本实施例提供的声音信号处理方法,在声音信号处理阵列的波束指向固定的情境下,可以根据目标方向提示用户调整声音信号处理阵列的朝向,从而对所处理的声音信号起到增强的效果。
图8为本发明提供的声音信号处理设备实施例一的结构示意图,如图8所示,本实施例提供的声音信号处理设备800可以包括:接收模块810、调整模块820、显示模块830、感测模块840、确定模块850、提示模块860、扫描模块870以及分析模块880,具体地:
接收模块810,用于接收用户输入的用于指示目标方向的方向指示信息;
调整模块820,用于根据方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
进一步地,调整模块820具体用于:根据方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;根据各个信号延时,对与信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
进一步地,所述调整模块820具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;
根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - jω τ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
进一步地,所述调整模块820具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 πf a ( r 1 - r a ) c , e - j 2 πf a ( r 2 - r a ) c . . . , e - j 2 πf a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;
所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;
所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
进一步地,声音信号处理阵列包括声音信号采集阵列,声音信号采集阵列包括多个声音信号采集单元;调整模块820具体用于:根据方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;根据各信号延时,对与信号延时对应的声音信号采集单元采集的声音信号进行延时处理;或者,所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,调整模块820具体用于:根据方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;根据各信号延时,对与信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
进一步地,接收模块810还用于:接收用户输入的控制模式显示指令;显示模块830,用于根据控制模式显示指令,获取并向用户显示可供选择的多种控制模式,多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;接收模块810还用于:接收用户发送的针对多种控制模式的控制模式选择指令,并开启用户所选择的控制模式,接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息。
进一步地,多种控制模式包括用户自主控制模式,用户自主控制模式为允许用户自主输入方向指示信息的模式;若用户所选择的控制模式为用户自主控制模式,接收模块810具体用于:接收用户通过语音输入方式所输入的语音信号,解析语音信号以获取语音信号中包含的方向指示信息;或者,接收模块810具体用于:接收用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析轨迹信息所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,接收模块810具体用于:接收用户通过投影屏幕投射输入的手势图像信息,解析手势图像信息所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,接收模块810具体用于:接收用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,用于指示目标方向的控制指令包括用于指示目标方向的方向指示信息;或者,接收模块810具体用于:接收用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,用滚动信息包括用于指示目标方向的方向指示信息。
进一步地,若用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:接收模块810具体用于:接收用户在触摸屏上滑动输入的一条轨迹信息;根据一条轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,接收模块810具体用于:接收用户在触摸屏上滑动输入的两条轨迹信息;根据两条轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据两条轨迹的延伸方向所限定的角度范围,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息。
进一步地,接收模块810具体用于:根据两条轨迹的延伸方向确定两条轨迹所构成夹角的角平分线延伸的方向;根据角平分线延伸的方向,确定滑动输入所指示的目标方向处于第一角度范围中,第一角度范围以角平分线延伸方向为中心,以两条轨迹所构成夹角的角度的一半为主瓣宽度。
进一步地,感测模块840:用于感测声音信号处理阵列的朝向发生改变,并确定朝向变化量;确定模块850:用于根据朝向变化量以及声音信号处理阵列的朝向改变之前的目标方向,确定声音信号处理阵列的朝向改变之后的目标方向;提示模块860:用于提示用户输入用于指示朝向改变之后的目标方向的方向指示信息。
进一步地,用户所选择的控制模式为扫描模式,扫描模式为通过扫描提示用户输入方向指示信息的模式;对应地,扫描模块870,用于通过扫描采集至少两个方向上的声音信号;分析模块880,用于分析声音信号的能量,确定能量最大的声音信号的声源方向;提示模块860还用于提示用户根据声源方向输入方向指示信息。
本实施例提供的声音信号处理设备800的上述实施方式可以用于执行图1至图6任一所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明提供的声音信号处理设备实施例二的结构示意图,如图9所示,本实施例提供的声音信号处理设备900可以包括:
确定模块910,用于根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;确定声音信号处理阵列的朝向与目标方向的夹角;
提示模块920,用于提示用户根据夹角调整声音信号处理阵列的朝向,以使声音信号处理阵列的接收方向与主声源方向一致。
本实施例提供的声音信号处理设备900的上述实施方式可以用于执行图7所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图10为本发明提供的声音信号处理设备实施例三的结构示意图,如图10所示,本实施例提供的声音信号处理设备1000可以包括:
存储器1010、存储器控制器1015、处理器1020、***接口1030、音频子***1040、声音信号处理阵列1050、波束指向调整指令接收器1060以及传感器1070等。
处理器1020可以为中央处理器CPU(Central Processing Unit,简称CPU);
存储器1010可包括高速随机存取存储器、非易失性固体存储设备等;
存储器控制器1015可控制声音信号处理设备1000的诸如处理器等其它组件对存储器1010的访问,以调用存储器1010中的各模块执行相应功能;
声音信号处理阵列1050可以为麦克风阵列或者扬声器阵列。具体地:
波束指向调整指令接收器1060,可以用于接收用户输入的用于指示目标方向的方向指示信息;
处理器1020,可以用于根据方向指示信息,将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
进一步地,处理器1020具体用于:根据方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;根据各个信号延时,对与信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将声音信号处理阵列的波束指向调整至与目标方向相对应的状态。
进一步地,所述处理器1020具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;
根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - j ωτ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
进一步地,所述处理器1020具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 πf a ( r 1 - r a ) c , e - j 2 πf a ( r 2 - r a ) c . . . , e - j 2 πf a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;
所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;
所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
进一步地,声音信号处理阵列包括声音信号采集阵列,声音信号采集阵列包括多个声音信号采集单元;处理器1020具体用于:根据方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;根据各信号延时,对与信号延时对应的声音信号采集单元采集的声音信号进行延时处理;或者,所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,处理器1020具体用于:根据方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;根据各信号延时,对与信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
进一步地,波束指向调整指令接收器1060还用于:接收用户输入的控制模式显示指令;处理器1020还用于根据控制模式显示指令,获取并向用户显示可供选择的多种控制模式,多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;波束指向调整指令接收器1060还用于:接收用户发送的针对多种控制模式的控制模式选择指令,并开启用户所选择的控制模式,接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的方向指示信息。
进一步地,多种控制模式包括用户自主控制模式,用户自主控制模式为允许用户自主输入方向指示信息的模式;若用户所选择的控制模式为用户自主控制模式;波束指向调整指令接收器1060具体用于:接收用户通过语音输入方式所输入的语音信号,解析语音信号以获取语音信号中包含的方向指示信息;或者,波束指向调整指令接收器1060具体用于:接收用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析轨迹信息所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,波束指向调整指令接收器1060具体用于:接收用户通过投影屏幕投射输入的手势图像信息,解析手势图像信息所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,波束指向调整指令接收器1060具体用于:接收用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,用于指示目标方向的控制指令包括用于指示目标方向的方向指示信息;或者,波束指向调整指令接收器1060具体用于:接收用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,用滚动信息包括用于指示目标方向的方向指示信息。
进一步地,若用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:波束指向调整指令接收器1060具体用于:接收用户在触摸屏上滑动输入的一条轨迹信息;根据一条轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息;或者,波束指向调整指令接收器1060具体用于:接收用户在触摸屏上滑动输入的两条轨迹信息;根据两条轨迹信息所包含的滑动输入在触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据两条轨迹的延伸方向所限定的角度范围,确定滑动输入所指示的目标方向,并生成用以指示目标方向的方向指示信息。
可选地,波束指向调整指令接收器1060具体用于:根据两条轨迹的延伸方向确定两条轨迹所构成夹角的角平分线延伸的方向;根据角平分线延伸的方向,确定滑动输入所指示的目标方向处于第一角度范围中,第一角度范围以角平分线延伸方向为中心,以两条轨迹所构成夹角的角度的一半为主瓣宽度。
可选地,传感器1070:用于感测声音信号处理阵列的朝向发生改变,并确定朝向变化量;处理器1020:用于根据朝向变化量以及声音信号处理阵列的朝向改变之前的目标方向,确定声音信号处理阵列的朝向改变之后的目标方向;提示用户输入用于指示朝向改变之后的目标方向的方向指示信息。
可选地,用户所选择的控制模式为扫描模式,扫描模式为通过扫描提示用户输入方向指示信息的模式;对应地,声音信号处理阵列1050,用于通过扫描采集至少两个方向上的声音信号;处理器1020还用于分析声音信号的能量,确定能量最大的声音信号的声源方向,提示用户根据声源方向输入方向指示信息。
本实施例提供的声音信号处理设备1000的上述实施方式可以用于执行图1至图6任一所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图11为本发明提供的声音信号处理设备实施例四的结构示意图,如图11所示,本实施例提供的声音信号处理设备1100可以包括:
存储器1110、存储器控制器1115、处理器1120、***接口1130、音频子***1140、声音信号处理阵列1150等。
处理器1120可以为中央处理器CPU;
存储器1110可包括高速随机存取存储器、非易失性固体存储设备等;
存储器控制器1115可控制声音信号处理设备1100的诸如处理器等其它组件对存储器1110的访问,以调用存储器1110中的各模块执行相应功能;
声音信号处理阵列1150可以为麦克风阵列或者扬声器阵列。具体地:
处理器1120,用于根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;确定声音信号处理阵列的朝向与目标方向的夹角;提示用户根据夹角调整声音信号处理阵列的朝向,以使声音信号处理阵列的接收方向与主声源方向一致。
本实施例提供的声音信号处理设备1100的上述实施方式可以用于执行图7所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
综上所述,本发明实施例提供的声音信号处理方法及设备,可以根据用户提供的用于指示目标方向的方向指示,对声音信号处理阵列的波束指向进行调整,从而在嘈杂环境下仍可以对声音信号进行准确的处理,进而对所处理的声音信号起到增强的效果。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (24)

1.一种声音信号处理方法,其特征在于,包括:
接收用户输入的用于指示目标方向的方向指示信息;
根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态,包括:
根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;
根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将所述声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
3.根据权利要求2所述的方法,其特征在于,根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时具体包括:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;
对应地,所述根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号具体包括:
根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - jω τ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
4.根据权利要求2所述的方法,其特征在于,根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时具体包括:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 , · · · , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 π f a ( r 1 - r a ) c , e - j 2 π f a ( r 2 - r a ) c . . . , e - j 2 π f a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;
所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;
所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;
对应地,所述根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号具体包括:
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
5.根据权利要求2至4任意一项所述的方法,其特征在于,所述声音信号处理阵列包括声音信号采集阵列,所述声音信号采集阵列包括多个声音信号采集单元;对应地,
所述根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时,包括:根据所述方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;对应地,
所述根据各个信号延时,对与所述信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与所述信号延时对应的声音信号采集单元采集的声音信号进行延时处理;
或者,
所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,
所述根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元的所对应的信号延时,包括:根据所述方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;对应地,
所述根据各个信号延时,对与所述信号延时对应的声音信号处理单元需要处理的声音信号进行延时处理,包括:根据各信号延时,对与所述信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
6.根据权利要求1至4任意一项所述的方法,其特征在于,所述接收用户输入的用于指示目标方向的方向指示信息之前,还包括:
接收用户输入的控制模式显示指令;
根据所述控制模式显示指令,获取并显示可供选择的多种控制模式,所述多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;
接收用户发送的针对所述多种控制模式的控制模式选择指令,并开启用户所选择的控制模式;
所述接收用户输入的用于指示目标方向的方向指示信息,包括:
接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息。
7.根据权利要求6所述的方法,其特征在于,所述多种控制模式包括用户自主控制模式,所述用户自主控制模式为允许用户自主输入所述方向指示信息的模式;若所述用户所选择的控制模式为用户自主控制模式,
所述接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息,包括:
接收所述用户通过语音输入方式所输入的语音信号,解析所述语音信号以获取所述语音信号中包含的方向指示信息;
或者,
接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
接收所述用户通过投影屏幕投射输入的手势图像信息,解析所述手势图像信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
接收所述用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,所述用于指示目标方向的控制指令包括所述用于指示目标方向的方向指示信息;
或者,
接收所述用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,所述用滚动信息包括所述用于指示目标方向的方向指示信息。
8.根据权利要求7所述的方法,其特征在于,若所述用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:
接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:
接收所述用户在触摸屏上滑动输入的一条轨迹信息;
对应,所述解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息包括:
根据所述一条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,确定所述滑动输入所指示的所述目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,包括:
接收所述用户在触摸屏上滑动输入的两条轨迹信息;
对应,所述解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息,包括:
根据所述两条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息。
9.根据权利要求8所述的方法,其特征在于,所述根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,包括:
根据所述两条轨迹的延伸方向确定所述两条轨迹所构成夹角的角平分线延伸的方向;
根据所述角平分线延伸的方向,确定所述滑动输入所指示的目标方向处于第一角度范围中,所述第一角度范围以所述角平分线延伸方向为中心,以所述两条轨迹所构成夹角的角度的一半为主瓣宽度。
10.根据权利要求1至9任意一项所述的方法,其特征在于,在所述接收用户输入的用于指示目标方向的方向指示信息之前,还包括:
感测所述声音信号处理阵列的朝向发生改变,并确定朝向变化量;
根据所述朝向变化量以及所述声音信号处理阵列的朝向改变之前的目标方向,确定所述声音信号处理阵列的朝向改变之后的目标方向;
提示用户输入用于指示所述朝向改变之后的目标方向的所述方向指示信息。
11.根据权利要求6所述的方法,其特征在于,所述用户所选择的控制模式为扫描模式,所述扫描模式为通过扫描提示用户输入所述方向指示信息的模式;
所述接收用户通过所选择的控制模式对应的方向指示信息输入方式所输入的所述方向指示信息之前,还包括:
通过扫描采集至少两个方向上的声音信号;
分析所述声音信号的能量,确定能量最大的声音信号的声源方向;
提示用户根据所述声源方向输入所述方向指示信息。
12.一种声音信号处理方法,其特征在于,包括:
根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;
确定所述声音信号处理阵列的朝向与所述目标方向之间的夹角;
提示用户根据所述夹角调整所述声音信号处理阵列的朝向,以使所述声音信号处理阵列的接收方向与所述主声源方向一致。
13.一种声音信号处理设备,其特征在于,包括:
接收模块,用于接收用户输入的用于指示目标方向的方向指示信息;
调整模块,用于根据所述方向指示信息,将声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
14.根据权利要求13所述的设备,其特征在于,所述调整模块具体用于:
根据所述方向指示信息,确定声音信号处理阵列中各个声音信号处理单元所对应的信号延时;
根据各个所述信号延时,对与所述信号延时相对应的声音信号处理单元需要处理的声音信号进行延时处理以获取经过延时处理的声音信号,并将所述经延时处理的所述声音信号传输至波束形成器以将所述声音信号处理阵列的波束指向调整至与所述目标方向相对应的状态。
15.根据权利要求14所述的设备,其特征在于,所述调整模块具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元n对应的信号延时τn(β):
τ n ( β ) = d n cos β c × f s
其中,dn代表呈线形排列的所述声音信号处理阵列中包含的声音信号处理单元之一的声音信号处理单元n与声音信号处理阵列中心之间的距离,β代表由所述声音信号处理阵列中心指向所述方向指示信息所指示的所述目标方向与一参考坐标之间的近似夹角,c代表声速,fs代表声音信号处理阵列的声音信号采样频率;
根据所述声音信号处理单元n对应的信号延时τn(β)对所述声音信号处理单元n所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y n ( ω , β ) = Y ‾ n ( ω , β ) * e - jω τ n ( β )
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
16.根据权利要求14所述的设备,其特征在于,所述调整模块具体用于:
根据所述方向指示信息通过以下公式获取声音信号处理阵列中各个声音处理单元对应的信号延时的集合T或ψ:
T = [ T 1 , T 2 . . . , T M ] = [ r 1 - r a c f a , r 2 - r a c f a . . . , r M - r a c f a ]
ψ = [ ψ 1 , ψ 2 . . . , ψ M ] = [ e - j 2 π f a ( r 1 - r a ) c , e - j 2 π f a ( r 2 - r a ) c . . . , e - j 2 π f a ( r M - r a ) c ]
其中,TM代表所述声音处理阵列中第M个声音处理单元对应的信号延时,rm代表在所述方向指示信息所指示的目标方向上的某一目标A至所述第m个声音处理单元的距离,fa代表所述声音处理阵列的声音信号采样频率为,c代表声速;
所述rm通过以下公式获取:
r m = r a 2 + b 2 - 2 br a sin θ cos a m , m = 1,2 . . . , M ,
其中,ra代表所述在所述方向指示信息所指示的目标方向上的某一目标A与一参考坐标的坐标原点之间的距离,所述参考坐标的坐标原点为呈环形排列的所述声音处理阵列的圆心,b代表所述呈环形均匀排列的所述声音处理阵列的半径,am代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第m个声音处理单元至所述坐标原点之间的连线之间的夹角;
所述am通过以下公式获取:
a m = a 1 + 2 π ( m - 1 ) M , m = 1,2 . . . , M
其中,a1代表所述某一目标A在所述声音处理阵列所在平面上的投影A`与所述坐标原点之间的连线与所述第1个声音处理单元至所述坐标原点之间的连线之间的夹角;
根据所述信号延时集合T或ψ中的信号延时TM或ψM将对应于所述声音信号处理单元M所采集的声音信号做延时处理,经延时处理后的声音信号可以表达为:
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω T M
Y M ( ω , β ) = Y ‾ M ( ω , β ) * e - jω ψ M
为将由声音信号处理单元n采集到的声音信号进行时频变化后得到的频域信号,ω代表频率索引。
17.根据权利要求14至16任意一项所述的设备,其特征在于,所述声音信号处理阵列包括声音信号采集阵列,所述声音信号采集阵列包括多个声音信号采集单元;对应地,
所述调整模块具体用于:根据所述方向指示信息,确定声音信号采集阵列中各个声音信号采集单元所对应的信号延时;根据各信号延时,对与所述信号延时对应的声音信号采集单元采集的声音信号进行延时处理;
或者,
所述声音信号处理阵列包括声音信号发送阵列,所述声音信号发送阵列包括多个声音信号发送单元;对应地,
所述调整模块具体用于:根据所述方向指示信息,确定声音信号发送阵列中各个声音信号发送单元所对应的信号延时;根据各信号延时,对与所述信号延时对应的声音信号发送单元发送的声音信号进行延时处理。
18.根据权利要求13至16任意一项所述的设备,其特征在于,
所述接收模块还用于:接收用户输入的控制模式显示指令;
所述设备还包括:显示模块,用于根据所述控制模式显示指令,获取并向用户显示可供选择的多种控制模式,所述多种控制模式中的每一种控制模式对应至少一种方向指示信息输入方式;
所述接收模块还用于:接收用户发送的针对所述多种控制模式的控制模式选择指令,并开启用户所选择的控制模式,接收用户通过与所选择的控制模式对应的方向指示信息输入方式所输入的用于指示目标方向的所述方向指示信息。
19.根据权利要求18所述的设备,其特征在于,所述多种控制模式包括用户自主控制模式,所述用户自主控制模式为允许用户自主输入所述方向指示信息的模式;若所述用户所选择的控制模式为用户自主控制模式;
所述接收模块具体用于:接收所述用户通过语音输入方式所输入的语音信号,解析所述语音信号以获取所述语音信号中包含的方向指示信息;
或者,
所述接收模块具体用于:接收所述用户以触摸输入方式在触摸屏上滑动输入的轨迹信息,解析所述轨迹信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
所述接收模块具体用于:接收所述用户通过投影屏幕投射输入的手势图像信息,解析所述手势图像信息所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
所述接收模块具体用于:接收所述用户通过与所选择的控制模式对应的指令输入终端装置输入的用于指示目标方向的控制指令,所述用于指示目标方向的控制指令包括所述用于指示目标方向的方向指示信息;
或者,
所述接收模块具体用于:接收所述用户通过与所选择的控制模式对应的键盘滚轮输入的滚动信息,所述用滚动信息包括所述用于指示目标方向的方向指示信息。
20.根据权利要求19所述的设备,其特征在于,若所述用户选择的控制模式所对应的方式指示信息输入方式为触摸输入方式,其中:
所述接收模块具体用于:接收所述用户在触摸屏上滑动输入的一条轨迹信息;根据所述一条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息;
或者,
所述接收模块具体用于:接收所述用户在触摸屏上滑动输入的两条轨迹信息;根据所述两条轨迹信息所包含的所述滑动输入在所述触摸屏上的起点位置信息和终点位置信息,分别确定两条轨迹的延伸方向;根据所述两条轨迹的延伸方向所限定的角度范围,确定所述滑动输入所指示的目标方向,并生成用以指示所述目标方向的方向指示信息。
21.根据权利要求20所述的设备,其特征在于,所述接收模块具体用于:
根据所述两条轨迹的延伸方向确定所述两条轨迹所构成夹角的角平分线延伸的方向;根据所述角平分线延伸的方向,确定所述滑动输入所指示的目标方向处于第一角度范围中,所述第一角度范围以所述角平分线延伸方向为中心,以所述两条轨迹所构成夹角的角度的一半为主瓣宽度。
22.根据权利要求13至21任意一项所述的设备,其特征在于,还包括:
感测模块:用于感测所述声音信号处理阵列的朝向发生改变,并确定朝向变化量;
确定模块:用于根据所述朝向变化量以及所述声音信号处理阵列的朝向改变之前的目标方向,确定所述声音信号处理阵列的朝向改变之后的目标方向;
提示模块:用于提示用户输入用于指示所述朝向改变之后的目标方向的所述方向指示信息。
23.根据权利要求18所述的设备,其特征在于,所述用户所选择的控制模式为扫描模式,所述扫描模式为通过扫描提示用户输入所述方向指示信息的模式;对应地,还包括:
扫描模块,用于通过扫描采集至少两个方向上的声音信号;
分析模块,用于分析所述声音信号的能量,确定能量最大的声音信号的声源方向;
所述提示模块还用于提示用户根据所述声源方向输入所述方向指示信息。
24.一种声音信号处理设备,其特征在于,包括:
确定模块,用于根据主声源方向确定声音信号处理阵列的接收方向,根据所述接收方向及所述声音信号处理阵列的波束指向确定所述处理阵列的目标方向,所述目标方向指所述处理阵列的接收方向与主声源方向一致时所述处理阵列的朝向;确定所述声音信号处理阵列的朝向与所述目标方向的夹角;
提示模块,用于提示用户根据所述夹角调整所述声音信号处理阵列的朝向,以使所述声音信号处理阵列的接收方向与所述主声源方向一致。
CN201310092267.3A 2013-03-21 2013-03-21 声音信号处理方法及设备 Active CN104065798B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310092267.3A CN104065798B (zh) 2013-03-21 2013-03-21 声音信号处理方法及设备
EP14767360.2A EP2977985A4 (en) 2013-03-21 2014-03-10 Sound signal processing method and device
PCT/CN2014/073124 WO2014146547A1 (zh) 2013-03-21 2014-03-10 声音信号处理方法及设备
US14/859,743 US20160011851A1 (en) 2013-03-21 2015-09-21 Sound signal processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310092267.3A CN104065798B (zh) 2013-03-21 2013-03-21 声音信号处理方法及设备

Publications (2)

Publication Number Publication Date
CN104065798A true CN104065798A (zh) 2014-09-24
CN104065798B CN104065798B (zh) 2016-08-03

Family

ID=51553321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310092267.3A Active CN104065798B (zh) 2013-03-21 2013-03-21 声音信号处理方法及设备

Country Status (4)

Country Link
US (1) US20160011851A1 (zh)
EP (1) EP2977985A4 (zh)
CN (1) CN104065798B (zh)
WO (1) WO2014146547A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378570A (zh) * 2014-09-28 2015-02-25 小米科技有限责任公司 录音方法及装置
CN105611458A (zh) * 2015-11-11 2016-05-25 广东欧珀移动通信有限公司 一种移动终端的定向录音控制方法及装置
CN106098075A (zh) * 2016-08-08 2016-11-09 腾讯科技(深圳)有限公司 基于麦克风阵列的音频采集方法和装置
CN106302974A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106548783A (zh) * 2016-12-09 2017-03-29 西安Tcl软件开发有限公司 语音增强方法、装置及智能音箱、智能电视
CN106611600A (zh) * 2016-12-02 2017-05-03 广州音书科技有限公司 用于远场拾音及移动充电的音频处理装置及***
CN106816156A (zh) * 2017-02-04 2017-06-09 北京时代拓灵科技有限公司 一种音频质量增强的方法及装置
CN106935246A (zh) * 2015-12-31 2017-07-07 芋头科技(杭州)有限公司 一种基于麦克风阵列的人声获取方法及电子设备
CN107016710A (zh) * 2016-12-08 2017-08-04 阿里巴巴集团控股有限公司 一种坐标轴的绘制方法及装置
WO2017197867A1 (zh) * 2016-05-19 2017-11-23 华为技术有限公司 一种采集声音信号的方法和装置
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN107534809A (zh) * 2015-03-30 2018-01-02 微软技术许可有限责任公司 可调音频波束成形
CN108172236A (zh) * 2018-01-12 2018-06-15 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN108877757A (zh) * 2017-05-08 2018-11-23 极光飞行科学公司 用于声学辐射控制的***和方法
CN109286790A (zh) * 2018-10-17 2019-01-29 杭州兆华电子有限公司 一种基于声源定位的定向监听***及其监听方法
CN109313532A (zh) * 2016-06-22 2019-02-05 索尼公司 信息处理设备、信息处理方法和程序
CN109785835A (zh) * 2019-01-25 2019-05-21 广州富港万嘉智能科技有限公司 一种通过移动终端实现声音录制的方法及装置
CN110121129A (zh) * 2019-06-20 2019-08-13 歌尔股份有限公司 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机
CN110121048A (zh) * 2018-02-05 2019-08-13 青岛海尔多媒体有限公司 一种会议一体机的控制方法及控制***和会议一体机
CN110648612A (zh) * 2018-06-26 2020-01-03 乐金显示有限公司 显示装置
CN111052766A (zh) * 2017-09-07 2020-04-21 三菱电机株式会社 噪音去除装置及噪音去除方法
CN111093130A (zh) * 2018-10-24 2020-05-01 丰田自动车株式会社 信息处理装置及信息处理方法
CN111688580A (zh) * 2020-05-29 2020-09-22 北京百度网讯科技有限公司 智能后视镜进行拾音的方法以及装置
CN112466305A (zh) * 2020-12-16 2021-03-09 苏州思必驰信息科技有限公司 饮水机的语音控制方法及装置
WO2022089563A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
KR102362121B1 (ko) * 2015-07-10 2022-02-11 삼성전자주식회사 전자 장치 및 그 입출력 방법
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
TW202044236A (zh) 2019-03-21 2020-12-01 美商舒爾獲得控股公司 具有抑制功能的波束形成麥克風瓣之自動對焦、區域內自動對焦、及自動配置
CN110119264B (zh) * 2019-05-21 2023-03-31 北京达佳互联信息技术有限公司 音效调整方法、装置及存储介质
EP3973716A1 (en) 2019-05-23 2022-03-30 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
GB2584629A (en) * 2019-05-29 2020-12-16 Nokia Technologies Oy Audio processing
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11122364B1 (en) * 2020-08-31 2021-09-14 Nanning Fugui Precision Industrial Co., Ltd. Footsteps tracking method and system thereof
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1762179A (zh) * 2003-01-17 2006-04-19 1...有限公司 阵列型声***配置方法
CN101242677A (zh) * 2007-02-05 2008-08-13 索尼株式会社 耳机设备、声音再现***和声音再现方法
CN102421050A (zh) * 2010-09-17 2012-04-18 三星电子株式会社 使用麦克风的非均匀布局来增强音频质量的设备和方法
WO2012061151A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
CN102804806A (zh) * 2009-06-23 2012-11-28 诺基亚公司 用于处理音频信号的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049607A (en) * 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
US6594367B1 (en) * 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
JP3824920B2 (ja) * 2001-12-07 2006-09-20 ヤマハ発動機株式会社 マイクロホンユニット及び音源方向同定システム
WO2005076661A1 (ja) * 2004-02-10 2005-08-18 Mitsubishi Denki Engineering Kabushiki Kaisha 超指向性スピーカ搭載型移動体
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
CN102164328B (zh) * 2010-12-29 2013-12-11 中国科学院声学研究所 一种用于家庭环境的基于传声器阵列的音频输入***
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US20130332156A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Sensor Fusion to Improve Speech/Audio Processing in a Mobile Device
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1762179A (zh) * 2003-01-17 2006-04-19 1...有限公司 阵列型声***配置方法
CN101242677A (zh) * 2007-02-05 2008-08-13 索尼株式会社 耳机设备、声音再现***和声音再现方法
CN102804806A (zh) * 2009-06-23 2012-11-28 诺基亚公司 用于处理音频信号的方法及装置
CN102421050A (zh) * 2010-09-17 2012-04-18 三星电子株式会社 使用麦克风的非均匀布局来增强音频质量的设备和方法
WO2012061151A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378570A (zh) * 2014-09-28 2015-02-25 小米科技有限责任公司 录音方法及装置
CN107534809A (zh) * 2015-03-30 2018-01-02 微软技术许可有限责任公司 可调音频波束成形
CN106302974A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106302974B (zh) * 2015-06-12 2020-01-31 联想(北京)有限公司 一种信息处理的方法及电子设备
CN105611458A (zh) * 2015-11-11 2016-05-25 广东欧珀移动通信有限公司 一种移动终端的定向录音控制方法及装置
CN105611458B (zh) * 2015-11-11 2019-07-16 Oppo广东移动通信有限公司 一种移动终端的定向录音控制方法及装置
CN106935246A (zh) * 2015-12-31 2017-07-07 芋头科技(杭州)有限公司 一种基于麦克风阵列的人声获取方法及电子设备
WO2017197867A1 (zh) * 2016-05-19 2017-11-23 华为技术有限公司 一种采集声音信号的方法和装置
CN109313532A (zh) * 2016-06-22 2019-02-05 索尼公司 信息处理设备、信息处理方法和程序
CN109313532B (zh) * 2016-06-22 2022-05-06 索尼公司 信息处理设备、信息处理方法和程序
CN106098075B (zh) * 2016-08-08 2018-02-02 腾讯科技(深圳)有限公司 基于麦克风阵列的音频采集方法和装置
CN106098075A (zh) * 2016-08-08 2016-11-09 腾讯科技(深圳)有限公司 基于麦克风阵列的音频采集方法和装置
CN106611600A (zh) * 2016-12-02 2017-05-03 广州音书科技有限公司 用于远场拾音及移动充电的音频处理装置及***
CN107016710A (zh) * 2016-12-08 2017-08-04 阿里巴巴集团控股有限公司 一种坐标轴的绘制方法及装置
CN107016710B (zh) * 2016-12-08 2021-05-18 创新先进技术有限公司 一种坐标轴的绘制方法及装置
CN106548783A (zh) * 2016-12-09 2017-03-29 西安Tcl软件开发有限公司 语音增强方法、装置及智能音箱、智能电视
CN106816156A (zh) * 2017-02-04 2017-06-09 北京时代拓灵科技有限公司 一种音频质量增强的方法及装置
CN108877757B (zh) * 2017-05-08 2023-09-01 极光飞行科学公司 用于声学辐射控制的***和方法
CN108877757A (zh) * 2017-05-08 2018-11-23 极光飞行科学公司 用于声学辐射控制的***和方法
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN111052766B (zh) * 2017-09-07 2021-07-27 三菱电机株式会社 噪音去除装置及噪音去除方法
CN111052766A (zh) * 2017-09-07 2020-04-21 三菱电机株式会社 噪音去除装置及噪音去除方法
CN108172236A (zh) * 2018-01-12 2018-06-15 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN108172236B (zh) * 2018-01-12 2021-08-20 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN110121048A (zh) * 2018-02-05 2019-08-13 青岛海尔多媒体有限公司 一种会议一体机的控制方法及控制***和会议一体机
CN110648612A (zh) * 2018-06-26 2020-01-03 乐金显示有限公司 显示装置
CN110648612B (zh) * 2018-06-26 2021-09-24 乐金显示有限公司 显示装置
CN109286790A (zh) * 2018-10-17 2019-01-29 杭州兆华电子有限公司 一种基于声源定位的定向监听***及其监听方法
CN109286790B (zh) * 2018-10-17 2021-05-07 杭州兆华电子有限公司 一种基于声源定位的定向监听***及其监听方法
CN111093130B (zh) * 2018-10-24 2021-12-28 丰田自动车株式会社 信息处理装置及信息处理方法
CN111093130A (zh) * 2018-10-24 2020-05-01 丰田自动车株式会社 信息处理装置及信息处理方法
US10991171B2 (en) 2018-10-24 2021-04-27 Toyota Jidosha Kabushiki Kaisha Information processing device and information processing method
CN109785835A (zh) * 2019-01-25 2019-05-21 广州富港万嘉智能科技有限公司 一种通过移动终端实现声音录制的方法及装置
CN110121129A (zh) * 2019-06-20 2019-08-13 歌尔股份有限公司 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机
US11631420B2 (en) 2020-05-29 2023-04-18 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Voice pickup method for intelligent rearview mirror, electronic device and storage medium
CN111688580A (zh) * 2020-05-29 2020-09-22 北京百度网讯科技有限公司 智能后视镜进行拾音的方法以及装置
WO2022089563A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
CN114449393A (zh) * 2020-10-31 2022-05-06 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
CN114449393B (zh) * 2020-10-31 2023-10-13 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
CN112466305A (zh) * 2020-12-16 2021-03-09 苏州思必驰信息科技有限公司 饮水机的语音控制方法及装置

Also Published As

Publication number Publication date
US20160011851A1 (en) 2016-01-14
WO2014146547A1 (zh) 2014-09-25
EP2977985A4 (en) 2017-06-28
CN104065798B (zh) 2016-08-03
EP2977985A1 (en) 2016-01-27

Similar Documents

Publication Publication Date Title
CN104065798A (zh) 声音信号处理方法及设备
US11620983B2 (en) Speech recognition method, device, and computer-readable storage medium
US10909988B2 (en) Systems and methods for displaying a user interface
US9632586B2 (en) Audio driver user interface
US9900685B2 (en) Creating an audio envelope based on angular information
CN105979442B (zh) 噪声抑制方法、装置和可移动设备
US20220159373A1 (en) Method for enhancing far-field speech recognition rate, system and readable storage medium
KR20160091725A (ko) 음성 인식 방법 및 장치
CN104049721A (zh) 信息处理方法及电子设备
EP3542549A1 (en) Distributed audio capture and mixing controlling
KR20160045083A (ko) 다수의 마이크로폰들을 통한 오디오 포커싱
CN104919823A (zh) 具有智能方向性会议的装置及***
CN111251307B (zh) 应用于机器人的语音采集方法和装置、一种机器人
CN107004426A (zh) 录取录像对象的声音的方法和移动终端
CN105446487A (zh) 电子书翻页控制方法及装置
CN105719672A (zh) 一种录音情景模式切换方法及装置
CN109545217B (zh) 语音信号接收方法、装置、智能终端及可读存储介质
KR20130054131A (ko) 디스플레이장치 및 그 제어방법
CN110459236A (zh) 音频信号的噪声估计方法、装置及存储介质
CN113608167B (zh) 声源定位方法、装置及设备
CN114089945A (zh) 音量实时调整方法、电子设备及可读存储介质
CN113707149A (zh) 音频处理方法和装置
EP2891957B1 (en) Computing system with command-sense mechanism and method of operation thereof
US11317293B2 (en) Methods for authenticating a user of an electronic device
CN115202490A (zh) 触控笔的录音方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171206

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171219

Address after: 402260 Chongqing city Jiangjin Jijiang 90 Minsheng Road No. 1-7-2 Building 1

Patentee after: CHONGQING GAWAWA TECHNOLOGY CO.,LTD.

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20181126

Address after: 401120 Yubei District, Chongqing, Longxi street, Hong Jin Avenue 498, Jiale, Violet 1, 5- business.

Patentee after: Chongqing Kaituo Technology Development Co.,Ltd.

Address before: 402260 Jiangjin 90 District, Chongqing City, No. 1, No. 1, No.

Patentee before: CHONGQING GAWAWA TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201109

Address after: No. ZC030, College Students Pioneer Park, Tongling City, Anhui Province, 244000

Patentee after: TONGLING HUIHENG ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 401120 Jiale Ziguang Building 5-Business, 498 Hongjin Avenue, Longxi Street, Yubei District, Chongqing

Patentee before: CHONGQING KAITUO TECHNOLOGY DEVELOPMENT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220929

Address after: Office 1305, Floor 13, Building 1 #, Xintong International Center, No. 79, Wulongjiang South Avenue, Nanyu Town, Minhou County, Fuzhou City, 350000, Fujian Province

Patentee after: Fujian Ruixin Technology Co.,Ltd.

Address before: No. zc030, 244000 college students entrepreneurship Park, Tongling City, Anhui Province

Patentee before: TONGLING HUIHENG ELECTRONIC TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right