JP2018056902A - 収音装置、プログラム及び方法 - Google Patents

収音装置、プログラム及び方法 Download PDF

Info

Publication number
JP2018056902A
JP2018056902A JP2016193486A JP2016193486A JP2018056902A JP 2018056902 A JP2018056902 A JP 2018056902A JP 2016193486 A JP2016193486 A JP 2016193486A JP 2016193486 A JP2016193486 A JP 2016193486A JP 2018056902 A JP2018056902 A JP 2018056902A
Authority
JP
Japan
Prior art keywords
target area
area sound
sound
correction coefficient
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016193486A
Other languages
English (en)
Other versions
JP6260666B1 (ja
Inventor
一浩 片桐
Kazuhiro Katagiri
一浩 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016193486A priority Critical patent/JP6260666B1/ja
Application granted granted Critical
Publication of JP6260666B1 publication Critical patent/JP6260666B1/ja
Publication of JP2018056902A publication Critical patent/JP2018056902A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】 エリア収音を行う際のミュージカルノイズ等を抑制し、かつ雑音レベルの変動に対応する。【解決手段】 本発明は、収音装置に関する。そして本発明の収音装置は、入力信号からビームフォーマにより目的エリア方向に指向性を形成する手段と、ビームフォーマ出力から目的エリア方向に存在する非目的エリア音を抽出する手段と、ビームフォーマの出力に含まれる非目的エリア音成分と抽出した非目的エリア音成分との間を補正する補正係数を算出する手段と、抽出した非目的エリア音を算出した補正係数で補正して、さらに位相を反転させた位相反転済非目的エリア音を用いて、ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する手段とを有することを特徴とする。【選択図】 図1

Description

本発明は、収音装置、プログラム及び方法に関し、例えば特定のエリアの音を強調し、それ以外のエリアの音を抑圧する装置に適用し得る。
複数の音源が存在する環境下において、ある特定の方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ(Beam Former;以下BF)がある。BFとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である(非特許文献1参照)。BFは、加算型と減算型の大きく2つの種類に分けられる。
特に減算型BFは、加算型BFに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
図6は、従来の減算型BFに係る構成を示すブロック図である。
図6に示す従来の減算型BFでは、マイクロホン数が2個となっている。
従来の減算型BFは、まず遅延器により目的とする方向に存在する音(以下、「目的音」とも呼ぶ)が各マイクロホンに到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。従来の減算型BFの遅延器では、時間差は下記(1)式により算出される。
下記の(1)式において、dはマイクロホン間の距離、cは音速、τは遅延量である。また、下記の(1)式において、θは、各マイクロホンを結んだ直線に対する垂直方向から目的方向への角度である。
τ=(dsinθ)/c …(1)
ここで、死角が第1のマイクロホンと第2のマイクロホンの中心に対し、第1のマイクロホンの方向に存在する場合、従来の減算型BFにおける遅延器は、第1のマイクロホンの入力信号x(t)に対し遅延処理を行う。その後、遅延処理された入力信号x(t)は、(2)式に従い減算処理される。
(t)=x(t)−x(t−τ) …(2)
従来の減算型BFにおける減算処理は、周波数領域でも同様に行うことができ、その場合(2)式は(3)式のように変更される。
Figure 2018056902
ここでθ=±π/2の場合、形成される指向性は図7(A)に示すように、カージオイド型の単一指向性となり、θ=0,πの場合は、図7(B)のような8の字型の双指向性となる。以下では、入力信号から単一指向性を形成するフィルタを単一指向性フィルタ、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。
また、従来の収音装置において、スペクトル減算法(Spectral Subtraction;以下「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。SSによる指向性は、(4)式に従い全周波数、もしくは指定した周波数帯域で形成される。(4)式では、第1のマイクロホンの入力信号Xを用いているが、第2のマイクロホンの入力信号Xでも同様の効果を得ることができる。ここでβはSSの強度を調節するための係数である。減算時に値がマイナスなった場合は、0または元の値を小さくした値に置き換えるフロアリング処理を行う。この方式は、双指向性フィルタにより目的方向以外に存在する音(以下、「非目的音」とも呼ぶ)を抽出し、抽出した非目的音の振幅スペクトル|M|を入力信号の振幅スペクトル|X|から減算することで、目的音|Y|を強調することができる。なお周波数毎の振幅スペクトル|X1k|,|M1k|は(5)式及び(6)式から算出する。ここでReとImはそれぞれ実数部と虚数部、kは周波数を表している。
Figure 2018056902
ある特定のエリア内(収音対象のエリア内)に存在する音(以下、「目的エリア音」と呼ぶ)だけを収音したい場合、従来の減算型BFの指向性は直線的に形成されるため、その指向性を目的エリア方向に向けるだけでは、目的エリアの外に存在する音源(以下、「非目的エリア音」と呼ぶ)であっても、目的エリア方向に存在する音源は全て収音してしまう。
そこで特許文献1では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する手法(エリア収音)を提案している。
特許文献1に記載されたエリア収音手法では、まず、各マイクロホンアレイのBF出力に含まれる目的エリア音のパワーの比率を推定し、それを補正係数とする。例えば、2つのマイクロホンアレイを用いて、特許文献1に記載されたエリア収音を行う場合、目的エリア音パワーの補正係数は、(7)式または(8)式により算出される。
Figure 2018056902
(7)式、(8)式において、|Y1k|は第1のマイクロホンアレイのBF出力の振幅スペクトル、|Y2k|は第2のマイクロホンアレイのBF出力の振幅スペクトル、mは周波数ビンの総数、αはBF出力に対するパワー補正係数である。また、(7)式、(8)式において、modeは最頻値、medianは中央値を表している。
特許文献1に記載されたエリア収音手法では、その後、補正係数により各BF出力を補正し、SSすることで、目的エリア方向に存在する非目的エリア音を抽出する。特許文献1に記載されたエリア収音手法では、更に抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出することができる。
そして、特許文献1に記載されたエリア収音手法では、第1のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音|N|を抽出する際、(9)式に示すように、第1のマイクロホンアレイのBF出力|Y|から、第2のマイクロホンアレイのBF出力|Y|にパワー補正係数αを掛けたものをSSする。
|N|=|Y|−α|Y| …(9)
その後、特許文献1に記載されたエリア収音手法では、(10)式に従い、BF出力から非目的エリア音をSSして目的エリア音を抽出する。γはSS時の強度を変更するための係数である。
|Z|=|Y|−γ|N| …(10)
特開2014−72708号公報
浅野太著,"音響テクノロジーシリーズ16 音のアレイ信号処理−音源の定位・追跡と分離−",日本音響学会編,コロナ社,2011年2月25日発行
しかしながら、特許文献1のエリア収音手法では、背景雑音や非目的エリア音の音量レベルが大きい場合、目的エリア音抽出の際にSSを行うと、雑音の引き残しによりミュージカルノイズという耳障りな異音が発生したり、非目的エリア音だけでなく目的エリア音も抑圧してしまい音が歪んだりする可能性がある。そのため、特許文献1のエリア収音手法では、これらの影響により音が聞き取り難くなり、音による円滑なコミュニケーションが阻害される恐れがある。
そこで、エリア収音を行う際のミュージカルノイズ等を抑制し、かつ雑音レベルの変動に対応することができる収音装置、プログラム及び方法が望まれている。
第1の本発明の収音装置は、(1)入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、(2)前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、(3)前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、(4)前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段とを有することを特徴とする。
第2の本発明の収音プログラムは、コンピュータを、(1)入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、(2)前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、(3)前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、(4)前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段として機能させることを特徴とする。
第3の本発明は、収音装置が行う収音方法において、(1)指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、(2)指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、(3)前記指向性形成手段は、入力信号からビームフォーマにより目的エリア方向に指向性を形成し、(4)前記非目的エリア音抽出手段は、前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出し、(5)前記補正係数算出手段は、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出し、(6)前記目的エリア音強調手段は、前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調することを特徴とする。
本発明によれば、エリア収音を行う際のミュージカルノイズ等を抑制し、かつ雑音レベルの変動に対応することができる。
第1の実施形態に係る収音装置の機能的構成について示したブロック図である。 第1の実施形態に係る2つのマイクロホンアレイのビームフォーマ(BF)による指向性を別々の方向から目的エリアへ向けた場合の構成例について示した説明図である。 第1の実施形態に係る収音装置で処理する信号の例について示したグラフである。 第1の実施形態に係る収音装置の性能を確認するための実験結果について示した説明図である。 第2の実施形態に係る収音装置の機能的構成について示したブロック図である。 従来の収音装置の構成について示したブロック図である。 従来の指向性フィルタにより形成される指向特性の一例を説明する説明図である。
(A)第1の実施形態
以下、本発明による収音装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。
(A−1)第1の実施形態の構成
図1は、この実施形態の収音装置100の機能的構成について示したブロック図である。
収音装置100は、2つのマイクロホンアレイMA(MA1、MA2)を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
マイクロホンアレイMA1、MA2は、目的エリアが存在する空聞の任意の場所に配置される。目的エリアに対するマイクロホンアレイMA1、MA2の位置は、例えば、図2に示すように、指向性が目的エリアでのみ重なればどこでも良く、目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイMAは2つ以上のマイクロホンMから構成され、各マイクロホンMにより音響信号を収音する。この実施形態では、各マイクロホンアレイMAに、音響信号を収音する2つのマイクロホンM(M1、M2)が配置されるものとして説明する。すなわち、各マイクロホンアレイMAは、2chマイクロホンアレイを構成している。なお、マイクロホンアレイMAの数は2つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイMAを配置する必要がある。なお、この実施形態では、マイクロホンアレイの代わりにショットガンマイクなどの指向性マイクロホンを使用するようにしてもよい。
収音装置100は、データ入力部1、指向性形成部2、遅延補正部3、空間座標データ4、目的エリア音パワー補正係数算出部5、非目的エリア音抽出部6、非目的エリア音振幅スペクトル補正係数算出部7、目的エリア音強調部8を有している。収音装置100を構成する各機能ブロックの詳細処理については後述する。
収音装置100は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置100は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態の収音プログラムを含む)をインストールすることにより構成するようにしてもよい。
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の収音装置100の動作(実施形態に係る収音方法)を説明する。
データ入力部1は、各マイクロホンアレイMA1、MA2で収音した音響信号をアナログ信号からデジタル信号に変換する。そして、データ入力部1は、当該デジタル信号について、変換処理(例えば、高速フーリエ変換等を用いて時間領域から周波数領域へ変換する処理)を行う。
指向性形成部2は、マイクロホンアレイMA毎に、目的方向以外に存在する非目的エリア音を抽出(例えば、双指向性フィルタにより抽出)し、抽出した非目的エリア音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的エリア方向に指向性を形成した音(BF出力)を取得する。具体的には、指向性形成部2は、マイクロホンアレイ毎に、(4)式に従いBFにより目的エリア方向に指向性を形成した音をBF出力として取得する。なお、入力される信号が、マイクロホンアレイではなく、指向性マイクロホンから入力される信号である場合、指向性形成部2の処理を省略して、入力信号をそのまま後段側に供給するようにしてもよい。
遅延補正部3は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する。まず空間座標データ4から目的エリアの位置とマイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間の差を算出する。次に最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
空間座標データ4は、全ての目的エリアと各マイクロホンアレイと各マイクロホンアレイを構成するマイクロホンの位置情報を保持する。
目的エリア音パワー補正係数算出部5は、各BF出力(遅延補正部3により補正されたBF出力)に含まれる目的エリア音成分のパワーを同じにするための補正係数を(7)式または(8)式に従い算出する。
非目的エリア音抽出部6は、目的エリア音パワー補正係数算出部5で算出した補正係数により補正した各BF出力を(9)式に従いSSし、目的エリア方向に存在する非目的エリア音を抽出する。
非目的エリア音振幅スペクトル補正係数算出部7は、BF出力(目的エリア音パワー補正係数算出部5で算出した補正係数により補正した各BF出力)に含まれる非目的エリア音成分の振幅スペクトルと、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルを同じにするための補正係数(以下、「μ」と表す)を算出する。言い換えると、補正係数μは、BF出力に含まれる非目的エリア音成分の振幅スペクトルと、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルとの間を補正するための係数であるともいえる。具体的には、非目的エリア音振幅スペクトル補正係数算出部7は、BF出力の振幅スペクトルと、抽出した非目的エリア音の振幅スペクトルとの比に基づき、補正係数μ(非目的エリア音振幅スペクトル補正係数)を算出する。
非目的エリア音振幅スペクトル補正係数算出部7は、まず、BF出力と抽出した非目的エリア音とで周波数毎(成分毎)に振幅スペクトルの比(比率)を求める。そして、非目的エリア音振幅スペクトル補正係数算出部7は、周波数毎の振幅スペクトルの比から最頻値を算出し、この最繁値を補正係数μとして求める。
具体的には、非目的エリア音振幅スペクトル補正係数算出部7は、例えば、(11)式を用いてμを求めることができる。
(11)式において、|Y1k|はマイクロホンアレイMA1のBF出力の振幅スペクトル、|N1k|は抽出した非目的エリア音の振幅スペクトル、kは周波数、mは周波数ビンの総数、modeは最頻値(最繁値を求める関数)をそれぞれ示している。また、(11)式において|N1k|=0の場合、0割を避けるため|Y1k|/|N1k|は0とする。
非目的エリア音抽出部6は、BF出力|Y1k|から非目的エリア音成分|N1k|を抽出している。すなわち、BF出力|Y1k|にも、抽出された|N1k|と同様の非目的エリア音成分が同じ割合・分布で含まれている。したがって、BF出力|Y1k|と抽出した非目的エリア音|N1k|の振幅スペクトルの比(|Y1k|/|N1k|)をもとめると、非目的エリア音成分での比率は同じになる。それに比べ非目的エリア音成分以外の成分(目的エリア音成分や、背景雑音成分など)はBF出力|Y1k|にしか含まれないため、上述の比率はばらつき、かつ大きな値となる。上述のような特性に基づき、非目的エリア音振幅スペクトル補正係数算出部7は、成分ごと(周波数ごと)の比率|Y1k|/|N1k|を算出し、予め定めた閾値(以下「Τ」と呼ぶ)より大きな値の比率となる成分を排除した後、残りの成分の比率に対して最頻値を求める。これにより、非目的エリア音振幅スペクトル補正係数算出部7では、求めた最頻値が、BF出力|Y1k|中の非目的エリア音と、抽出した非目的エリア音の振幅スペクトル|N1k|を等しくする補正係数となる。
なお、非目的エリア音振幅スペクトル補正係数算出部7は、(11)式のような比率|Y1k|/|N1k|の最頻値(mode)ではなく、(12)式のように、近似として中央値(median)を補正係数μとするようにしてもよい。
Figure 2018056902
目的エリア音強調部8は、ミュージカルノイズ発生の原因になり得る目的エリア音抽出時のSSを行わず、位相情報を用いて、BF出力から非目的エリア音を抑圧し、目的エリア音を強調する。
入力信号の位相情報は、離散フーリエ変換を行った入力信号の実数部と虚数部をそれぞれ入力信号の振幅スペクトルで除算して得ることが出来る。目的エリア音強調部8では、この位相情報を非目的エリア音とBF出力の振幅スペクトルに乗算することで、入力信号と同じ位相を持たせることができる。入力信号の位相情報には、もともとBFにおける目的音の位相が含まれている。BF出力には目的エリア音と非目的エリア音が含まれているので、BF出力に入力信号の位相情報を付与すれば、BF出力中の目的エリア音と非目的エリア音の位相を復元することができる。また、目的エリア音強調部8では、同様に抽出した非目的エリア音の位相も復元することができる。このことから、抽出した非目的エリア音の位相を逆位相にしてBF出力と足し合わせれば、BF出力中の非目的エリア音成分は、抽出した非目的エリア音成分と打ち消し合って抑圧される。その結果、目的エリア音強調部8では、BF出力中の目的エリア音のみを強調することが可能となる。
以下、目的エリア音強調部8の具体的な処理の例について説明する。
目的エリア音強調部8は、非目的エリア音抽出部6で抽出した非目的エリア音|N|(周波数毎の成分|N1k|の各成分をベクトルとしてまとめたもの、以下同じ)を、非目的エリア音振幅スペクトル補正係数算出部7で算出した補正係数μにより補正し、|N’|として取得する。具体的には、目的エリア音強調部8は、(13)式に示すように、非目的エリア音|N|に補正係数μを乗じることで、|N’|を取得する。
そして、目的エリア音強調部8は、(14)式に従い、|N’|に位相情報を与える。
そして、目的エリア音強調部8は、(15)式に従い、BF出力|Y|にも入力信号の位相情報を与える。
そして、目的エリア音強調部8は、全帯域もしくは所定の範囲に制限した帯域で、(16)式に従い、N´の位相を反転させてYに足し合わせることで、BF出力中の非目的エリア音成分を抑圧し、目的エリア音を強調した信号Zを取得する。
Figure 2018056902
そして、目的エリア音強調部8は、目的エリア音を強調した信号Zを出力(そのまま、又は、時間領域に変換して出力)する。
(13)〜(16)式において、μは、非目的エリア音振幅スペクトル補正係数算出部7で算出した補正係数である。なお、目的エリア音強調部8において、非目的エリア音の抑圧は、周波数領域で行っても良いし、逆フーリエ変換により時間領域に戻した後に行っても良い。
上述の通り、エリア収音処理の過程で抽出された非目的エリア音は、振幅スペクトルであり位相情報が失われているので、目的エリア音強調部8では、これに入力信号の位相情報を付与する。また、BF出力も振幅スペクトルなので、目的エリア音強調部8は、同様に入力信号の位相情報を与える。
(A−3)第1の実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
(A−3−1)第1の実施形態の収音装置100では、非目的エリア音の抑圧に、ミュージカルノイズ発生の原因になり得る目的エリア音抽出時のSSを行わずに、BF出力中の非目的エリア音成分に対して、抽出した非目的エリア音を逆位相にして打ち消すことにより目的エリア音を強調している。これにより、第1の実施形態の収音装置100では、ミュージカルノイズの発生を低減し、かつ、目的エリア音を抑圧して歪ませてしまうことを低減するという効果を奏する。
通常SSにより抽出した非目的エリア音の振幅スペクトルは、背景雑音などの影響でBF出力中の非目的エリア音の振幅スペクトルよりも小さくなる。この状態では、抽出した非目的エリア音の位相を逆位相にしてBF出力と足しあわせても、完全に打ち消すことができない。これに対して、第1の実施形態の収音装置100のように、非目的エリア音を逆位相にして打ち消す処理を行う場合、SSのように非線形的な処理ではなく線形的な処理となるため、SSのようにミュージカルノイズを発生させることを抑制することができる。
(A−3−2)第1の実施形態の収音装置100では、補正係数μとして、BF出力に含まれる非目的エリア音成分と、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルを同じにするものを算出(例えば、(11)又は(12)式に従って算出)して取得している。
例えば、補正係数μを定数として非目的エリア音の抑圧を行う場合、BF出力中の非目的エリア音成分とBF出力から抽出した非目的エリア音成分の振幅スペクトルが同じ大きさであることを前提とすることになる。また、例えば、補正係数μを、背景雑音のレベルに応じて設定した場合、背景雑音のレベルが大きく変動するような環境では、抽出した非目的エリア音の振幅スペクトルの変化が線形とは限らないため、追従できない可能性がある。また背景雑音の種類によっても、抽出した非目的エリア音の振幅スペクトルの大きさが変わるため、補正係数μを背景雑音のレベルに比例させるだけでは対応すること(適切な補正係数μに変動させること)が難しい。
以上のように、第1の実施形態の収音装置100では、BF出力と抽出した非目的エリア音の振幅スペクトル比から補正係数μを求めることで、背景雑音レベルの変化や種類の違いに頑健な位相抑圧によるエリア収音が可能となる。
(A−3−3)次に、出願人が実際に第1の実施形態の収音装置100を構築して行った実験(以下、「本実験」と呼ぶ)について図3、図4のグラフを用いて説明する。
図3は、本実験において目的エリア音強調部8で処理される入力信号の波形について示したグラフである。図3(a)は、収音装置100に入力される入力信号(いずれかのマイクロホンで取得される入力信号)の波形について示したグラフである。図3(b)は、図3(a)に示す入力信号に含まれる目的エリア音の波形について示したグラフである。図3(c)は、図3(a)に示す入力信号に含まれる背景雑音の波形について示したグラフである。図3(c)に示す背景雑音はいわゆるオフィスノイズであり、途中でパワーが6db大きくなっている。
図4は、この実施形態の収音装置100(目的エリア音強調部8)を用いて、非目的エリア音成分を抑圧して目的エリア音を強調した場合の性能について示したグラフである。
図4(a)は、補正係数μを背景雑音に比例した値として、図3(a)に示すような入力信号に基づく信号(BF出力)から非目的エリア音成分を抑圧して目的エリア音を強調した信号の波形について示したグラフである。
一方、図4(b)は、この実施形態の目的エリア音強調部8を用いて、図3(a)に示すような入力信号に基づく信号(BF出力)から非目的エリア音成分を抑圧して目的エリア音を強調した信号の波形について示したグラフである。すなわち、図4(b)に示す波形は、図3(a)に示す入力信号に基づく信号(BF出力)から、上述の(11)式又は(12)式に基づいて算出された補正係数μで補正した非目的エリア音を、逆位相にして打ち消した結果について示している。
図4に示す実験結果から、グラフ上の見た目では、図4(a)の信号よりも、図4(b)の信号の方が、背景雑音を抑圧していることが分かる。特に、図4(b)の信号では、背景雑音がより大きくなっている領域(図3(c)参照)で、図4(a)の信号よりも背景雑音が抑圧されていることが分かる。
したがって、図4に示す実験結果から、補正係数μを背景雑音に比例した値とするよりも、BF出力と抽出した非目的エリア音の振幅スペクトル比から補正係数μを求める方が、背景雑音を抑制する効果が高いことが分かる。
(B)第2の実施形態
以下、本発明による収音装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。
(B−1)第2の実施形態の構成
図5は、この実施形態の収音装置100Aの機能的構成について示したブロック図である。図5では、上述の図1と同一部分又は対応部分に同一符号又は対応符号を付している。
以下では、第2の実施形態の収音装置100Aについて、第2の実施形態との差異を説明する。
収音装置100Aでは、目的エリア音強調部8が目的エリア音強調部8Aに置き換わっている点で、第2の実施形態と異なっている。
目的エリア音強調部8Aは、位相による非目的エリア音の抑圧と、SSによる非目的エリア音の抑圧を状況により切替えて目的エリア音を強調する。
目的エリア音強調部8Aは、位相による非目的エリア音の抑圧処理を行う非目的エリア音位相抑圧部8−2と、SSによる非目的エリア音の抑圧処理を行う非目的エリア音スペクトル減算部8−1とを有し、いずれか一方に切り替えて非目的エリア音の抑圧(目的エリア音の強調)を行う。
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の収音装置100Aの動作を説明する。
以下では、第2の実施形態の収音装置100Aについて、第2の実施形態との差異点についてのみ説明する。
目的エリア音強調部8Aは、非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2とを切替えて、BF出力から非目的エリア音の抑圧を行う。
非目的エリア音スペクトル減算部8−1は、スペクトル減算(SS)により非目的エリア音を抑圧し、目的エリア音を強調する処理を行う。具体的には、非目的エリア音スペクトル減算部8−1は、(10)式に従い非目的エリア音の抑圧を行う。この際、非目的エリア音スペクトル減算部8−1は、SS時の強度を調節する係数γの代わりに、非目的エリア音振幅スペクトル補正係数算出部7で算出したμを使用してもよい。
非目的エリア音位相抑圧部8−2は、第1の実施形態の目的エリア音強調部8と同様に、位相情報を用いて非目的エリア音を抑圧し、目的エリア音を強調する処理を行う。
具体的には、非目的エリア音位相抑圧部8−2は、(13)式に従い非目的エリア音の抑圧を行う。
目的エリア音強調部8Aでは、補正係数μ1の値に応じて、非目的エリア音の抑圧方式(非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2との切り替え)を行う。
例えば、目的エリア音強調部8Aは、補正係数μが、所定の閾値Τよりも大きい場合(μ>T)、背景雑音の影響によりミュージカルノイズも大きい状態であると判断し、非目的エリア音位相抑圧部8−2による非目的エリア音の抑圧を行うものとする。
また、目的エリア音強調部8Aは、補正係数μが、所定の閾値Τ以下の場合(μ≦T)、背景雑音の影響によるミュージカルノイズが少なくなる状態であると判断し、非目的エリア音スペクトル減算部8−1による非目的エリア音の抑圧を行うものとする。
なお、目的エリア音強調部8Aにおいて、非目的エリア音の抑圧方式は、補正係数μ1(閾値T)による自動判定ではなく、ユーザの操作によりが任意に切り替えるようにしてもよい。また、目的エリア音強調部8Aでは、非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2の処理を同時に行い、それぞれの出力を混合して最終出力としても良い。
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
第2の実施形態の収音装置100Aの目的エリア音強調部8Aでは、非目的エリア音位相抑圧部8−2と非目的エリア音スペクトル減算部8−1のうち、適切な手法(より高品質な処理を行うことができる手法)を選択して、非目的エリア音の抑圧(目的エリア音の強調)に適用している。
具体的には、第2の実施形態の収音装置100A(目的エリア音強調部8A)では、補正係数μが大きい場合に、非目的エリア音位相抑圧部8−2を適用することで、雑音の引き残しによるミュージカルノイズの発生や、目的エリア音も抑圧してしまうことを低減している。また、第2の実施形態の収音装置100A(目的エリア音強調部8A)では、補正係数μが小さい場合に非目的エリア音スペクトル減算部8−1を適用することで、精度良く非目的エリア音の抑圧を行うことができる。また、補正係数μが小さい場合には、SSによる目的エリア音の抑圧処理を行っても、ミュージカルノイズの発生や目的エリア音も抑圧してしまうことを低減することができ、さらに、非目的エリア音位相抑圧部8−2による処理よりも精度よく非目的エリア音の抑圧を行うことができる。
(C)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(C−1)第2の実施形態において、目的エリア音強調部8Aでは、非目的エリア音位相抑圧部8−2と非目的エリア音スペクトル減算部8−1の処理を同時に行い、それぞれの出力を混合して最終出力としても良い。
100…収音装置、1…データ入力部、2…指向性形成部、3…遅延補正部、4…空間座標データ、5…目的エリア音パワー補正係数算出部、6…非目的エリア音抽出部、7…非目的エリア音振幅スペクトル補正係数算出部、8…目的エリア音強調部。

Claims (8)

  1. 入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、
    前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、
    前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、
    前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段と
    を有することを特徴とする収音装置。
  2. 前記目的エリア音強調手段は、取得した位相反転済非目的エリア音を、前記ビームフォーマの出力に加算することで、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調することを特徴とする請求項1に記載の収音装置。
  3. 前記補正係数算出手段は、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの比率に基づいて補正係数を算出することを特徴とする請求項1又は2に記載の収音装置。
  4. 前記補正係数算出手段は、成分ごとに、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの比率を取得し、取得した比率の最繁値又は中央値に基づいて、補正係数を算出することを特徴とする請求項3に記載の収音装置。
  5. 前記目的エリア音強調手段は、
    取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する第1の抑圧手段と、
    前記ビームフォーマの出力から、前記非目的エリア音抽出手段が抽出した非目的エリア音に基づく信号をスペクトル減算することで、前記ビームフォーマの出力の非目的エリア音成分を抑圧する第2の抑圧手段とを有し、
    前記目的エリア音強調手段は、前記補正係数算出手段が取得した補正係数の値に基づいて、前記第1の抑圧手段又は前記第2の抑圧手段のいずれかを選択して前記ビームフォーマの出力における非目的エリア音の成分を抑圧する
    ことを特徴とする請求項1に記載の収音装置。
  6. 前記目的エリア音強調手段は、前記補正係数算出手段が取得した補正係数が所定の閾値より大きい場合に、前記第1の抑圧手段を選択し、前記補正係数算出手段が取得した補正係数が所定の閾値以下の場合に、前記第2の抑圧手段を選択することを特徴とする請求項5に記載の収音装置。
  7. コンピュータを、
    入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、
    前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、
    前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、
    前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段と
    して機能させることを特徴とする収音プログラム。
  8. 収音装置が行う収音方法において、
    指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、
    前記指向性形成手段は、入力信号からビームフォーマにより目的エリア方向に指向性を形成し、
    前記非目的エリア音抽出手段は、前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出し、
    前記補正係数算出手段は、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出し、
    前記目的エリア音強調手段は、前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する
    ことを特徴とする収音方法。
JP2016193486A 2016-09-30 2016-09-30 収音装置、プログラム及び方法 Expired - Fee Related JP6260666B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016193486A JP6260666B1 (ja) 2016-09-30 2016-09-30 収音装置、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016193486A JP6260666B1 (ja) 2016-09-30 2016-09-30 収音装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP6260666B1 JP6260666B1 (ja) 2018-01-17
JP2018056902A true JP2018056902A (ja) 2018-04-05

Family

ID=60989244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016193486A Expired - Fee Related JP6260666B1 (ja) 2016-09-30 2016-09-30 収音装置、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP6260666B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053920A (ja) * 2018-09-28 2020-04-02 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
WO2021027049A1 (zh) * 2019-08-15 2021-02-18 北京小米移动软件有限公司 一种声音采集方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006935A1 (en) * 2004-07-08 2006-01-19 Agency For Science, Technology And Research Capturing sound from a target region
JP2014502108A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音響三角測量方式による空間的に選択的な音の取得のための装置および方法
JP2014072708A (ja) * 2012-09-28 2014-04-21 Oki Electric Ind Co Ltd 収音装置及びプログラム
JP2015023508A (ja) * 2013-07-22 2015-02-02 沖電気工業株式会社 収音装置及びプログラム
JP2016025469A (ja) * 2014-07-18 2016-02-08 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006935A1 (en) * 2004-07-08 2006-01-19 Agency For Science, Technology And Research Capturing sound from a target region
JP2014502108A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音響三角測量方式による空間的に選択的な音の取得のための装置および方法
JP2014072708A (ja) * 2012-09-28 2014-04-21 Oki Electric Ind Co Ltd 収音装置及びプログラム
JP2015023508A (ja) * 2013-07-22 2015-02-02 沖電気工業株式会社 収音装置及びプログラム
JP2016025469A (ja) * 2014-07-18 2016-02-08 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053920A (ja) * 2018-09-28 2020-04-02 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
US11127396B2 (en) * 2018-09-28 2021-09-21 Oki Electric Industry Co., Ltd. Sound acquisition device, computer-readable storage medium and sound acquisition method
JP7158976B2 (ja) 2018-09-28 2022-10-24 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
WO2021027049A1 (zh) * 2019-08-15 2021-02-18 北京小米移动软件有限公司 一种声音采集方法、装置及介质
US10945071B1 (en) 2019-08-15 2021-03-09 Beijing Xiaomi Mobile Software Co., Ltd. Sound collecting method, device and medium

Also Published As

Publication number Publication date
JP6260666B1 (ja) 2018-01-17

Similar Documents

Publication Publication Date Title
JP6703525B2 (ja) 音源を強調するための方法及び機器
JP5482854B2 (ja) 収音装置及びプログラム
JP6187626B1 (ja) 収音装置及びプログラム
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和***
JP6065028B2 (ja) 収音装置、プログラム及び方法
JP6131989B2 (ja) 収音装置、プログラム及び方法
JP2011124872A (ja) 音源分離装置、方法及びプログラム
JPWO2007123052A1 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
JP6763332B2 (ja) 収音装置、プログラム及び方法
JP2007336232A (ja) 特定方向収音装置、特定方向収音プログラム、記録媒体
JP2018132737A (ja) 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法
JP6260666B1 (ja) 収音装置、プログラム及び方法
JP6436180B2 (ja) 収音装置、プログラム及び方法
JP6182169B2 (ja) 収音装置、その方法及びプログラム
JP6241520B1 (ja) 収音装置、プログラム及び方法
JP2016163135A (ja) 収音装置、プログラム及び方法
JP2019068133A (ja) 収音装置、プログラム及び方法
WO2021019844A1 (ja) 収音装置、記憶媒体、及び収音方法
JP2017181761A (ja) 信号処理装置及びプログラム、並びに、ゲイン処理装置及びプログラム
JP6624256B1 (ja) 収音装置、プログラム及び方法
US11095979B2 (en) Sound pick-up apparatus, recording medium, and sound pick-up method
WO2021260260A1 (en) Suppressing spatial noise in multi-microphone devices
JP6772890B2 (ja) 信号処理装置、プログラム及び方法
JP6863004B2 (ja) 収音装置、プログラム及び方法
WO2021070278A1 (ja) 雑音抑圧装置、雑音抑圧方法、及び雑音抑圧プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6260666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees