JP6206003B2 - 音源分離装置、音源分離プログラム、収音装置及び収音プログラム - Google Patents

音源分離装置、音源分離プログラム、収音装置及び収音プログラム Download PDF

Info

Publication number
JP6206003B2
JP6206003B2 JP2013179886A JP2013179886A JP6206003B2 JP 6206003 B2 JP6206003 B2 JP 6206003B2 JP 2013179886 A JP2013179886 A JP 2013179886A JP 2013179886 A JP2013179886 A JP 2013179886A JP 6206003 B2 JP6206003 B2 JP 6206003B2
Authority
JP
Japan
Prior art keywords
target
sound
microphones
microphone
directivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013179886A
Other languages
English (en)
Other versions
JP2015050558A (ja
Inventor
一浩 片桐
一浩 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2013179886A priority Critical patent/JP6206003B2/ja
Priority to US14/309,048 priority patent/US9445194B2/en
Publication of JP2015050558A publication Critical patent/JP2015050558A/ja
Priority to US15/236,375 priority patent/US9549255B2/en
Application granted granted Critical
Publication of JP6206003B2 publication Critical patent/JP6206003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、音源分離装置、音源分離プログラム、収音装置及び収音プログラムに関し、例えば複数の音源が存在する環境下において、特定の方向の音源のみ分離し収音する音源分離装置、音源分離プログラム、収音装置及び収音プログラムに適用し得るものである。
複数の音源が存在する環境下において、ある特定の方向の音響（以下では、例えば音声、音響を含むものを音響と表現して説明する）のみを分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ（以下、ＢＦともいう。）がある。ビームフォーマとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。ビームフォーマは加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型ＢＦに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
図２は、マイクロホン数が２個の場合の減算型ＢＦに係る構成を示すブロック図である。減算型ＢＦは、まず目的とする方向に存在する音（以下、目的音と呼ぶ。）が各マイクロホン１及び２に到来し、遅延器９１がマイクロホン１及び２に到来した信号の時間差を算出し、いずれかのマイクロホンからの信号に遅延を加えることにより目的音の位相を合わせる。
時間差は下記（１）式により算出される。ここで、ｄはマイクロホン間の距離、ｃは音速、τＬは遅延量である。またθＬは、各マイクロホン１及び２を結んだ直線に対する垂直方向から目的方向への角度である。
τＬ＝（ｄｓｉｎθＬ）／ｃ （１）
ここで、死角方向がマイクロホン１と２の中心に対し、マイクロホン１の方向に存在する場合、マイクロホン１の入力信号ｘ１（ｔ）に対し遅延処理を行う。その後、（２）式に従い減算器９２により処理を行う。
α（ｔ）＝ｘ２（ｔ）−ｘ１（ｔ−τＬ） （２）
減算処理は周波数領域でも同様に行うことができ、その場合（２）式は以下のように変更される。
Ａ（ω）＝Ｘ２（ω）−ｅ−ｊωτＬＸ１（ω） （３）
ここでθＬ＝±π／２の場合、形成される指向性は図３（Ａ）に示すように、カージオイド型の単一指向性となり、θＬ＝０、πの場合は、図３（Ｂ）のような８の字型の双指向性となる。ここでは、入力信号から単一指向性を形成するフィルタを単一指向性フィルタ、双指向性を形成するフィルタを双指向性フィルタと呼称する。
また、スペクトル減算法（Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ；以下ＳＳと呼ぶ。）を用いることで、双指向性の死角方向に強い指向性を形成することもできる。ＳＳによる指向性の形成は、下記（４）式に従う。
｜Ｙ（ω）｜＝｜Ｘ１（ω）｜−β｜Ａ（ω）｜ （４）
（４）式では、マイクロホン１の入力信号Ｘ１を用いているが、マイクロホン２の入力信号Ｘ２でも同様の効果を得ることができる。ここで、βはＳＳの強度を調節するための係数である。減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。この方式は、双指向性フィルタにより目的方向以外に存在する音（以下、非目的音）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
特開２００６−１９７５５２号公報
浅野太著，"音響テクノロジーシリーズ１６ 音のアレイ信号処理−音源の定位・追跡と分離−"，日本音響学会編，コロナ社，２０１１年２月２５日発行
しかしながら、実際に音源分離装置を通話や音声認識などに利用するためには、一方向にのみ指向性を形成し、かつ強い指向性を有することが求められる。単一指向性フィルタは図３（Ａ）のように、目的方向の反対側に死角を作ることができるが、目的方向の指向性は弱くなってしまうという問題が生じ得る。また、スペクトル減算法（ＳＳ）を用いたビームフォーマでは、目的方向に強い指向性を得ることはできるが、図３（Ｂ）のように、目的方向の反対側にも同様に指向性を形成してしまう問題が存在する。そこで、特許文献１では、マイクロホンの数を増やすことで、様々な方向に単一指向性と双指向性を形成し、それら複数の指向性フィルタの出力を利用して目的方向にのみ強い指向性を作る手法を提案している。
しかし、特許文献１に記載の手法は、目的音を含む各指向性フィルタの出力を周波数毎に比較し、目的音成分か否かを判定することにより音を分離しているため、目的音成分の判定を間違うと分離後の目的音の音質が劣化してしまう可能性がある。さらに、分離時に目的音でないと判定した成分を０とするマスキングを行なっているため、非目的音が増えると急激に分離性能が悪化してしまうという問題が残っている。
また、ある特定のエリア内に存在する音（以下、目的エリア音）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源（以下、非目的エリア音）も収音してしまう可能性がある。そこで、本願発明者は、参考文献（特願２０１２−２１７３１５）において、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する手法を提案している。
しかし、残響が強い環境下、特に一時反射が大きい場合、収音性能が劣化する可能性がある。参考文献の手法は、各マイクロホンアレイの指向性に共通に含まれる成分は目的エリア音のみであり、非目的エリア音成分は異なっていることを前提としている。そのため、室内の隅や壁際に位置するエリアを収音する場合、非目的エリア音の一部が壁に反射して各マイクロホンアレイの指向性に同時に侵入してしまうと、非目的エリア音成分が目的エリア音成分とみなされ、抑圧されずに抽出されてしまうこととなる。
そのため、目的方向にのみ鋭い指向性を形成することができ、音質劣化の少ない目的音を抽出することができる音源分離装置及びプログラムが求められている。また、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる収音装置及びプログラムが求められている。
かかる課題を解決するために、第１の本発明は、（１）直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。
第２の本発明は、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。
第３の本発明は、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。
第４の本発明は、コンピュータを、（１）直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。
第５の本発明は、コンピュータを、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。
第６の本発明は、コンピュータを、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。
第７の本発明は、（１）直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを有する複数のマイクロホンアレイと、（２）各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して各マイクロホンアレイの前方にのみ指向性をマイクロホンアレイ毎に形成するものであって、第１〜第３の本発明のいずれかに記載の音源分離装置に相当する指向性形成手段と、（３）指向性形成手段からのマイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、（４）パワー補正係数算出手段で算出した補正係数を用い、指向性形成手段からの各マイクロホンアレイのビームフォーマ出力を補正し、補正後の各マイクロホンアレイのビームフォーマ出力をスペクトル減算して各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を指向性形成手段からの各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段とを備えることを特徴とする収音装置である。
第８の本発明は、直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを備える複数のマイクロホンアレイを有するコンピュータを、（１）各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して各マイクロホンアレイの前方にのみ指向性を形成するものであって、第４〜第６の本発明の音源分離プログラムの機能に相当する指向性形成手段と、（２）指向性形成手段からのマイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、（３）パワー補正係数算出手段で算出した補正係数を用い、指向性形成手段からの各マイクロホンアレイのビームフォーマ出力を補正し、補正後の各マイクロホンアレイのビームフォーマ出力をスペクトル減算して各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を指向性形成手段からの各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段として機能することを特徴とする収音プログラムである。
本発明によれば、目的方向にのみ鋭い指向性を形成することができ、音質劣化の少ない目的音を抽出することができる。また、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる。
第１の実施形態に係る音源分離装置の構成を示すブロック図である。 マイクロホン数が２個の場合の減算型ビームフォーマに係る構成を示すブロック図である。 ２個のマイクロホンを用いて減算型ビームフォーマにより形成される指向特性を示す図である。 本発明に係る各指向性フィルタにより形成される指向特性の一例を説明する説明図である。 第２の実施形態に係る音源分離装置の構成を示すブロック図である。 第２の実施形態に係る各指向性フィルタにより形成される指向特性を説明する説明図である。 第３の実施形態に係る音源分離装置の構成を示すブロック図である。 第４の実施形態に係る収音装置の構成を示すブロック図である。 第４の実施形態に係る収音装置の指向性形成部の構成を示すブロック図である。 第４の実施形態に係る収音装置によるエリア収音のイメージを示すイメージ図である。 第４の実施形態に係る収音装置によるエリア収音の別のイメージを示すイメージ図である。 第５の実施形態に係る収音装置の構成を示すブロック図である。 第５の実施形態に係る３個のマイクロホンから構成されるマイクロホンアレイを２個用いて、２個のエリアを切り替えて収音する状況のイメージ例を示すイメージ図である。
（Ａ）本発明の技術的思想の説明
以下では、まず、本発明の音源分離装置及びプログラムの技術的思想を説明する。
本発明は、３個の全指向性のマイクロホンを用いて双指向性と単一指向性とを形成し、入力信号から各指向性フィルタの出力をまとめてスペクトル減算（ＳＳ）を行うことにより、目的方向にのみ鋭い指向性を形成する。
図４は、本発明に係る各指向性フィルタにより形成される指向特性の一例を説明する説明図である。
ここでは、例えば、マイクロホンは目的方向に対して水平に２個配置し、これらを第１のマイクロホンＭ１、第２のマイクロホンＭ２とする。さらに、第１のマイクロホンＭ１と第２のマイクロホンＭ２と結んだ直線と直交し、かつ、第１のマイクロホンＭ１若しくは第２のマイクロホンＭ２のいずれかのマイクロホン（ここでは、第２のマイクロホンＭ２）を通る直線上に第３のマイクロホンＭ３を配置する。この際、第３のマイクロホンＭ３と第２のマイクロホンＭ２との距離は、第１のマイクロホンＭ１と第２のマイクロホンＭ２との距離と同じとする。すなわち、３個のマイクロホンＭ１、Ｍ２、Ｍ３は、直角二等辺三角形の頂点となるようにする。
まず、第１のマイクロホンＭ１及び第２のマイクロホンＭ２からの信号を双指向性フィルタに入力する。また、第２のマイクロホンＭ２及び第３のマイクロホンＭ３からの信号を目的方向に死角を向ける単一指向性フィルタに入力する。
そうすると、図４に示す通り、２個の指向性はどちらも目的方向に死角を向けていることが分かる。この双指向性フィルタの出力は目的方向に対して左右方向に存在する非目的音となり、また単一指向性フィルタの出力は目的方向に対して後方に存在する非目的音となる。これら２つの指向性フィルタを用いることで、目的方向以外に存在する全ての非目的音を抽出することができる。最後に各指向性フィルタの出力を全て入力信号からＳＳし、目的音を抽出する。ここで、対象となる入力信号は、第１のマイクロホンＭ１若しくは第２のマイクロホンＭ２の入力信号、又は、第１のマイクロホンＭ１と第２のマイクロホンＭ２との入力信号を平均したものである。
上記方式では、ＳＳを双指向性フィルタの出力信号と単一指向性フィルタの出力信号の２個を用いて行なっている。図４の斜線部分が示すように双指向性と単一指向性とは一部重なっており、そのままＳＳを行うと重複部分は２回減算することとなる。ＳＳは、個々の音成分が周波数領域で重なる確率が低いスパース性という性質を利用して目的音を抽出する手法である。
しかし、ある音成分が単独で特定の周波数に存在するか否かは、音源の数と周波数の分解能に依存する。そのため、複数の音成分が同じ周波数に存在する状況が考えられる。そのような状況下でＳＳを複数回行うと、減算の度に目的音成分が削られて音質が劣化してしまう可能性がある。
そこで、本発明は、ＳＳを行う前に予め双指向性と単一指向性の重なっている部分を消去する。双指向性フィルタで抽出した非目的音の振幅スペクトルから単一指向性フィルタで抽出した非目的音の振幅スペクトルを減算すると、双指向性フィルタで抽出した非目的音成分の内、単一指向性フィルタで抽出した非目的音成分と共通に含まれる成分が消去される。その後、単一指向性フィルタで抽出した非目的音成分と、重複成分を消去した双指向性フィルタで抽出した非目的音を入力信号からＳＳする。これにより、目的音成分の引き過ぎが起こらず、目的音の音質の劣化を防ぐことができる。
（Ｂ）第１の実施形態
以下、本発明に係る音源分離装置及びプログラムの第１の実施形態を、図面を参照にしながら詳細に説明する。
（Ｂ−１）第１の実施形態の構成
図１は、第１の実施形態に係る音源分離装置１０Ａの構成を示すブロック図である。マイクロホンを除く図１に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても機能的には、図１で表すことができる。
図１において、第１の実施形態の音源分離装置１０Ａは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１、１−２、１−３、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。
第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、全指向性マイクロホンである。
第１のマイクロホンＭ１と第２のマイクロホンＭ２は、目的方向に対して水平に配置する。第３のマクロホンＭ３は、第１のマイクロホンＭ１及び第２のマイクロホンＭ２と同一平面上に存在し、第１のマイクロホンＭ１と第２のマイクロホンＭ２とを結んだ直線に直交し、かつ、第２のマイクロホンＭ２を通る直線上に配置する。
このとき、第３のマイクロホンＭ３と第２のマイクロホンＭ２との距離は、第１のマイクロホンＭ１と第２のマイクロホンＭ３との距離と同じとなるようにする。これにより、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、直角二等辺三角形の頂点となるようにする。
なお、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、空間における同一平面上で直角二等辺三角形の頂点に配置されていればよい。
信号入力部１−１は、信号加算部２及び双指向性形成部３と接続しており、第１のマイクロホンＭ１が収音したアナログ信号の音響信号（音声信号、音響信号を含むもの）をデジタル信号に変換して入力し、信号加算部２及び双指向性形成部３に出力するものである。
信号入力部１−２は、信号加算部２、双指向性形成部３及び単一指向性形成部４と接続しており、第２のマイクロホンＭ２が収音したアナログ信号の音響信号をデジタル信号に変換して入力し、信号加算部２、双指向性形成部３及び単一指向性形成部４に出力するものである。
信号入力部１−３は、単一指向性形成部４と接続しており、第３のマイクロホンＭ３が収音したアナログ信号の音響信号（音声信号、音響信号）をデジタル信号に変換して入力し、単一指向性形成部４に出力するものである。
図１において、信号入力部１−１、１−２、１−３は、入力信号を時間領域から周波数領域に変換するために、例えば高速フーリエ変換等を行う。
信号加算部２は、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍して目的信号抽出部６に出力する。信号加算部２の出力信号は、目的信号抽出部６におけるスペクトル減算法（ＳＳ）を行う際の入力信号となる。第１の実施形態では、信号加算部２が第１のマイクロホンＭ１及び第２のマイクロホンＭ２からの音響信号を平均した信号を目的信号抽出部６に出力する場合を例示するが、第１のマイクロホンＭ１又は第２のマイクロホンＭ２のいずれかの信号を目的信号抽出部６に出力するようにしても良い。
双指向性形成部３は、信号入力部１−１及び信号入力部１−２からの出力（デジタル信号）に対するビームフォーマ（ＢＦ）により、目的方向に死角を向ける双指向性を形成する双指向性フィルタであり、形成した双指向性を重複指向性消去部５に出力する。
単一指向性形成部４は、信号入力部１−２及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。
重複指向性消去部５は、目的信号抽出部６においてスペクトル減算法（ＳＳ）を行う前に、双指向性と単一指向性との指向性重複部分を消去するため、双指向性形成部３の出力信号と単一指向性形成部４の出力信号とに共通に含まれる信号成分を消去するものである。
目的信号抽出部６は、信号加算部２と重複指向性消去部５と接続しており、信号加算部２からの信号を入力信号として、この入力信号から重複指向性消去部５の出力信号をスペクトル減算することにより、目的音を抽出するものである。
目的音を抽出するための処理では、全ての出力が周波数領域で表現されていることを要する。従って、上述したように、信号入力部１−１、１−２、１−３は、時間領域の信号を周波数領域の信号に変換する変換部を有している。
（Ｂ−２）第１の実施形態の動作
次に、第１の実施形態に係る音源分離装置１０Ａにおける動作を説明する。
第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、それぞれ直角二等辺三角形の頂点になるように配置される。例えば、第１のマイクロホンＭ１及び第２のマイクロホンＭ２の間隔と、第２のマイクロホンＭ２及び第３のマイクロホンＭ３の間隔とが例えば３ｃｍとなるように配置したものとする。
目的とする音源が発した音（音声や音響）が第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３により収音（捕捉）される。
第１のマイクロホンＭ１が捕捉して得た音響信号（アナログ信号）は、信号入力部１−１によりデジタル変換され、更に信号入力部１−１により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて信号加算部２及び双指向性形成部３に与えられる。
また、第２のマイクロホンＭ２が捕捉して得た音響信号（アナログ信号）は、信号入力部１−２によりデジタル変換され、更に信号入力部１−２により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて信号加算部２、双指向性形成部３及び単一指向性形成部４に与えられる。
さらに、第３のマイクロホンＭ３が捕捉して得た音響信号（アナログ信号）は、信号入力部１−３によりデジタル変換され、更に信号入力部１−３により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて単一指向性形成部４に与えられる。
信号加算部２において、時間軸が揃えられた信号入力部１−１からの出力信号と信号入力部１−２からの出力信号とが加算され、この加算された信号のパワーが１／２倍されて、目的音成分が強調される。
双指向性形成部３では、（１）式に従い、θＬ＝０として、第１のマイクロホンＭ１と第２のマイクロホンＭ２との間の距離ｄ（例えば３ｃｍ）に基づいて、第１のマイクロホンＭ１に到来した信号と第２のマイクロホンＭ２に到来した信号との時間差が算出される。更に、双指向性形成部３では、（３）式に従って、信号入力部１−１からの周波数領域の出力信号と、信号入力部１−２からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける双指向性が形成される。
つまり、双指向性形成部３により形成される双指向性は、図４に示す通り、目的方向に対して、第１のマイクロホンＭ１及び第２のマイクロホンＭ２を結んだ直線方向（図４における左右方向）に存在する非目的音となる。
単一性形成部４では、（１）式に従い、θＬ＝−π／２とし、第２のマイクロホンＭ２と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第２のマイクロホンＭ２に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４では、（３）式に従って、信号入力部１−２からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける単一指向性が形成される。
つまり、単一指向性形成部４により形成される単一指向性は、図４に示す通り、目的方向に対して後方（すなわち、目的方向の反対側）に存在する非目的音となる。
重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤに共通に含まれる信号成分が消去される。
ここで、重複指向性消去部５による重複する信号成分の消去方法は、（５）式に従って行なわれる。
Figure 0006206003
ここで、ＮＵＤ１はＮＵＤとＮＢＤの重複成分を消去した出力信号の振幅スペクトルである。
重複指向性消去部５による重複信号成分の減算の結果、ＮＵＤ１がマイナスの値になった場合、重複指向性消去部５はフロアリング処理を行う。また、この例では、重複指向性消去部５がＮＵＤからＮＢＤを減算しているが、逆にＮＢＤからＮＵＤを減算し、重複成分を消去した出力信号の振幅スペクトルＮＢＤ１としても良い。なお、ＢＦによる指向性は、マイクロホン間隔により周波数毎のゲインが違ってくるが、ＮＢＤとＮＵＤはともにゲイン補正を行なっているものとする。
ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるが、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤとは共にゲイン補正を行っているものとする。例えば、重複指向性消去部５が、時間軸が揃えられた双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤとに基づいて、周波数毎の振幅スペクトルの比率を求め、出力パワーを揃えるための補正係数を用いてゲイン補正するようにしても良い。
目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸＤＳと、重複指向性消去部５から非目的音としての出力の振幅スペクトルＮＢＤ及び重複部分減算後の出力の振幅スペクトルＮＵＤ１とが与えられる。
そして、目的信号抽出部６では、信号加算部２の出力の振幅スペクトルＸＤＳから、重複指向性消去部５の出力の振幅スペクトルＮＢＤ及び重複部分減算後の出力の振幅スペクトルＮＵＤ１を減算して、強調した目的音が抽出される。
目的信号抽出部６による目的音の抽出は、(６)式に従って行なわれる。
Ｙ＝ＸＤＳ−β１ＮＢＤ−β２ＮＵＤ１ （６）
ここで、β１とβ２はスペクトル減算による強度を調節するための係数である。
（Ｂ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、３個の全指向性マイクロホンにより収音された音響信号を用いて、単一指向性フィルタと双指向性フィルタにより非目的音を抽出し、抽出した非目的音を入力信号からＳＳすることにより、目的方向にのみ鋭い指向性を形成することができる。
また、第１の実施形態によれば、目的方向の指向性の形成にＳＳしか使用していないため、雑音が増えたとしても音源分離性能が急激に悪化することはない。さらに、第１の実施形態によれば、双指向性と単一指向性の重複する指向性重複部分を予め消去してからＳＳを行うことで、重複部分の複数回の減算による目的音の音質の劣化を防ぐことができる。
（Ｃ）第２の実施形態
次に、本発明に係る音源分離装置及びプログラムの第２の実施形態を、図面を参照しながら詳細に説明する。
第１の実施形態では、３個のマイクロホンを直角二等辺三角形の頂点に配置する場合を例示したが、第２の実施形態では、正三角形の頂点に３個のマイクロホンを配置する場合を例示する。
（Ｃ−１）第２の実施形態の構成
図５は、第２の実施形態に係る音源分離装置１０Ｂの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
図５において、第２の実施形態に係る音源分離装置１０Ｂは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１〜１−３、信号加算部２、双指向性形成部３、単一指向性形成部４−１及び４−２、重複指向性消去部５、目的信号抽出部６を備える。
第１のマイクロホンＭ１と第２のマイクロホンＭ２は、目的方向に対して水平に配置する。第３のマクロホンＭ３は、第１のマイクロホンＭ１及び第２のマイクロホンＭ２と同一平面上であって、目的方向の反対側に位置するようにして、第１のマイクロホンＭ１、第２のマイクロホンＭ２及び第３のマイクロホンＭ３が正三角形の頂点になるように配置される。
信号入力部１−１は、信号加算部２、双指向性形成部３及び単位値指向性形成部４−１と接続しており、出力信号を信号加算部２、双指向性形成部３及び単位値指向性形成部４−１に与える。
信号入力部１−２は、信号加算部２及び単一指向性形成部４−２と接続しており、出力信号を信号加算部２及び単一指向性形成部４−２に与える。
信号入力部１−３は、単一指向性形成部４−１及び４−２に接続しており、出力信号を単一指向性形成部４−１及び４−２に与える。
単一指向性形成部４−１は、信号入力部１−１及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に対し＋６０°の角度に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。
単一指向性形成部４−２は、信号入力部１−２及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に対し−６０°の角度に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。
重複指向性消去部５は、双指向性形成部３と単一指向性形成部４−１及び４−２とのそれぞれの出力に共通に含まれる信号成分を消去するものである。
（Ｃ−２）第２の実施形態の動作
第２の実施形態の音源分離装置１０Ｂにおける動作は、単一指向性形成部４−１及び４−２、重複指向性消去部５、目的信号抽出部６の動作が異なっているため、以下ではこれらの構成要素の動作を説明する。
上述したように、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３はそれぞれ、正三角形の頂点になるように配置される。
第２の実施形態では、第１のマイクロホンＭ１及び第３のマイクロホンＭ３の音響信号に基づいて単一指向性を形成し、第２のマイクロホンＭ２及び第３のマイクロホンＭ３の音響信号に基づいて単一指向性を形成する。
単一性形成部４−１では、（１）式に従い、θＬ＝−π／２とし、第１のマイクロホンＭ１と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第１のマイクロホンＭ１に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４−１では、（３）式に従って、信号入力部１−１からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に対し＋６０°に死角を向ける単一指向性が形成される。
単一性形成部４−２では、（１）式に従い、θＬ＝−π／２とし、第２のマイクロホンＭ２と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第２のマイクロホンＭ２に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４−２では、（３）式に従って、信号入力部１−２からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に対し−６０°に死角を向ける単一指向性が形成される。
重複指向性消去部５では、双指向性形成部３の出力と単一指向性形成部４−１及び４−２の出力とのそれぞれに共通に含まれる成分を消去する。
図６は、第２の実施形態に係る各指向性フィルタにより形成される指向特性を説明する説明図である。
図６に示すように、指向性の重複部分は、双指向性形成部３からの双指向性と単一指向性形成部４−１からの単一指向性との間、双指向性形成部３からの双指向性と単一指向性形成部４−２からの単一指向性との間に存在すると共に、単一指向性形成部４−１及び４−２からの単一指向性の間にも存在している。
そこで、重複指向性消去部５による重複部分の消去方法は、（５）式を拡張した（７）式〜（９）式を使用する。
Figure 0006206003
ここで、ＮＢＤは双指向性形成部３の出力の振幅スペクトル、ＮＵＤＬは単一指向性形成部４−１の出力の振幅スペクトル、ＮＵＤＲは単一指向性形成部４−２の出力の振幅スペクトルである。
重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４−１の出力の振幅スペクトルＮＵＤＬに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（７）式に従って、単一指向性形成部４−１の出力の振幅スペクトルＮＵＤＬから双指向性形成部３の出力の振幅スペクトルＮＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮＵＤＬ１が求められる。
また、重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４−２の出力の振幅スペクトルＮＵＤＲに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（８）式に従って、単一指向性形成部４−２の出力の振幅スペクトルＮＵＤＲから双指向性形成部３の出力の振幅スペクトルＮＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮＵＤＲ１が求められる。
さらに、重複指向性消去部５では、ＮＢＤとの重複成分を消去した出力の振幅スペクトルＮＵＤＬ１と、ＮＢＤとの重複成分を消去した出力の振幅スペクトルＮＵＤＲ１とに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（９）式に従って、ＮＢＤとの重複成分を消去した出力の振幅スペクトルＮＵＤＲ１から、ＮＢＤとの重複成分を消去した出力の振幅スペクトルＮＵＤＬ１を減算して、重複部分減算後の出力の振幅スペクトルＮＵＤＲ２が求められる。
また、（７）式〜（９）式において、重複成分を消去する順番は、変更することができる。つまり、各振幅スペクトルを入れ替えて、ＮＵＤＬ２＝ＮＵＤＬ１−ＮＵＤＲ１や、ＮＢＤ１＝ＮＢＤ−ＮＵＤＬとして処理を進めても良い。
なお、（７）式〜（９）式において、重複部分の減算後の出力の振幅スペクトルＮＵＤＬ１、ＮＵＤＲ１、ＮＵＤＲ２の値がマイナスになった場合には、重複部分減算後の出力の振幅スペクトルＮＵＤＬ１、ＮＵＤＲ１、ＮＵＤＲ２の値を０に置き換えるフロアリング処理がなされる。なお、フロアリング処理は、重複部分の減算後の出力の振幅スペクトルの元の値（直前の値）を小さくした値に置き換えるようにしても良い。
また、第１の実施形態と同様に、ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるため、出力の振幅スペクトルについて、周波数毎のゲイン補正を行うようにしても良い。
目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸＤＳと、重複指向性消去部５から非目的音としての重複部分減算後の出力の振幅スペクトルＮＵＤＬ１及び重複部分減算後の出力の振幅スペクトルＮＵＤＲ２とが与えられる。
そして、目的信号抽出部６では、（１０）式に従って、信号加算部２の出力の振幅スペクトルＸＤＳから、重複部分減算後の出力の振幅スペクトルＮＵＤＬ１及びＮＵＤＲ２を減算して、強調した目的音が抽出される。ここで、β１とβ２、β３はそれぞれＳＳの強度を調節するための係数である。
Ｙ＝ＸＤＳ−β１ＮＢＤ−β２ＮＵＤＬ１−β３ＮＵＤＲ２ （１０）
（Ｃ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、正三角形の頂点に３個の全指向性マイクロホンを配置した場合でも、第１の実施形態と同様の効果が得られる。
（Ｄ）第３の実施形態
次に、本発明に係る音源分離装置及びプログラムの第３の実施形態を、図面を参照しながら詳細に説明する。
上述した第２の実施形態では、第１のマイクロホンＭ１と第３のマイクロホンＭ３、第２のマイクロホンＭ２と第３のマイクロホンＭ３の２つの組合せでそれぞれ単一指向性を形成した。
ここで、目的方向に存在する音源は、第１のマイクロホンＭ１と第２のマイクロホンＭ２に同時に到達するため、信号加算部２の出力を第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホンで収音した音響信号と擬似的にみなすことができる。
そこで、第３の実施形態では、信号加算部２の出力と信号入力部１−３の出力とを用いて、目的方向に死角を向ける単一指向性を形成する場合を説明する。
（Ｄ−１）第３の実施形態の構成
図７は、第３の実施形態に係る音源分離装置１０Ｃの構成を示すブロック図であり、第１及び第２の実施形態に係る図１及び図５との同一、対応部分には同一符号を付して示している。
図７において、第３の実施形態に係る音源分離装置１０Ｃは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１〜１−３、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。
信号入力部１−１は、第１の実施形態と同様に、信号加算部２及び双指向性形成部３と接続しており、出力信号を信号加算部２及び双指向性形成部３に与える。
信号入力部１−２は、信号加算部２及び双指向性形成部３と接続しており、出力信号を信号加算部２及び双指向性形成部３に与える。
信号入力部１−３は、単一指向性形成部４に接続しており、出力信号を単一指向性形成部４に与える。
信号加算部２は、第１の実施形態と同様に、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍して目的信号抽出部６及び単一指向性形成部４に出力する。
単一指向性形成部４は、信号入力部１−３からの出力及び信号加算部２からの出力に対するビームフォーマにより、目的方向に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。
双指向性形成部３、重複指向性消去部５及び目的信号抽出部６は、第１の実施形態と同様の構成である。
（Ｄ−２）第３の実施形態の動作
第３の実施形態の音源分離装置１０Ｃにおける動作は、単一指向性形成部４の動作が異なっているため、以下では単一指向性形成部４の動作を説明する。
信号加算部２において、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍した信号が、単一指向性形成部４に出力される。
この信号加算部２からの出力は、目的方向に対して水平に配置された信号入力部１−１及び１−２からの出力を平均しているため、第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホン（疑似的なマイクロホン）で収音した音響信号とみなすことができる。
単一性形成部４では、（１）式に従い、θＬ＝−π／２とし、第３のマイクロホンＭ３の出力と、信号加算部２の出力との時間差を算出する。更に、単一指向性形成部４では、（３）式に従って、信号入力部１−３からの周波数領域の出力信号と、信号加算部２からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける単一指向性が形成される。
双指向性形成部３、重複指向性消去部５及び目的信号抽出部６の動作は、第１の実施形態と同様であり、目的信号抽出部６により強調された目的音が抽出される。
（Ｄ−３）第３の実施形態の効果
以上のように、第３の実施形態によれば、正三角形の頂点に３個の全指向性マイクロホンを配置した場合でも、第１のマイクロホンＭ１と第２のマイクロホンＭ２に同時に到達するため、信号加算部２の出力を、第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホンで収音した音響信号とみなすことにより、第１及び第２の実施形態と同様の効果が得られる。
（Ｅ）第４の実施形態
次に、本発明に係る音源分離装置、音源分離プログラム、収音装置及び収音プログラムの第４の実施形態を、図面を参照しながら詳細に説明する。
第４の実施形態は、第１の実施形態で説明した３個の全指向性マイクロホンからなるマイクロホンアレイを用いて、ある特定のエリア内に存在する目的エリア音を収音する収音装置に本発明を適用する場合を例示する。
（Ｅ−１）第４の実施形態の構成
図８は、第４の実施形態に係る収音装置２０Ａの構成を示すブロック図である。図８において、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
マイクロホンを除く図８に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても機能的には、図８で表すことができる。
図８において、第４の実施形態に係る収音装置２０Ａは、第１のマイクロホンアレイＭＡ１、第２のマイクロホンアレイＭＡ２、データ入力部１、指向性形成部２１、遅延補正部２２、空間座標データ保持部２３、目的エリア音パワー補正係数算出部２４、目的エリア音抽出部２５を備える。
第１のマイクロホンアレイＭＡ１は、目的エリア（以下、ＴＡＲとも呼ぶ、図１０参照。）が存在する空間の、目的エリアＴＡＲを指向できる場所に配置される。
第１のマイクロホンアレイＭＡ１は、図８に示すように、３個のマイクロホンＭ１、Ｍ２及びＭ３から構成されており、３個のマイクロホンＭ１、Ｍ２及びＭ３が直角二等辺三角形の頂点に配置されている。各マイクロホンＭ１、Ｍ２及びＭ３が収音（捕捉）して得た音響信号は当該収音装置２０Ａの本体に入力される。
第２のマイクロホンアレイＭＡ２は、第１のマイクロホンアレイＭＡ１と同様に、３個のマイクロホンＭ１、Ｍ２及びＭ３が直角二等辺三角形の頂点に配置された構成であり、各マイクロホンＭ１、Ｍ２及びＭ３が収音（捕捉）して得た音響信号は当該収音装置２０Ａの本体に入力される。
また、第２のマイクロホンアレイＭＡ２は、第１のマイクロホンアレイＭＡ１とは異なる、目的エリアＴＡＲを指向できる場所に配置されている。つまり、目的エリアＴＡＲに対する第１及び第２のマイクロホンアレイＭＡ１及びＭＡ２の位置は、各マイクロホンアレイＭＡ１及びＭＡ２の指向性が目的エリアＴＡＲでのみ重なっていればよく、例えば目的エリアＴＡＲを挟んで対向する位置にそれぞれが配置するようにしても良い。
なお、マクロホンアレイの数は２個に限定されるものではなく、目的エリアＴＡＲが複数存在する場合、全ての目的エリアＴＡＲをカバーできる数のマイクロホンアレイを配置するようにしても良い。
また、第１及び第２のマイクロホンアレイＭＡ１及びＭＡ２を構成するマイクロホンＭ１、Ｍ２及びＭ３は、直角二等辺三角形の頂点に配置されるものであっても良いし、正三角形の頂点に配置されるものであっても良い。
データ入力部１は、第１及び第２のマイクロホンアレイＭＡ１、ＭＡ２で収音した音響信号をアナログ信号からデジタル信号に変換するものである。データ入力部１は、例えば高速フーリエ変換等を用いて、時間領域から周波数領域に変換して、指向性形成部２１に出力する。
指向性形成部２２は、各マイクロホンアレイＭＡ１、ＭＡ２からの出力（デジタル信号）に対するビームフォーマにより、目的エリア方向に対して各マイクロホンアレイＭＡ１、ＭＡ２の前方に指向性を向けた指向性ビームを形成し、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力を得るものである。ビームフォーマ法は、加算型の遅延和法、減算型のスペクトル減算法など各種手法を使うことができる。また、ターゲットとする目的エリアＴＡＲの範囲に応じて指向性の強度を変更するようにしても良い。
空間座標データ保持部２３は、目的エリアＴＡＲ（の中心）の位置情報や、各マイクロホンアレイＭＡ１、ＭＡ２の位置情報を保持しているものである。
遅延補正部２２は、目的アリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する遅延（伝搬遅延時間）の差を算出し、その差を吸収するように、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力の少なくとも１つを補正するものである。具体的な手順例は、まず、空間座標データ保持部２３から、目的エリアＴＡＲの位置と各マイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間（伝搬遅延時間）の差を算出する。目的エリアＴＡＲから最も遠い位置に配置されたマイクロホンアレイに目的エリア音が到達するタイミングを基準とし、全てのマイクロホンアレイに目的エリア音が同時に到達するように、基準のマイクロホンアレイ以外の他の全てのマイクロホンアレイのビームフォーマ出力に遅延を加える。
なお、目的エリアＴＡＲが変更されることなく、かつ、その目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２との距離が等しい場合には、遅延補正部２２及び空間座標データ保持部２３を省略することができる。
目的エリア音パワー補正係数算出部２４は、各ビームフォーマ出力における目的エリア音のパワーを揃えるための補正係数を算出するものである。
ここで、目的エリア音パワー補正係数算出部２４による補正係数の算出手法の一例として、各マイクロホンアレイのＢＦ出力に含まれる目的エリア音のパワーの比率を推定し、それを補正係数とする方法を使用できる。
目的エリア音抽出部２５は、遅延補正部２２から出力された各ビームフォーマ出力と、目的エリア音パワー補正係数算出部２４から出力された補正係数とに基づいて、目的エリア音を抽出するものである。
図９は、第４の実施形態に係る指向性形成部２１の内部構成を示すブロック図である。
指向性形成部２１は、第１の実施形態で説明した音源分離装置１０Ａと同一、対応する構成を、マイクロホンアレイＭＡ１、ＭＡ２毎に備えており、対応する構成要素には、第１の実施形態の図１と同一符号を付している。
つまり、指向性形成部２１は、マイクロホンアレイＭＡ１、ＭＡ２毎に、目的方向に対してマイクロホンアレイの前方を指向性方向とする指向性を形成するため、指向性形成部２１は、マイクロホンアレイＭＡ１又はＭＡ２毎に、図９に示す内部構成を有する。
図９において、第４の実施形態の指向性形成部２１は、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。
（Ｅ−２）第４の実施形態の動作
次に、第４の実施形態に係る収音装置２０Ａの動作を説明する。
目的エリアＴＡＲに位置している全ての音源が放音した音は、目的エリアＴＡＲを処理対象としている、全てのマイクロホンアレイＭＡ１、ＭＡ２のマイクロホンＭ１、Ｍ２及びＭ３によって捕捉される。なお、マイクロホンアレイＭＡ１及びＭＡ２のマイクロホンＭ１、Ｍ２及びＭ３は目的エリアＴＡＲ以外のエリアに存在する音源からの音も捕捉する。
第１のマイクロホンアレイＭＡ１の全てのマイクロホンＭ１、Ｍ２及びＭ３が、収音（捕捉）して得た音響信号（アナログ信号）は、データ入力部１によってデジタル信号に変換されて指向性形成部２１に与えられる。同様に、第２のマイクロホンアレイＭＡ２の全てのマイクロホンＭ１、Ｍ２及びＭ３が、収音（捕捉）して得た音響信号（アナログ信号）は、データ入力部１によってデジタル信号に変換されて指向性形成部２１に与えられる。
第１のマイクロホンアレイＭＡ１からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２１によって、目的エリアＴＡＲの方向に対してマイクロホンアレイＭＡ１の前方を指向性方向とするビームフォーマ処理が施されて、ビームフォーマ出力が遅延補正部２２に与えられる。また、第２のマイクロホンアレイＭＡ２からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２１によって、目的エリアＴＡＲの方向に対してマイクロホンアレイＭＡ１の前方を指向性方向とするビームフォーマ処理が施されて、ビームフォーマ出力が遅延補正部２２に与えられる。
ここで、指向性形成部２１における詳細な動作を、図９を用いて説明する。
第１のマイクロホンアレイＭＡ１の、目的方向に対して水平に位置するマイクロホンＭ１からの入力信号ｘ１１とマイクロホンＭ２からの入力信号ｘ１２が信号加算部２に与えられる。信号加算部２では、入力信号ｘ１１と入力信号ｘ１２を加算した後、加算した信号のパワーを１／２倍して、目的音成分を強調する。
また、第１のマイクロホンアレイＭＡ１のマイクロホンＭ１及びＭ２の入力信号ｘ１１及びｘ１２が、双指向性形成部３に与えられる。双指向性形成部３では、入力信号ｘ１１と入力信号ｘ１２を用い、目的方向に死角を向ける双指向性フィルタを形成する。双指向性の形成は、第１の実施形態と同様にして、（１）と（３）式に従い、θＬ＝０として求められる。
さらに、第１のマイクロホンアレイＭＡ１の、目的方向と同じ方向に位置するするマイクロホンＭ２及びＭ３の入力信号ｘ１２及び入力信号ｘ１３が単一指向性形成部４に与えられる。単一指向性形成部４では、目的方向と同じ方向に位置するするマイクロホンＭ２及びＭ３の入力である入力信号ｘ１２及び入力信号ｘ１３を用い、目的方向に死角を向ける単一指向性フィルタを形成する。双指向性の形成は、第１の実施形態と同様に、（１）と（３）式に従い、θＬ＝−π／２として求められる。
重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（５）式に従って、単一指向性形成部４の出力の振幅スペクトルＮＵＤから双指向性形成部３の出力の振幅スペクトルＮＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮＵＤ１が求められる。
ここで、重複部分減算後の出力の振幅スペクトルＮＵＤ１を求める際、重複部分減算後の出力の振幅スペクトルＮＵＤ１の値がマイナスになった場合には、重複部分減算後の出力の振幅スペクトルＮＵＤ１の値を０又は元の値を小さくした値に置き換えるフロアリング処理がなされる。なお、フロアリング処理は、重複部分減算後の出力の振幅スペクトルＮＵＤ１の元の値（直前の値）を小さくした値に置き換えるようにしても良い。
ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるが、双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤとは共にゲイン補正を行っているものとする。例えば、重複指向性消去部５が、時間軸が揃えられた双指向性形成部３の出力の振幅スペクトルＮＢＤと単一指向性形成部４の出力の振幅スペクトルＮＵＤとに基づいて、周波数毎の振幅スペクトルの比率を求め、出力パワーを揃えるための補正係数を用いてゲイン補正するようにしても良い。
目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸＤＳと、重複指向性消去部５から非目的音としての出力の振幅スペクトルＮＢＤ及び重複部分減算後の出力の振幅スペクトルＮＵＤ１とが与えられる。そして、目的信号抽出部６では、（６）式に従って、信号加算部２の出力の振幅スペクトルＸＤＳから、重複指向性消去部５の出力の振幅スペクトルＮＢＤ及び重複部分減算後の出力の振幅スペクトルＮＵＤ１を減算して、強調した目的音が抽出される。
第２のマイクロホンアレイＭＡ２についても、マイクロホンＭ１、Ｍ２及びＭ３からの入力信号ｘ２１、ｘ２２及びｘ２３は指向性形成部２１に与えられ、第１のマイクロホンアレイＭＡ１の場合と同様にして、目的方向に対して第２のマイクロホンアレイＭＡ２の前方にのみ強調された目的音が抽出される。
遅延補正部３では、空間座標データ保持部２３の保持データに基づいて、目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する目的エリアＴＡＲから第１のマイクロホンアレイＭＡ１への伝搬遅延時間と、目的エリアＴＡＲから第１のマイクロホンアレイＭＡ２への伝搬遅延時間との差が算出され、その時間差を吸収するように各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力Ｘｍａ１（ｔ）及びＸｍａ２（ｔ−τ）の少なくとも１つの時間軸が補正される。
以上のようにして時間軸が揃えられたビームフォーマ出力Ｘｍａ１（ｔ）及びＸｍａ２（ｔ−τ）が目的エリア音抽出部２５及び目的エリア音パワー補正係数算出部２４に与えられる。
また、目的エリア音パワー補正係数算出部２４では、時間軸が揃えられたビームフォーマ出力Ｘｍａ１（ｔ）及びＸｍａ２（ｔ−τ）に基づいて、これらビームフォーマ出力Ｘｍａ１（ｔ）及びＸｍａ２（ｔ−τ）における目的エリア音のパワーを揃えるための補正係数が算出される。
例えば２個のマイクロホンアレイＭＡ１、ＭＡ２を使用する場合、目的エリア音パワーの補正係数は、（１１）式、（１２）式、又は（１３）式、（１４）式により算出される。
Figure 0006206003
ここで、Ｘ１ｋ（ｎ）、Ｘ２ｋ（ｎ）はマイクロホンアレイＭＡ１、ＭＡ２のビームフォーマ出力の振幅スペクトル、Ｎは周波数ビンの総数、ｋは周波数、α１（ｎ）、α２（ｎ）は各ビームフォーマ出力に対するパワー補正係数である。またｍｏｄｅは最頻値、ｍｅｄｉａｎは中央値を表している。
目的エリア音抽出部２５は、目的エリア音パワー補正係数算出部２４からの補正係数α１（ｎ）、α２（ｎ）により補正した各ビームフォーマ出力データを、（１５）式、（１６）式に従ってスペクトル減算を行い、目的エリア方向に存在する雑音を抽出する。つまり、補正係数α１（ｎ）、α２（ｎ）により各ビームフォーマ出力を補正し、スペクトル減算を行うことで、目的エリア方向に存在する非目的エリア音を抽出する。
Ｎ１（ｎ）＝Ｘ１（ｎ）−α２（ｎ）Ｘ２（ｎ） （１５）
Ｎ２（ｎ）＝Ｘ２（ｎ）−α１（ｎ）Ｘ１（ｎ） （１６）
マイクロホンアレイＭＡ１からみた目的エリア方向に存在する非目的エリア音Ｎ１（ｎ）を抽出するには、（１５）式に示すように、マイクロホンアレイＭＡ１のビームフォーマ出力Ｘ１（ｎ）からマイクロホンアレイＭＡ２のビームフォーマ出力Ｘ２（ｎ）にパワー補正係数α２を掛けたものをスペクトル減算する。同様に、（１６）式に従い、マイクロホンアレイＭＡ２からみた目的エリア方向に存在する非目的エリア音Ｎ２（ｎ）を抽出する。
さらに、目的エリア音抽出部２５は、抽出した雑音を各ビームフォーマ出力から（１７）式、（１８）式に従ってスペクトル減算することにより、目的エリア音を抽出する。ここで、γ１（ｎ）、γ２（ｎ）はスペクトル減算時の強度を変更するための係数である。
Ｙ１（ｎ）＝Ｘ１（ｎ）−γ１（ｎ）Ｎ１（ｎ） （１７）
Ｙ２（ｎ）＝Ｘ２（ｎ）−γ２（ｎ）Ｎ２（ｎ） （１８）
図１０は、第４の実施形態に係る収音装置２０Ａによるエリア収音のイメージを示すイメージ図である。図１０の点線は、特願２０１２−２１７３１５で提案した従来の双指向性による減算型ＢＦの指向性を示しており、塗りつぶしてある部分が第４の実施形態の手法の指向性を示している。
図１０に示すように、各マイクロホンアレイＭＡ１、ＭＡ２において、マイクロホンＭ１及びＭ２は目的方向に対して水平に配置し、さらにマイクロホンＭ１及びＭ２を結んだ直線と直交し、かつ、いずれかのマイクロホン（ここでは、マイクロホンＭ２）を通る直線上にマイクロホンＭ３を配置する。
各マイクロホンアレイＭＡ１、ＭＡ２の指向性は前方にのみ形成されるため、後方から回りこむ残響の影響を抑えることができる。また、図１０の点線で示す各マイクロホンアレイＭＡ１、ＭＡ２の後方に位置する非目的エリア音１、２を予め抑圧することで、エリア収音のＳＮ比を改善することができる。
従来のエリア収音手法は、各マイクロホンアレイＭＡ１、ＭＡ２の指向性が目的エリアでのみ重なる必要がある。そのため、従来の双指向性による減算型ＢＦは目的方向に鋭い指向性を形成できるが、図１０に示したように目的方向に対してマイクロホンアレイＭＡ１、ＭＡ２の前方だけでなく、後方にも直線的に指向性を形成する。そのため、２個のマイクロホンアレイＭＡ１、ＭＡ２に挟まれたエリアを収音しようとしても、各マイクロホンアレイＭＡ１、ＭＡ２の指向性が全て重なり、２個のマイクロホンアレイＭＡ１、ＭＡ２を結ぶ直線上に存在する全てのエリアを収音してしまうことになる。
しかし、第４の実施形態の場合、マイクロホンアレイＭＡ１、ＭＡ２の指向性が目的エリアＴＡＲに対して前方にのみ形成されているため、２個のマイクロホンアレイＭＡ１、ＭＡ２に挟まれたエリアを収音することが可能である。
図１１は、第４の実施形態に係る収音装置２０Ａによるエリア収音の別のイメージを示すイメージ図である。図１１では、目的エリアＴＡＲを挟んで対向する位置に、２個のマイクロホンアレイＭＡ１、ＭＡ２を配置している。
この場合、２個のマイクロホンアレイＭＡ１、ＭＡ２のそれぞれ指向性を形成すると、マイクロホンアレイＭＡ１の指向性には目的エリア音と非目的エリア音２が含まれることになる。
また、マイクロホンアレイＭＡ２の指向性には目的エリア音と非目的エリア音１が含まれることになる。
各指向性に含まれる非目的エリア音成分は違うため、共通に含まれる目的エリア音のみ抽出することができる。このようなマイクロホンアレイＭＡ１、ＭＡ２の配置でエリア収音を行うと、残響の影響を更に抑えることができる。
つまり、２個のマイクロホンアレイＭＡ１、ＭＡ２を用いてエリア収音する場合、特願２０１２−２１７３１５で提案した従来のエリア収音手法では、各マイクロホンアレイＭＡ１、ＭＡ２の指向性の織りなす角度は９０度であるのに対し、第４の実施形態の手法によれば１８０度となる。このため、反射した非目的エリア音が、各マイクロホンアレイＭＡ１、ＭＡ２の指向性に同時に侵入する確率は低くなり、エリア収音性能の劣化が起こり難くなる。
（Ｅ−３）第４の実施形態の効果
以上のように、第４の実施形態によれば、３個の全指向性マイクロホンからなるマイクロホンアレイを用いることで、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる。
（Ｆ）第５の実施形態
次に、本発明に係る音源分離装置、音源分離プログラム、収音装置及び収音プログラムの第５の実施形態を、図面を参照しながら詳細に説明する。
３個のマイクロホンから構成されるマイクロホンアレイを用いる場合、双指向性や単一指向性を形成するマイクロホンの組み合わせを変えることで、指向性を形成する方向を変えることができる。
そこで、第５の実施形態では、各マイクロホンアレイの指向性の方向を変えることで、マイクロホンアレイ自体を動かさずに別のエリアを収音することが可能となる実施形態を例示する。
（Ｆ−１）第５の実施形態の構成
図１２は、第５の実施形態に係る収音装置２０Ｂの構成を示すブロック図であり、第４の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
図１２において、第５の実施形態に係る収音装置２０Ｂは、第１のマイクロホンアレイＭＡ１、第２のマイクロホンアレイＭＡ２、データ入力部１、指向性形成部２１、遅延補正部２２、空間座標データ保持部２３、目的エリア音パワー補正係数算出部２４、目的エリア音抽出部２５に加えて、エリア選択部２６、エリア切替部２７を備える。
エリア選択部２６は、例えばＧＵＩなどを介してユーザが選択した目的エリアＴＡＲの情報を受け取り、エリア切替部８に与えるものである。目的エリアＴＡＲの数は、１個だけでなく、同時に複数選択することもできる。
エリア切替部２７は、エリア選択部７から与えられた目的エリアＴＡＲの情報に基づいて、空間座標データ保持部２３から目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２と各マイクロホンアレイＭＡ１、ＭＡ２を構成するマイクロホンＭ１、Ｍ２及びＭ３の位置情報を取得し、目的エリアＴＡＲに向けて指向性を形成するために必要なマイクロホンアレイとマイクロホンとの組み合わせを決定し、指向性形成部２１へ入力される信号を制御するものである。
（Ｆ−２）第５の実施形態の動作
第５の実施形態に係る収音装置２０Ｂの動作は、エリア選択部２６及びエリア切替部２７の動作が第４の実施形態の収音装置２０Ａと異なるため、エリア選択部２６及びエリア切替部２７の動作を詳細に説明する。
エリア選択部２６は、例えばＧＵＩなどを介してユーザが選択した１又は複数の目的エリアＴＡＲの情報を受け取り、エリア切替部２７に送信する。
エリア切替部２７では、エリア選択部２６から送信された目的エリアの情報をもとに、空間座標データ保持部２３から選択された目的エリアＴＡＲの位置情報と、各マイクロホンアレイＭＡ１、ＭＡ２の位置情報と、各マイクロホンアレイを構成するマイクロホンＭ１、Ｍ２及びＭ３の位置情報を取得する。また、エリア切替部２７は、目的エリア向けて指向性を形成するために必要なマイクロホンアレイとマイクロホンの組み合わせを決定し、指向性形成部２１へ入力される信号を制御する。
図１３は、第５の実施形態に係る３個のマイクロホンから構成されるマイクロホンアレイＭＡ１、ＭＡ２を２個用いて、２個のエリアを切り替えて収音する状況のイメージ例を示すイメージ図である。
マイクロホンアレイＭＡ１は、マイクロホンＭ１１、ＭＡ１２及びＭＡ１３から構成されており、マイクロホンアレイＭＡ２は、マイクロホンＭ２１、ＭＡ２２及びＭＡ２３から構成されているものとする。
例えば、ユーザにより目的エリアＡが選択されると、エリア選択部２６から目的エリアＡの選択情報がエリア切替部２７に与えられる。エリア切替部２７は、選択された目的エリアＡの位置情報を空間座標データ保持部２３から取得する。
このとき、エリア選択部２６から目的エリアＡに指向性を形成できるマイクロホンアレイＭＡ１及びＭＡ２を選択し、マイクロホンアレイＭＡ１及びＭＡ２の位置情報と、マイクロホンアレイＭＡ１のマイクロホンＭ１１、ＭＡ１２及びＭＡ１３及びマイクロホンアレイＭＡ２のマイクロホンＭ２１、ＭＡ２２及びＭＡ２３の位置情報を空間座標データ保持部２３から取得する。マイクロホンアレイＭＡ１及びＭＡ２の選択方法としては、例えば、複数のマイクロホンアレイが配置されている場合に、任意の２個のマイクロホンアレイＭＡ１及びＭＡ２を選択するようにしても良いし、予め目的エリア毎に指向性を形成できるマイクロホンアレイＭＡ１及びＭＡ２を決めておくようにしても良い。
次に、エリア切替部２７は、マイクロホンアレイＭＡ１のマイクロホンＭ１２及びＭ１３と、マイクロホンアレイＭＡ２のマイクロホンＭ２２及びＭ２３の組み合わせで双指向性を形成し、またマイクロホンアレイＭＡ１のマイクロホンＭ１１及びＭ１２、マイクロホンアレイＭＡ２のマイクロホンＭ２１及びＭ２２の組み合わせで単一指向性を形成するように指向性形成部２１への入力信号を制御する。
指向性形成部２１は、エリア切替部２７からの指示に従って、データ入力部１からの入力信号を双指向性形成部３及び単一指向性形成部４に入力するようにして、双指向性及び単一指向性を形成する。
一方、目的エリアＢが選択された場合は、マイクロホンアレイＭＡ１のマイクロホンＭ１１及びＭ１２、マイクロホンアレイＭＡ２のマイクロホンＭ２１及びＭ２２の組み合わせで双指向性を形成し、またマイクロホンアレイＭＡ１のマイクロホンＭ１２及びＭ１３、マイクロホンアレイＭＡ２のマイクロホンＭ１２及びＭ２３の組み合わせで単一指向性を形成するように指向性形成部２１への入力信号を制御することで収音エリアを切り替える。この場合も、指向性形成部２１は、エリア切替部２７からの指示に従って、データ入力部１からの入力信号を双指向性形成部３及び単一指向性形成部４に入力するようにして、双指向性及び単一指向性を形成する。
また、目的エリアが目的エリアＡと目的エリアＢとが同時に選択された場合は、エリア切替部２７は、選択された目的エリア毎に、並列してマイクロホンアレイのマイクロホンの組み合わせを選択して指示する。こえにより、それぞれの選択された目的エリア毎の双指向性及び単一指向性を形成することができる。
（Ｆ−３）第５の実施形態の効果
以上のように、第５の実施形態によれば、第４の実施形態の効果に加えて、各マイクロホンアレイの指向性の方向を変えることで、マイクロホンアレイ自体を動かさずに別のエリアを収音することが可能となる。
（Ｇ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、さらに、以下に示すような変形実施形態を挙げることができる。
上述した各実施形態において、信号加算部２を備えるものとして説明したが、目的信号抽出部６に与える入力信号を、マイクロホンＭ１又はＭ２が捕捉して得た信号とする場合には、信号加算部２を省略するようにしても良い。
第４及び第５の実施形態では、３個のマイクロホンが直角二等辺三角形の頂点に配置されたマイクロホンアレイを用いる場合を例示したが、正三角形の頂点に配置されたマイクロホンアレイを使用するようにしても良い。この場合、指向性形成部２１は、第２又は第３の実施形態で説明した信号加算部２、双指向性形成部３、単一指向性形成部４（４−１、４−２）、重複指向性消去部５、目的信号抽出部６を備え、第２又は第３の実施形態で説明した動作により目的信号を抽出するようにしても良い。
第４及び第５の実施形態では、マイクロホンアレイが２個のものを示したが、マイクロホンアレイが３つの以上であっても良い。例えば、マイクロホンアレイが３つの場合において、第１及び第２のマイクロホンアレイからの出力から、上述した第４及び第５の実施形態の方法によって得た目的エリア音、第２及び第３のマイクロホンアレイからの出力から上記各実施形態の方法によって得た目的エリア音の計３個の目的エリア音から出力する目的エリア音を定めるようにしても良い。
上記各実施形態では、マイクロホンが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンが捕捉して得た音響信号を記憶媒体に記憶し、その後、記憶媒体から読み出して処理して目的音、目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良い。同様に、リアルタイム処理をする場合でも、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。
以上のような記憶媒体や通信を利用したりする場合も、本発明の収音装置の概念に含まれる。
１０Ａ、１０Ｂ、１０Ｃ…音源分離装置、Ｍ１、Ｍ２、Ｍ３…マイクロホン、１−１、１−２、１−３…信号入力部、２…信号加算部、３…双指向性形成部、４、４−１、４−２…単一指向性形成部、５…重複指向性消去部、６…目的信号抽出部、
２０Ａ、２０Ｂ…収音装置、ＭＡ１、ＭＡ２…マイクロホンアレイ、２１…指向性形成部、２２…遅延補正部、２３…空間座標データ保持部、２４…目的エリア音パワー補正係数算出部、２５…目的エリア音抽出部、２６…エリア選択部、２７…エリア切替部。

Claims (11)

  1. 直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    を備えることを特徴とする音源分離装置。
  2. 正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    を備えることを特徴とする音源分離装置。
  3. 正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    を備えることを特徴とする音源分離装置。
  4. 上記双指向性形成手段の出力から上記単一指向性形成手段の出力をスペクトル減算することにより、又は、上記単一指向性形成手段の出力から上記双指向性形成手段の出力をスペクトル減算することにより、上記双指向性形成手段の出力と上記単一指向性形成手段の出力との間に重複している信号成分を消去する重複指向性消去手段を備え、
    上記目的音抽出手段が、上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記重複指向性消去手段の出力をスペクトル減算して、目的音を抽出するものである
    ことを特徴とする請求項１〜３のいずれかに記載の音源分離装置。
  5. コンピュータを、
    直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    して機能させることを特徴とする音源分離プログラム。
  6. コンピュータを、
    正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    して機能させることを特徴とする音源分離プログラム。
  7. コンピュータを、
    正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
    上記３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
    上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
    して機能させることを特徴とする音源分離プログラム。
  8. 直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを有する複数のマイクロホンアレイと、
    上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して上記各マイクロホンアレイの前方にのみ指向性を上記マイクロホンアレイ毎に形成するものであって、請求項１〜４のいずれかに記載の音源分離装置に相当する指向性形成手段と、
    上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、上記マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、
    上記パワー補正係数算出手段で算出した補正係数を用い、上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力を補正し、補正後の上記各マイクロホンアレイのビームフォーマ出力をスペクトル減算して上記各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段と
    を備えることを特徴とする収音装置。
  9. 目的エリアと上記各マイクロホンアレイと上記各マイクロホンアレイを構成する上記マイクロホンの位置情報を保持する空間座標データ保持手段と、
    選択された１又は複数の目的エリアに関する情報を取得するエリア取得手段と、
    上記エリア取得手段からの上記１又は複数の目的エリアに関する情報に基づいて、上記各目的エリアと上記各マイクロホンアレイと上記各マイクロホンアレイを構成する上記マイクロホンの位置情報を上記空間座標データ保持手段から取得し、上記選択された１又は複数の目的エリアに向けて指向性を形成するために必要な上記マイクロホンアレイの組み合わせと、上記マイクロホンアレイにおける双指向性及び単一指向性を形成する上記マイクロホンの組み合わせを決定し、上記指向性形成手段へ入力される信号を制御するエリア切替手段と
    を備えることを特徴とする請求項８に記載の収音装置。
  10. 上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、目的エリア音の上記各マイクロホンアレイへの伝搬遅延時間の差を吸収する補正処理を行う遅延補正手段を備えることを特徴とする請求項８又は９に記載の収音装置。
  11. 直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを備える複数のマイクロホンアレイを有するコンピュータを、
    上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して上記各マイクロホンアレイの前方にのみ指向性を形成するものであって、請求項５〜７のいずれかに記載の音源分離プログラムの機能に相当する指向性形成手段と、
    上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、上記マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、
    上記パワー補正係数算出手段で算出した補正係数を用い、上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力を補正し、補正後の上記各マイクロホンアレイのビームフォーマ出力をスペクトル減算して上記各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段と
    して機能することを特徴とする収音プログラム。
JP2013179886A 2013-08-30 2013-08-30 音源分離装置、音源分離プログラム、収音装置及び収音プログラム Active JP6206003B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013179886A JP6206003B2 (ja) 2013-08-30 2013-08-30 音源分離装置、音源分離プログラム、収音装置及び収音プログラム
US14/309,048 US9445194B2 (en) 2013-08-30 2014-06-19 Sound source separating apparatus, sound source separating program, sound pickup apparatus, and sound pickup program
US15/236,375 US9549255B2 (en) 2013-08-30 2016-08-12 Sound pickup apparatus and method for picking up sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013179886A JP6206003B2 (ja) 2013-08-30 2013-08-30 音源分離装置、音源分離プログラム、収音装置及び収音プログラム

Publications (2)

Publication Number Publication Date
JP2015050558A JP2015050558A (ja) 2015-03-16
JP6206003B2 true JP6206003B2 (ja) 2017-10-04

Family

ID=52583311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013179886A Active JP6206003B2 (ja) 2013-08-30 2013-08-30 音源分離装置、音源分離プログラム、収音装置及び収音プログラム

Country Status (2)

Country Link
US (2) US9445194B2 (ja)
JP (1) JP6206003B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6206003B2 (ja) * 2013-08-30 2017-10-04 沖電気工業株式会社 音源分離装置、音源分離プログラム、収音装置及び収音プログラム
US9781508B2 (en) * 2015-01-05 2017-10-03 Oki Electric Industry Co., Ltd. Sound pickup device, program recorded medium, and method
JP6131989B2 (ja) * 2015-07-07 2017-05-24 沖電気工業株式会社 収音装置、プログラム及び方法
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
WO2017056288A1 (ja) * 2015-10-01 2017-04-06 三菱電機株式会社 音響信号処理装置、音響処理方法、監視装置および監視方法
GB2549922A (en) * 2016-01-27 2017-11-08 Nokia Technologies Oy Apparatus, methods and computer computer programs for encoding and decoding audio signals
JP6187626B1 (ja) * 2016-03-29 2017-08-30 沖電気工業株式会社 収音装置及びプログラム
JP6274244B2 (ja) * 2016-03-31 2018-02-07 沖電気工業株式会社 収音再生装置、収音再生プログラム、収音装置及び再生装置
JP6732564B2 (ja) * 2016-06-29 2020-07-29 キヤノン株式会社 信号処理装置および信号処理方法
CN107889022B (zh) * 2016-09-30 2021-03-23 松下电器产业株式会社 噪音抑制装置以及噪音抑制方法
US10085087B2 (en) * 2017-02-17 2018-09-25 Oki Electric Industry Co., Ltd. Sound pick-up device, program, and method
US11102569B2 (en) * 2018-01-23 2021-08-24 Semiconductor Components Industries, Llc Methods and apparatus for a microphone system
CN110352600B (zh) * 2018-02-06 2020-12-25 雅马哈株式会社 音响装置
US10433086B1 (en) 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10210882B1 (en) * 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
JP7176291B2 (ja) * 2018-08-16 2022-11-22 沖電気工業株式会社 収音装置、プログラム及び方法
JP7176316B2 (ja) * 2018-09-18 2022-11-22 沖電気工業株式会社 収音装置、プログラム及び方法
CN109754803B (zh) * 2019-01-23 2021-06-22 上海华镇电子科技有限公司 车载多音区语音交互***及方法
JP6822505B2 (ja) * 2019-03-20 2021-01-27 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
US11115765B2 (en) 2019-04-16 2021-09-07 Biamp Systems, LLC Centrally controlling communication at a venue
JP7207159B2 (ja) * 2019-05-21 2023-01-18 沖電気工業株式会社 収音装置、収音プログラム、収音方法、及び収音システム
CN110691299B (zh) * 2019-08-29 2020-12-11 科大讯飞(苏州)科技有限公司 音频处理***、方法、装置、设备及存储介质
CN112261528B (zh) * 2020-10-23 2022-08-26 汪洲华 一种多路定向拾音的音频输出方法及***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793875A (en) * 1996-04-22 1998-08-11 Cardinal Sound Labs, Inc. Directional hearing system
US6931138B2 (en) * 2000-10-25 2005-08-16 Matsushita Electric Industrial Co., Ltd Zoom microphone device
JP4286637B2 (ja) * 2002-11-18 2009-07-01 パナソニック株式会社 マイクロホン装置および再生装置
JP4873913B2 (ja) 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
US8068619B2 (en) * 2006-05-09 2011-11-29 Fortemedia, Inc. Method and apparatus for noise suppression in a small array microphone system
JP4367484B2 (ja) * 2006-12-25 2009-11-18 ソニー株式会社 音声信号処理装置、音声信号処理方法及び撮像装置
JP4986248B2 (ja) * 2009-12-11 2012-07-25 沖電気工業株式会社 音源分離装置、方法及びプログラム
US20110200205A1 (en) * 2010-02-17 2011-08-18 Panasonic Corporation Sound pickup apparatus, portable communication apparatus, and image pickup apparatus
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
JP6206003B2 (ja) * 2013-08-30 2017-10-04 沖電気工業株式会社 音源分離装置、音源分離プログラム、収音装置及び収音プログラム

Also Published As

Publication number Publication date
JP2015050558A (ja) 2015-03-16
US9549255B2 (en) 2017-01-17
US20160353203A1 (en) 2016-12-01
US9445194B2 (en) 2016-09-13
US20150063590A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
JP6206003B2 (ja) 音源分離装置、音源分離プログラム、収音装置及び収音プログラム
JP5482854B2 (ja) 収音装置及びプログラム
JP6149818B2 (ja) 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP4816221B2 (ja) 収音装置および音声会議装置
JP6131989B2 (ja) 収音装置、プログラム及び方法
JP6065028B2 (ja) 収音装置、プログラム及び方法
JP6065030B2 (ja) 収音装置、プログラム及び方法
JP6187626B1 (ja) 収音装置及びプログラム
CN107534725A (zh) 一种语音信号处理方法及装置
JP5737342B2 (ja) 収音装置及びプログラム
JP5648760B1 (ja) 収音装置及びプログラム
JP5772151B2 (ja) 音源分離装置、プログラム及び方法
JP6763332B2 (ja) 収音装置、プログラム及び方法
JP2018132737A (ja) 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法
KR101678305B1 (ko) 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법
WO2019176153A1 (ja) 収音装置、記憶媒体及び方法
JP6943120B2 (ja) 収音装置、プログラム及び方法
JP6436180B2 (ja) 収音装置、プログラム及び方法
JP2016163135A (ja) 収音装置、プログラム及び方法
JP6241520B1 (ja) 収音装置、プログラム及び方法
JP6260666B1 (ja) 収音装置、プログラム及び方法
JP6065029B2 (ja) 収音装置、プログラム及び方法
JP6725014B1 (ja) 収音装置、収音プログラム及び収音方法
JP6863004B2 (ja) 収音装置、プログラム及び方法
JP6973224B2 (ja) 収音装置、プログラム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170821

R150 Certificate of patent or registration of utility model

Ref document number: 6206003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150