JP7027283B2 - 伝達関数生成装置、伝達関数生成方法、およびプログラム - Google Patents

伝達関数生成装置、伝達関数生成方法、およびプログラム Download PDF

Info

Publication number
JP7027283B2
JP7027283B2 JP2018163049A JP2018163049A JP7027283B2 JP 7027283 B2 JP7027283 B2 JP 7027283B2 JP 2018163049 A JP2018163049 A JP 2018163049A JP 2018163049 A JP2018163049 A JP 2018163049A JP 7027283 B2 JP7027283 B2 JP 7027283B2
Authority
JP
Japan
Prior art keywords
transfer function
modeling
function
sound source
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018163049A
Other languages
English (en)
Other versions
JP2020036271A (ja
Inventor
一博 中臺
弘史 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018163049A priority Critical patent/JP7027283B2/ja
Priority to US16/542,375 priority patent/US10674261B2/en
Publication of JP2020036271A publication Critical patent/JP2020036271A/ja
Application granted granted Critical
Publication of JP7027283B2 publication Critical patent/JP7027283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、伝達関数生成装置、伝達関数生成方法、およびプログラムに関する。
音声認識では、例えば複数のマイクロホンで構成されるマイクロホンアレイによって音響信号を収音し、収音した音響信号に対して音源定位や音源分離を行う。ここで、音源定位とは、音源の位置を推定する処理である。音源分離とは、複数の音源から各音源の信号を抽出する処理である。そして、音声認識では、音源定位されたデータと音源分離されたデータから特徴量を抽出し、抽出した特徴量に基づいて音声認識を行う。音源定位や音源分離では、マイクロホンアレイの各マイクロホンへの伝達関数(Transfer Function)が用いられる。伝達関数は、音源から出力した測定信号をマイクロホンで収音し、収音した測定信号からインパルス応答を求めた上で計算する。なお、インパルス応答は、音源からインパルスを出力し、これを収音することで求めることができる。
伝達関数の作成方法には、理論ベースと実測ベースの2つがある。理論ベースは、音の伝播の理論式から計算で伝達関数を求める手法である。実測ベースは、音源位置にスピーカを設置し、TSP(Time-Stretched-Pulse;周波数スウィープパターン)信号などの測定用信号を流すことでインパルス応答を測定し、インパルス応答をフーリエ変換することで伝達関数を求める手法である。
実測ベースの伝達関数は、理論ベースの伝達関数よりも高精度である。この理由は、マイクロホンの特性や冶具による回折などの実際の音の伝播の影響をすべて含んでいるためである。実測ベースで様々な方向からの音源から複数のマイクロホンまでの伝達関数を記録したデータベース(以下、TFDBともいう)を作成するには、非常に多くの時間と労力を必要とする。多くの伝達関数が必要なためである。例えば、音源定位を、方位角・仰角ともに5°の精度で行うためには、2522方向(=72×35+2)の伝達関数を含むTFDBが必要である。さらに音源定位を、方位角・仰角ともに1°の精度では、64442(=360×179+2)方向の伝達関数が必要である。
例えば、特許文献1に、少ない数の限られた方向の伝達関数から、中間的な方向の伝達関数を補間により求める手法が開示されている。この技術を利用すれば、多くの伝達関数を測定することなく、細かい角度の伝達関数を求めることができる。
特開2010-171785号公報
しかしながら、特許文献1に記載の技術では、元の測定した伝達関数が、全周を整数で等分した角度に限定される。また、特許文献1に記載の技術では、補間で算出できる伝達関数の角度も実測した角度間隔の整数倍でとなる必要がある。そのため、特許文献1に記載の技術では、任意の中間的な角度の伝達関数値を補間で求めることができなかった。
本発明は、上記の問題点に鑑みてなされたものであって、任意の角度の伝達関数を求めることができる伝達関数生成装置、伝達関数生成方法、およびプログラムを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る伝達関数生成装置(1,1B)は、複数の方向にある音源からマイクロホン(例えばマイクロホン121)に至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して記録するモデル化部(14)と、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成する伝達関数生成部(16)と、を備え、前記モデル化部は、前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納する。
(2)また、本発明の一態様に係る伝達関数生成装置において前記モデル化部は、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築し、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求めるようにしてもよい。
(3)上記目的を達成するため、本発明の一態様に係る伝達関数生成装置は、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するモデル化部と、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成する伝達関数生成部と、を備え、前記モデル化部は、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築し、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求める。
(4)また、本発明の一態様に係る伝達関数生成装置において、前記モデル化部は、前記モデル化の係数を、任意の2つ以上の方向からの伝達関数から、ムーアペンローズ型疑似逆行列を用いて求めるようにしてもよい。
(5)上記目的を達成するため、本発明の一態様に係る伝達関数生成方法は、モデル化部が、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、伝達関数生成部が、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、前記モデル化部が、前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納するステップと、を含む。
(6)上記目的を達成するため、本発明の一態様に係る伝達関数生成方法は、モデル化部が、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、伝達関数生成部が、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、前記モデル化部が、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築するステップと、前記モデル化部が、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求めるステップと、を含む。
(7)上記目的を達成するため、本発明の一態様に係るプログラムは、伝達関数生成装置のコンピュータに、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納するステップと、を実行させる。
(8)上記目的を達成するため、本発明の一態様に係るプログラムは、伝達関数生成装置のコンピュータに、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して記録するステップと、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築するステップと、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求めるステップと、を実行させる。
上述した(1)、(2)、(3)、(5)~(8)によれば、実測値の中間値に加え任意の角度の伝達関数を求めることができる。
上述した(、(5)、(7)によれば、事前に計測をしなくても、達関数生成装置を利用している過程で得られる音響信号から伝達関数のデータベースを構築することができるようになる。
上述した()、(3)、(6)、(8)によれば、フーリエ級数展開を用いることで、角度方向の周期性をそのまま表現することができるため、従来の2点以上を利用した直線補間などよりも高精度な近似モデルを構築することができる。上述した()、(3)、(6)、(8)によれば、また直線補間と異なり、データ間隔が広く開いた場所においても推定精度が低下しにくい。
上述した(2)、(3)、(6)、(8)によれば、フーリエ係数と同数の点をもつ等間隔のデータが必要ではなく、データの点数が少なくても、多くても良く、また等間隔でない場合でも求められる。
上述した()によれば、疑似逆行列を用いるため、データの点数が少なくても、多くても良く、また等間隔でない場合でも求められる。
また、モデル化に必要な伝達関数を測定する際、音源の到来角度が等間隔でなくても、実測値の中間値に加え任意の角度の伝達関数を求めることができる。
本実施形態に係る伝達関数生成装置の構成例を示すブロック図である。 二次元における方位角θを示す図である。 方位角θと仰角φを示す図である。 従来技術における伝達関数のデータ量を示す図である。 本実施形態に係る伝達関数のデータ量を示す図である。 周波数が246Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が492Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が996Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が1992Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が3996Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が246Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が492Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が996Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が1992Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が3996Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が246Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が492Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が996Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が1992Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 周波数が3996Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。 モデル化の次数が3の場合の周波数に対する振幅誤差と位相誤差を示す図である。 モデル化の次数が6の場合の周波数に対する振幅誤差と位相誤差を示す図である。 モデル化の次数が12の場合の周波数に対する振幅誤差と位相誤差を示す図である。 伝達関数の角度間隔が5度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。 伝達関数の角度間隔が15度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。 伝達関数の角度間隔が45度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。 本実施形態に係るモデル化の処理手順のフローチャートである。 第2変形例に係る伝達関数生成装置の構成例を示すブロック図である。 第3変形例に係る音声認識装置の構成例を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
図1は、本実施形態に係る伝達関数生成装置1の構成例を示すブロック図である。図1に示すように、伝達関数生成装置1は、到来角取得部11、収音部12、取得部13、モデル化部14、記憶部15、伝達関数生成部16、および出力部17を備えている。
なお、音源2は、例えばスピーカであり、所定の測定信号を発する。
到来角取得部11は、収音部12に対する音源2の角度である到来角を取得する。なお、到来角は、使用者が入力してもよい。到来角取得部11は、取得した到来角をモデル化部14に出力する。なお、到来角は、水平面上の方位角θと仰角φを含み、それぞれ複数である。
収音部12は、1つのマイクロホン121、または複数のマイクロホン(121、122、・・・(図2参照))から構成されるマイクロホンアレイである。収音部12は、音源2が発した音響信号を収音し、収音した音響信号を取得部13に出力する。
取得部13は、収音部12が出力するアナログの音響信号を取得し、取得したアナログの音響信号をデジタルの音響信号に変換する。なお、収音部12の複数のマイクロホンそれぞれが出力する複数の音響信号は、同じサンプリング周波数の信号を用いてサンプリングが行われる。取得部13は、デジタルに変換した音響信号をモデル化部14に出力する。
モデル化部14は、到来角取得部11が出力する到来角と、取得部13が出力するデジタルに変換された音響信号とを用いて、伝達関数を到来方向を引数とする関数として表現してモデル化する。すなわち、モデル化部14は、従来のように離散化した複数の音源の到来方向で記録しない。モデル化部14は、モデル化した伝達関数を記憶部15に格納させる。なお、モデル化部14が行う処理については、後述する。
記憶部15は、伝達関数のデータベースである。記憶部15は、到来方向を引数とする関数として表現してモデル化された伝達関数を、収音部12が備えるマイクロホン毎に格納する。なお、記憶部15が格納する情報は、後述する係数をマイクロホン毎に格納する。
伝達関数生成部16は、記憶部15が格納するモデル化された伝達関数を用いて、任意の到来角の伝達関数を生成し、生成した伝達関数を出力部17に出力する。
出力部17は、伝達関数生成部16が出力する伝達関数を外部装置に出力する。外部装置は、例えば音声認識装置、音源分離装置、音源同定等である。
[1次元のモデル化]
次に、1次元のモデル化について説明する。
図2は、二次元(空間)における方位角(到来角)θを示す図である。図2に示す例では、収音部12が3つのマイクロホン(121、122および123)を備えている。モデルの作成時、伝達関数生成装置1の利用者は、測定信号を発する音源2を、角度をθ毎に移動させ、方位角θ、2θ、3θ、・・・を伝達関数生成装置1に入力する。θは、例えば15度、30度等である。
図2に示したように、水平面上の到来方向である方位角θのみが変数であるとすると、伝達関数の振幅|H(θ,ω)|は次式(1)でモデル化でき、位相∠(θ,ω)は次式(2)でモデル化できる。
Figure 0007027283000001
Figure 0007027283000002
式(1)と式(2)において、ωは角周波数、Nは水平方向のモデル化次数であり、nは変数である。また、AとBは振幅に対する係数であり、A’とB’は位相に対する係数である。このように、本モデルは、到来方向である方位角θについてのフーリエ係数を各周波数ωで格納するモデルである。
式(1)と式(2)のモデル化は、複素フーリエ係数を用いて、次式(3)と次式(4)のように表現することもできる。
Figure 0007027283000003
Figure 0007027283000004
式(3)と式(4)において、CとC’は係数であり、iは複素数である。なおモデル化される関数は実数であるため、式(3)と式(4)において、次式(5)と次式(6)の関係が成り立つ。
Figure 0007027283000005
Figure 0007027283000006
式(5)と式(6)において、*は複素共役である。
また、伝達関数のモデル化を、振幅と位相に分けずに、次式(7)のように、位相と振幅をまとめた複素振幅をモデル化することもできる。
Figure 0007027283000007
式(7)において、C ’’(ω)は複素数の関数であり、一般にC’’ (-ω)≠C’’ (ω)である。
なお、上述した、(式(1)と式(2))と、(式(3)と式(4))は、数学的に等価である。(式(3)と式(4))と、式(7)についても、Nが十分大きい時には等価であるが,Nが小さい場合には、等価にならない。
[2次元のモデル化]
次に、2次元のモデル化について説明する。
図3は、方位角θと仰角φを示す図である。図3に示す例では、収音部12が3つのマイクロホン(121、122および123)を備えている。モデルの作成時、伝達関数生成装置1の利用者は、測定信号を発する音源2を、角度をθ毎に移動させ、方位角θ、2θ、3θ、・・・を伝達関数生成装置1に入力する。また、仰角φ毎に移動させ、仰角φ、2φ、3φ、・・・を伝達関数生成装置1(図1)に入力する。
音源方向の引数を方位角θと仰角φの2つとすると、音源方向(θ,φ)からの伝達関数H(θ,φ,ω)は次式(8)の関数のようにモデル化できる。
Figure 0007027283000008
式(8)において、C’’ n,m(ω)は、変数(θ,φ)に対する2次元フーリエ級数である。また、Nは水平方向のモデル化次数であり、Mは垂直方向のモデル化次数であり、nとmは変数である。
ここで、2次元でのモデル化は、(θ,φ)に対するモデル化を次式(9)のように球面調和関数として表現することもできる。
Figure 0007027283000009
式(9)において、KとMとkとmは変数である。また、P (t)はルジャンドル陪多項式であり、Q(m,k)は次式(10)で与えられる係数であり、D(m,k,ω)がモデル化された球面調和展開による係数である。
Figure 0007027283000010
なお、第1パターン(式(1)と式(2))、第2パターン(式(3)と式(4))、第3パターン(式(7))、第4パターン(式(8))、および第5パターン(式(9))の各手法におけるモデル化の係数は、いくつかの角度で実測した伝達関数からモデル化部14が決定する。
また、モデル化部14は、上述したモデル化のうち少なくとも1つのモデル化を行って記憶部15に格納させる。また、モデル化部14は、この処理を収音部12が備えるマイクロホン毎に行う。マイクロホンが3つの場合、モデル化部14は、3つの伝達関数のモデル化を格納する。
以上のように、本実施形態では、伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築するようにした。
これにより、本実施形態によれば、フーリエ級数展開を用いることで、角度方向の周期性をそのまま表現することができるため、従来技術のように他の2点以上を利用した直線補間などよりも高精度な近似モデルを構築することができる。
また、本実施形態によれば、直線補間と異なり、データ間隔が広く開いた場所においても、推定精度が低下しにくいという効果がある。これは、模式的に例えると、円周上の4点のデータで、元の円を復元する補間を行う場合、直線補間では四角形になるのに対し、フーリエ級数モデルでは4点を通る円を推定する。4点が偏っている場合、直線補間では、いびつな四角形となるが、フーリエ級数では、その4点を通る円が再構成される。このように、本実施形態によれば、複素振幅特性がなめらかなデータに対して、少ない点からでも高精度な近似が可能である。
[係数の求め方]
ここで、例として、到来方向である方位角θのみを変数とする1次元の伝達関数データベースに対し、式(7)で与えられる複素振幅モデルを導入した場合の係数(C’’ (ω))の決定方法について説明する。なお以下の説明では、簡略化のためωを省略しCと記述する。
実測した伝達関数の数をL、その時の音の到来方向である方位角θ(l=1,2,3,…,L)とすると次式(11)の連立方程式が得られる。
Figure 0007027283000011
この連立方程式は、次式(12)のように、行列とベクトルを利用して記述できる。
Figure 0007027283000012
式(12)において、hは実測伝達関数ベクトル、cは係数ベクトル、Aはモデルの伝達関数行列である。各ベクトルは次式(13)~次式(15)である。
Figure 0007027283000013
Figure 0007027283000014
Figure 0007027283000015
なお、式(15)において、aは次式(16)である。
Figure 0007027283000016
式(12)から、求めるべき係数ベクトルcは、次式(17)として求めることができる。
Figure 0007027283000017
式(17)において、AはAの疑似逆行列(ムーアペンローズ型疑似逆行列)である。式(17)により、一般に、変数の数2N+1よりも式の数Lが多い場合(2N+1>Lの場合)、係数は誤差の2乗和が最小となる解として得られる。また、そうでない場合(2N+1≦Lの場合)は、式(11)の解の中で解のノルムが最小になる解が得られる。
なお、到来方向θと仰角φを変数とする2次元の伝達関数データベースの係数を算出するには、実測した伝達関数の数をL、その時の音の到来方向である方位角θ(l=1,2,3,…,L)、仰角φj(l=1,2,3,…,J)とすると連立方程式が得られる。連立方程式は、行列とベクトルを利用して記述できる。このような記述した式から求めるべき係数ベクトルを求める。
デジタル信号の場合、フーリエ係数を求める一般的な手法は、逆離散フーリエ変換である。この場合は、フーリエ係数と同数の点をもつ等間隔のデータが必要である。これに対し疑似逆行列を用いる場合は、データの点数が少なくても多くてもよく、また等間隔でない場合でも求められる。疑似逆行列で求められる係数は、データ点数が元のフーリエ係数の数と同数以上の場合、誤差の無い解である。例えば、逆離散フーリエ変換で求められるデータに対して用いた場合は、逆離散フーリエ変換の結果と一致する。測定データは、人為的ミスや雑音の混入等により一部のデータが利用できないこともありえる。このような場合であっても、疑似逆行列で係数を求めることで、モデルを構築することができる。
[第1変形例]
上述した例では、マイクロホン毎に伝達関数をモデル化する例を説明したが、これに限らない。なお、伝達関数生成装置1の構成は、図1と同じである。
モデル化部14(図1)は、マイクロホンを2つ用いて、1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対伝達関数をモデル化する。この場合、モデル化部14は、基準伝達関数からの相対的な振幅比および位相差を表す伝達関数(相対伝達関数)を計算し、この相対伝達関数の係数を記憶部15に格納させる。この場合は、記憶部15が格納するデータ数がマイクロホンの個数M(Mは2以上の整数)-1であり、データ数を削減することができる。
この場合、例えば到来方向である方位角θを変数とする伝達関数の場合、(式(1)と式(2))、または(式(3)と式(4))を用いて1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対複素振幅特性をモデル化するようにしてもよい。なお、モデル化部14は、記憶部15に基準伝達関数と、除算していない他のマイクロホンの伝達関数を格納させるようにしてもよい。
また、マイクロホンがM個の場合、マイクロホン1~マイクロホンMのうち1つを基準とし、このマイクロホンで測定した伝達関数を基準伝達関数とする。そして、残りのM-1個のマイクロホンで測定した伝達関数それぞれを基準伝達関数で除算した相対複素振幅特性をモデル化する。
または、モデル化部14(図1)は、マイクロホンを2つ用いて、1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対複素振幅特性をモデル化するようにしてもよい。
例えば到来方向である方位角θを変数とする伝達関数の場合、モデル化部14は、式(7)または式(8)あるいは式(9)を用いて1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対複素振幅特性をモデル化するようにしてもよい。
また、マイクロホンがM個(Mは2以上の整数)の場合、モデル化部14は、マイクロホン1~マイクロホンMのうち1つを基準とし、このマイクロホンで測定した伝達関数を基準伝達関数とする。そして、モデル化部14は、残りのM-1個のマイクロホンで測定した伝達関数それぞれを基準伝達関数で除算した相対複素振幅特性をモデル化するようにしてもよい。
これにより、音源にスピーカを設置して伝達関数を計測しなくても、第1変形例で生成するデータベースで定位や分離が実施できるようになる。従来技術(絶対伝達関数データベース)では、音源から各マイクロホンに至る伝達関数の計測が必ず必要であり、実際に測定すると多くの労力がかかる。相対伝達関数は、収音した信号だけから生成できることができる。このため、第1変形例によれば、事前に計測をしなくても、利用している過程で得られる収音した音響信号から伝達関数のデータベースを構築することができるようになる。
なお、モデル化部14は、記憶部15に基準伝達関数と、除算していない他のマイクロホンの伝達関数を格納させるようにしてもよい。この場合、記憶部15が格納するデータ数は、マイクロホンの個数Mと同じである。
また、音源とマイクロホンとの距離が離れた場合に位相が回り高い次数まで必要になる。1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対伝達関数をモデル化することで、位相の回りが緩やかになるため、格納させる係数を低い次数にすることができる。
[従来技術との比較]
従来技術(特許文献1に記載の技術)では、伝達関数をマイクロホン毎かつ到来角毎に格納していた。そして、従来技術では、伝達関数の複素振幅を補間して、データの無い中間的な角度の伝達関数を算出していた。補間は、2点以上による直線補間であった。このように、従来技術では、中間的な角度の伝達関数しか求めることができなかった。また、従来技術では、補間で算出できる伝達関数の角度が、実測した角度間隔の整数倍でとなる必要がある。そのため、従来技術では、任意の中間的な角度の伝達関数値を補間で求めることができなかった。
図4は、従来技術における伝達関数のデータ量を示す図である。図4において、横軸は方位角θ(0~60の例)であり、奥行き方向の軸は周波数fであり、縦軸は振幅もしくは位相(ただし、図4は振幅の場合のイメージ図)である。このように従来技術のデータ数は、方位角θの数×周波数fのライン数であった。また、従来技術では、方位角θも周波数fも離散的であった。
これに対して、本実施形態では、到来方向を引数とする関数として表現されたモデル化して伝達関数を格納するようにした。すなわち、本実施形態では、伝達関数を方位角θ(音源方向)に関するフーリエ級数の和として表現した。そして、本実施形態では、フーリエ係数のみを保持すれば、伝達関数を連続関数として表現することが可能である。
図5は、本実施形態に係る伝達関数のデータ量を示す図である。図5において、横軸は方位角θ(0~60の例)であり、奥行き方向の軸は周波数fであり、縦軸は振幅もしくは位相である。このように本実施形態のデータ数は、フーリエ係数の数×周波数fのライン数であった。なお、フーリエ係数とは、上述した各式において、A、B、C、Dである。また、本実施形態では、周波数fが離散的であり、方位角θが連続である。
この結果、本実施形態では、このモデルを用いて、任意の中間的な角度の伝達関数値を求めることができる。これにより、本実施形態によれば、細かい分解能で定位や分離を行うことができるようになる。本実施形態によれば、例えば、5度おきに計測した伝達関数しかない状態でも、1度おきに定位のデータを得ることができ、より高い精度で音源の到来方向を推定できるようになる。また、本実施形態によれば、測定点を少なくしても任意の音源方向の伝達関数を生成できるので、格納するデータ量を従来より低減することができる。
[伝達関数の実測値とモデルによる生成値の比較]
次に、伝達関数の実測値とモデルによる生成値の比較結果を、図6~図20を用いて説明する。
水平面上で15°おきに全周に音源2(図1)を配置して測定した24個の伝達関数を測定した。この伝達関数の振幅特性と位相特性それぞれを5次のフーリエ級数で展開してモデルを構築し、5°おきに伝達関数を計算した。
I.振幅特性と位相特性それぞれをモデル化
まず、式(1)と式(2)を用いて振幅特性と位相特性それぞれをモデル化した場合を図6~図10を用いて説明する。なお、測定は、1つのマイクロホンで収音して行った。
5次のフーリエ級数とは、例えば次式(18)と次式(19)のように、フーリエ係数が5次である。係数の数は、振幅と位相それぞれ11個)実数)である。
Figure 0007027283000018
Figure 0007027283000019
図6は、周波数が246Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図6において、符号g10は振幅のシミュレーション結果であり、符号g15は位相のシミュレーション結果である。
符号g10において、横軸は到来角度(以下、単に角度ともいう)(deg)であり、縦軸は振幅の大きさ(dB)である。符号g15において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g10と符号g15において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図6に示すように、246Hzにおける振幅誤差は約0.324dBであり、位相誤差は約64.1degであった。
なお、振幅は、実測値の細かい変動は実用上影響が少ないことが経験的に分かっている。このため、実測値と生成した伝達関数の傾向が近ければ、実用上、伝達関数として問題が無い。
図7は、周波数が492Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図7において、符号g20は振幅のシミュレーション結果であり、符号g25は位相のシミュレーション結果である。
符号g20において、横軸は角度(deg)であり、縦軸は振幅の大きさ(dB)である。符号g25において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g20と符号g25において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図7に示すように、492Hzにおける振幅誤差は約1.02dBであり、位相誤差は約73.6degであった。
図8は、周波数が996Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図8において、符号g30は振幅のシミュレーション結果であり、符号g35は位相のシミュレーション結果である。
符号g30において、横軸は角度(deg)であり、縦軸は振幅の大きさ(dB)である。符号g35において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g30と符号g35において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図8に示すように、996Hzにおける振幅誤差は約0.825dBであり、位相誤差は約75.2degであった。
図9は、周波数が1992Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図9において、符号g40は振幅のシミュレーション結果であり、符号g45は位相のシミュレーション結果である。
符号g40において、横軸は角度(deg)であり、縦軸は振幅の大きさ(dB)である。符号g45において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g40と符号g45において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図9に示すように、1992Hzにおける振幅誤差は約0.905dBであり、位相誤差は約97.5degであった。
図10は、周波数が3996Hzにおける振幅特性と位相特性それぞれをモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図10において、符号g50は振幅のシミュレーション結果であり、符号g55は位相のシミュレーション結果である。
符号g50において、横軸は角度(deg)であり、縦軸は振幅の大きさ(dB)である。符号g55において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g50と符号g55において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図10に示すように、3996Hzにおける振幅誤差は約1.29dBであり、位相誤差は約99.7degであった。
図6~図10に示す例において、データ削減率(5°おき72方向)は、振幅と位相共に、実数の数で約0.15(11/72)であった。このように、本実施形態によれば、5度毎に伝達関数を測定して格納させたデータベースに対してデータを約1/6に削減することができた。また、5度毎の測定の72回に対して、30度毎に測定した場合、測定回数が12回で済むため、測定にかかる時間や手間も削減することができる。
II.複素振幅特性をモデル化
次に、式(7)を用いて複素振幅特性をモデル化した場合を図11~図15を用いて説明する。なお、測定は、1つのマイクロホンで収音して行った。
なお、係数の数は、複素振幅で11個(複素数)である。また、係数は、-5~5次であり、0次を含む合計11個(複素数)である。
図11は、周波数が246Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図11において、符号g110は振幅のシミュレーション結果であり、符号g115は位相のシミュレーション結果である。
符号g110において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g115において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g110と符号g115において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図11に示すように、246Hzにおける振幅誤差は約0.126dBであり、位相誤差は約1.45degであった。
図12は、周波数が492Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図12において、符号g120は振幅のシミュレーション結果であり、符号g125は位相のシミュレーション結果である。
符号g120において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g125において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g120と符号g125において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図12に示すように、492Hzにおける振幅誤差は約0.857dBであり、位相誤差は約7.33degであった。
図13は、周波数が996Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図13において、符号g130は振幅のシミュレーション結果であり、符号g135は位相のシミュレーション結果である。
符号g130において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g135において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g130と符号g135において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図13に示すように、996Hzにおける振幅誤差は約0.886dBであり、位相誤差は約9.12degであった。
図14は、周波数が1992Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図14において、符号g140は振幅のシミュレーション結果であり、符号g145は位相のシミュレーション結果である。
符号g140において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g145において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g140と符号g145において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図14に示すように、1992Hzにおける振幅誤差は約5.33dBであり、位相誤差は約30.3degであった。
図15は、周波数が3996Hzにおける複素振幅特性をモデル化した場合の伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図15において、符号g150は振幅のシミュレーション結果であり、符号g155は位相のシミュレーション結果である。
符号g150において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g155において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g150と符号g155において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図15に示すように、3996Hzにおける振幅誤差は約8.59dBであり、位相誤差は約59.3degであった。
図6~図10と図11~図15を比べると、位相特性については、図11~図15の方が測定点において、実測値とモデルによる値の差が少なく、複素振幅でのモデル化の方が高精度なモデルであることがわかる。
また、図11~図15に示す例において、データ削減率(5°おき72方向)は、振幅と位相共に、複素数の数で約0.15(11/72)であった。このように、本実施形態によれば、5度毎に伝達関数を測定して格納させたデータベースに対してデータを約1/6に削減することができた。
III.相対複素振幅特性をモデル化
次に、マイクロホンを2つ用いて、1つ目のマイクロホンに伝わる伝達関数を基準伝達関数とし、2つ目のマイクロホンに伝わる伝達関数を基準伝達関数で除算した相対複素振幅特性をモデル化した場合を図16~図20を用いて説明する。
なお、係数の数は、複素振幅で11個(複素数)である。また、係数は、-5~5次であり、0次を含む合計11個(複素数)である。
図16は、周波数が246Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図16において、符号g210は振幅のシミュレーション結果であり、符号g215は位相のシミュレーション結果である。
符号g210において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g215において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g210と符号g215において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図16に示すように、246Hzにおける振幅誤差は約0.224dBであり、位相誤差は約1.9degであった。
図17は、周波数が492Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図17において、符号g220は振幅のシミュレーション結果であり、符号g225は位相のシミュレーション結果である。
符号g220において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g225において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g220と符号g225において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図17に示すように、492Hzにおける振幅誤差は約0.348dBであり、位相誤差は約2.33degであった。
図18は、周波数が996Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図18において、符号g230は振幅のシミュレーション結果であり、符号g235は位相のシミュレーション結果である。
符号g230において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g235において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g230と符号g235において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図18に示すように、996Hzにおける振幅誤差は約0.95dBであり、位相誤差は約5degであった。
図19は、周波数が1992Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図19において、符号g240は振幅のシミュレーション結果であり、符号g245は位相のシミュレーション結果である。
符号g240において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g245において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g240と符号g245において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図19に示すように、1992Hzにおける振幅誤差は約1.58dBであり、位相誤差は約10.5degであった。
図20は、周波数が3996Hzにおける複素振幅特性をモデル化した場合の相対伝達関数の実測値とモデルによる生成値の比較結果を示す図である。図20において、符号g250は振幅のシミュレーション結果であり、符号g255は位相のシミュレーション結果である。
符号g250において、横軸は角度(deg)であり、縦軸は振幅の大きさである。符号g255において、横軸は角度(deg)であり、縦軸は位相の大きさ(×π rad)である。また、符号g250と符号g255において、実線は本実施形態の手法で生成した結果であり、白丸は実測値(真値)である。
図20に示すように、3996Hzにおける振幅誤差は約3.05dBであり、位相誤差は約21.6egであった。
図16~図20と図11~図15を比べると、相対化により振幅特性が平坦に近づき、位相特性の変化が少なくなっている。これにより、モデル化の誤差が小さくなることがわかる。
図16~図20に示す例において、データ削減率(5°おき72方向)は、振幅と位相共に、複素数の数で約0.15(11/72)であった。このように、本実施形態によれば、5度毎に伝達関数を測定して格納させたデータベースに対してデータを約1/6に削減することができた。
以上のように、本実施形態によれば、図6~図20を用いて説明したように、30度毎に測定した伝達関数を5次のフーリエ級数で展開してモデル化することで、5度毎に実測した結果と同等の伝達関数を生成することができた。このように、本実施形態によれば、少ないデータで任意の角度の伝達関数を生成することができ、音源方向の角度(方位角、仰角)の関数として連続的なものとして伝達関数のモデルを生成することができる。
なお、上述した例では、5次のフーリエ級数で展開してモデル化する例を説明したが、次数はこれに限らず、5次より少なくとも多くてもよい。次数が5次より少ない場合は、さらにデータ量を削減することができる。
IV.モデル化係数の次数による相対伝達関数の複素フーリエ級数モデル近似誤差の周波数特性
次に、モデル化係数の次数による相対伝達関数の複素フーリエ級数モデル近似誤差の周波数特性について説明する。
図21は、モデル化の次数が3の場合の周波数に対する振幅誤差と位相誤差を示す図である。係数の数は7つである。また、到来角度の間隔は、5度毎である。
図21において、符号g310は周波数に対する振幅誤差であり、符号g315は周波数に対する位相誤差である。
符号g310において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g315において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
次数が3の場合のデータ削減率は、約0.097(=7/72)である。このように、次数が3の場合は、5度毎に伝達関数を測定して格納させたデータベースに対してデータを約1/6に削減することができる。
図22は、モデル化の次数が6の場合の周波数に対する振幅誤差と位相誤差を示す図である。係数の数は13つである。
図22において、符号g320は周波数に対する振幅誤差であり、符号g325は周波数に対する位相誤差である。
符号g320において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g325において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
次数が6の場合のデータ削減率は、約0.181(=13/72)である。このように、次数が6の場合は、データを約1/5.5に削減することができる。
図23は、モデル化の次数が12の場合の周波数に対する振幅誤差と位相誤差を示す図である。係数の数は25である。
図23において、符号g330は周波数に対する振幅誤差であり、符号g335は周波数に対する位相誤差である。
符号g330において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g335において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
次数が12の場合のデータ削減率は、約0.347(=25/72)である。このように、次数が12の場合は、データを約1/3に削減することができる。
図21~図23に示すように、モデル化の次数が大きい方が周波数特性がよい。
V.伝達関数の角度間隔による相対伝達関数の複素フーリエ級数モデル近似誤差の周波数特性
次に、伝達関数の角度間隔(到来角度の間隔)による相対伝達関数の複素フーリエ級数モデル近似誤差の周波数特性について説明する。
図24は、伝達関数の角度間隔が5度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。なお、モデル化の次数は6次である。
図24において、符号g410は周波数に対する振幅誤差であり、符号g415は周波数に対する位相誤差である。
符号g410において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g415において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
図25は、伝達関数の角度間隔が15度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。なお、モデル化の次数は6次である。
図25において、符号g420は周波数に対する振幅誤差であり、符号g425は周波数に対する位相誤差である。
符号g420において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g425において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
図26は、伝達関数の角度間隔が45度毎の場合の周波数に対する振幅誤差と位相誤差を示す図である。なお、モデル化の次数は6次である。
図26において、符号g430は周波数に対する振幅誤差であり、符号g435は周波数に対する位相誤差である。
符号g430において、横軸は周波数(Hz)であり、縦軸は振幅誤差(dB)である。符号g435において、横軸は周波数(Hz)であり、縦軸は位相誤差(×π rad)である。
図23~図26に示すように、伝達関数の間隔(到来角度の間隔)が狭い方が周波数特性がよい。
[モデル化の処理手順]
次に、モデル化の処理手順を説明する。
図27は、本実施形態に係るモデル化の処理手順のフローチャートである。なお、伝達関数生成装置1は、以下の処理を収音部12が備えるマイクロホン毎に行う。
(ステップS1)伝達関数生成装置1は、音源方向毎に、音響信号と音源方向を取得する。伝達関数生成装置1は、例えば30度毎に、音響信号と音源方向を取得する。
(ステップS2)伝達関数生成装置1は、全ての音源方向の音響信号と音源方向を取得したか否かを判別する。伝達関数生成装置1は、全ての音源方向の音響信号と音源方向を取得したと判別した場合(ステップS2;YES)、ステップS3の処理に進める。伝達関数生成装置1は、全ての音源方向の音響信号と音源方向を取得していないと判別した場合(ステップS2;NO)、ステップS1に処理を戻す。
(ステップS3)モデル化部14は、取得した音響信号と音源方向を用いて、到来方向を引数とする関数として表現されたモデル化を行い、上述したように係数を求めて、求めた係数を記憶部15に格納させる。
(ステップS4)伝達係数生成部16は、記憶部15が格納する係数を用いて、所望の到来角度の伝達関数を生成する。
以上のように、本実施形態によれば、30度毎の到来角度の伝達関数を測定することで、任意の到来角度、例えば5度や1度の伝達関数を精度良く生成することができる。なお、従来は、音源定位や音源分離の精度を得るために、到来角度の間隔は例えば5度毎に等間隔で測定していた。従来の5度毎の場合は、360度分の伝達関数を測定するためには72回の測定が必要であった。これに対して本実施形態のように30度毎の場合は、12回の測定で済む。
なお、伝達関数をモデル化する際、事前に測定する到来角の間隔は、例えば15度毎、45度毎等であってもよい。また、事前に測定する到来角の間隔は等間隔でなくてもよい。このように、事前に測定する到来角の間隔は等間隔でない場合、シミュレーション結果から実用的な任意の到来角度の伝達関数を生成できることが確認できている。
[第2変形例]
伝達関数生成装置1の構成は、図1に示した構成に限らない。
図28は、第2変形例に係る伝達関数生成装置1Aの構成例を示すブロック図である。図28に示すように、伝達関数生成装置1Aは、記憶部15、伝達関数生成部16、および出力部17を備えている。
記憶部15、伝達関数生成部16、および出力部17の機能や動作は、伝達関数生成装置1と同じである。
伝達関数生成装置1と伝達関数生成装置1Aとの差は、記憶部15に予め到来方向を引数とする関数として表現されたモデル化された係数が格納されていることである。
なお、第2変形例において、記憶部15が格納する伝達関数のモデル化は、実施形態で説明した第1パターン(式(1)と式(2))、第2パターン(式(3)と式(4))、第3パターン(式(7))、第4パターン(式(8))、および第5パターン(式(9))の各手法におけるモデル化のうちの少なくとも1つである。
第2変形例においても、実施形態と同様の効果を得ることができる。
[第3変形例]
次に、伝達関数生成装置を音声認識装置に適用した例を説明する。
図29は、第3変形例に係る音声認識装置3の構成例を示すブロック図である。図29に示すように、音声認識装置3は、伝達関数生成装置1B、音源定位部31、音源分離部32、発話区間検出部33、特徴量抽出部34、音響モデル記憶部35、音源同定部36、および認識結果出力部37を備えている。
音声認識装置3には、Q個のマイクロホンから構成されるマイクロホンアレイである収音部12が接続されている。収音部12は、Qチャネルの音響信号を出力する。
また、伝達関数生成装置1Bは、到来角取得部11、取得部13、モデル化部14、記憶部15、伝達関数生成部16、および出力部17を備えている。なお、伝達関数生成装置1と同じ機能を備える機能部には同じ符号を用いて説明を省略する。
伝達関数生成装置1Bは、伝達関数のモデル化の際、収音部12が出力する音響信号と、到来角を取得して伝達関数のモデル化を行って係数を格納する。伝達関数生成装置1Bの出力部17は、生成した伝達関数を音源定位部31と音源分離部32に出力する。
音源定位部31は、収音部12が出力するQチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム(例えば、20ms)毎に定める(音源定位)。音源定位部31は、音源定位において、例えば、MUSIC(Multiple Signal
Classification;多重信号分類)法を用いて方向毎のパワーを示す空間スペクトルを算出する。音源定位部31は、空間スペクトルに基づいて音源毎の音源方向を定める。音源定位部31は、音源方向を示す音源方向情報を音源分離部32と、発話区間検出部33に出力する。なお、音源定位部31は、MUSIC法に代えて、その他の手法、例えば、重み付き遅延和ビームフォーミング(WDS-BF:Weighted Delay and Sum Beam Forming)法を用いて音源定位を算出してもよい。
音源分離部32は、音源定位部31が出力する音源方向情報と、収音部12が出力するQチャネルの音響信号を取得する。音源分離部32は、Qチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部32は、音源別音響信号に分離する際、例えば、GHDSS(Geometric-constrained High-order Decorrelation-based Source Separation)法を用いる。音源分離部32は、分離した音響信号のスペクトルを求めて発話区間検出部33に出力する。
発話区間検出部33は、音源定位部31が出力する音源方向情報と、音源分離部32が出力する音響信号のスペクトルを取得する。発話区間検出部33は、取得した分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。例えば、発話区間検出部33は、MUSIC手法で周波数ごとに得られる空間スペクトルを周波数方向に統合して得られる統合空間スペクトルに閾値処理を行うことで、音源検出と発話区間検出を同時に行う。発話区間検出部33は、検出した検出結果と方向情報と音響信号のスペクトルとを特徴量抽出部34に出力する。
特徴量抽出部34は、発話区間検出部33が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。特徴量抽出部34は、例えば、静的メル尺度対数スペクトル(MSLS:Mel-Scale Log Spectrum)、デルタMSLS及び1個のデルタパワーを、所定時間(例えば、10ms)毎に算出することで音響特徴量を算出する。なお、MSLSは、音響認識の特徴量としてスペクトル特徴量を用い、MFCC(メル周波数ケプストラム係数;Mel Frequency Cepstrum Coefficient)を逆離散コサイン変換することによって得られる。特徴量抽出部34は、求めた音響特徴量を音源同定部36に出力する。
音響モデル記憶部35は、音源モデルを格納する。音源モデルは、収音された音響信号を音源同定部36が同定するために用いるモデルである。音響モデル記憶部35は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に格納する。
音源同定部36は、特徴量抽出部34が出力する音響特徴量を、音響モデル記憶部35が格納する音響モデルを参照して音源を同定する。音源同定部36は、同定した同定結果を認識結果出力部37に出力する。
認識結果出力部37は、例えば画像表示部であり、音源同定部36が出力する同定結果を表示する。
(MUSIC法)
ここで、音源定位の一手法であるMUSIC法について説明する。
MUSIC法は、以下に説明する空間スペクトルのパワーPext(ψ)が極大であって、所定のレベルよりも高い方向ψを定位音源方向として定める手法である。音源定位部31は、伝達関数を伝達関数生成装置1Bから取得する。
音源定位部31は、MUSIC法を用いる場合、音源2から各チャネルq(qは、1以上Q以下の整数)に対応するマイクロホンまでの伝達関数D[q](ω)を要素とする伝達関数ベクトル[D(ψ)]を方向ψごとに生成する。音源定位部31は、各チャネルqの音響信号ξqを所定の要素数からなるフレームごとに周波数領域に変換することによって変換係数ξq(ω)を算出する。音源定位部31は、算出した変換係数を要素として含む入力ベクトル[ξ(ω)]から入力相関行列[Rξξ]を算出する。音源定位部31は、入力相関行列[Rξξ]の固有値δ及び固有ベクトル[ε]を算出する。音源定位部31は、伝達関数ベクトル[D(ψ)]と算出した固有ベクトル[ε]に基づいて、周波数別空間スペクトルのパワーPsp(ψ)を算出する。
(GHDSS法)
次に、音源分離の一手法であるGHDSS法について説明する。
GHDSS法は、2つのコスト関数(cost function)として、分離尖鋭度(Separation Sharpness)JSS([V(ω)])と幾何制約度(Geometric Constraint)JGC([V(ω)])が、それぞれ減少するように分離行列[V(ω)]を適応的に算出する方法である。音源分離部32は、音源方向に係る伝達関数に基づいて分離行列を算出する。
分離行列[V(ω)]は、音源定位部31から入力されたQチャネルの音響信号[ξ(ω)]に乗じることによって、検出される最大D個の音源それぞれの音源別音響信号(推定値ベクトル)[u’(ω)]を算出するために用いられる行列である。
分離尖鋭度JSS([V(ω)])は、音源別音響信号(推定値)のスペクトルのチャネル間非対角成分の大きさ、つまり、ある1つの音源が他の音源として誤って分離される度合いを表す指標値である。また、幾何制約度JGC([V(ω)])とは、音源別音響信号(推定値)のスペクトルと音源別音響信号(音源)のスペクトルとの誤差の度合いを表す指標値である。
以上のように、上述した実施形態、変形例で説明したように、伝達関数生成装置1(または1A、1B)は、複数の方向にある音源から1つまたは複数のマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して記憶部15に格納するようにした。なお、離散的でない引数とした関数でモデル化において、フーリエ級数展開に限らず、テーラー展開やスプライン補間等、他の手法を用いてもよい。
また、上述した実施形態、変形例では、到来角度が等間隔の伝達関数を用いる場合を説明したが、これに限られない。欠損データがある場合など等間隔同数のデータでない場合であってもモデルを構築できることが確認できている。このため、測定によって得るデータは、等間隔同数のデータでなくてもよい。
なお、本発明における伝達関数生成装置1(または1A,1B)の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより伝達関数生成装置1(または1A,1B)が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
1,1A,1B…伝達関数生成装置、11…到来角取得部、12…収音部、13…取得部、14…モデル化部、15…記憶部、16…伝達関数生成部、17…出力部、31…音源定位部、32…音源分離部、33…発話区間検出部、34…特徴量抽出部、35…音響モデル記憶部、36…音源同定部、37…認識結果出力部、121,122,123,…マイクロホン

Claims (8)

  1. 複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するモデル化部と、
    格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成する伝達関数生成部と、
    を備え、
    前記モデル化部は、前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納する、伝達関数生成装置。
  2. 前記モデル化部は、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築し、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求める、請求項1に記載の伝達関数生成装置。
  3. 複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するモデル化部と、
    格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成する伝達関数生成部と、
    を備え、
    前記モデル化部は、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築し、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求める、伝達関数生成装置。
  4. 前記モデル化部は、前記モデル化の係数を、任意の2つ以上の方向からの伝達関数から、ムーアペンローズ型疑似逆行列を用いて求める、請求項2または請求項3に記載の伝達関数生成装置。
  5. モデル化部が、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、
    伝達関数生成部が、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、
    前記モデル化部が、前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納するステップと、
    を含む伝達関数生成方法。
  6. モデル化部が、複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、
    伝達関数生成部が、格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、
    前記モデル化部が、前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築するステップと、
    前記モデル化部が、フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求めるステップと、
    を含む伝達関数生成方法。
  7. 伝達関数生成装置のコンピュータに、
    複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、
    格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、
    前記伝達関数のモデル化を、複数の前記マイクロホンのうち基準とするマイクロホンへの前記音源からの伝達関数を基準伝達関数とし、複数の前記マイクロホンのうち前記基準とするマイクロホン以外の対象のマイクロホンへの伝達関数を前記基準伝達関数により除算することで、前記基準伝達関数からの相対的な振幅比および位相差を表す伝達関数を相対伝達関数として生成し、前記相対伝達関数を前記モデル化した関数として格納するステップと、
    を実行させるプログラム。
  8. 伝達関数生成装置のコンピュータに、
    複数の方向にある音源からマイクロホンに至る複数の音響伝達関数を、音源の到来方向を離散的でない引数とした関数でモデル化して格納するステップと、
    格納された前記モデル化された関数を用いて任意の方向の伝達関数を生成するステップと、
    前記伝達関数のモデル化を、1つまたは2つ以上の到来方向を主たる引数とした1次元または2次元以上のフーリエ級数展開によって構築するステップと、
    フーリエ級数展開による前記モデル化の係数を、モデル化誤差の2乗和が最小となり、かつ前記モデル化の係数の2乗ノルムが最小となる前記係数を求めるステップと、
    を実行させるプログラム。
JP2018163049A 2018-08-31 2018-08-31 伝達関数生成装置、伝達関数生成方法、およびプログラム Active JP7027283B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018163049A JP7027283B2 (ja) 2018-08-31 2018-08-31 伝達関数生成装置、伝達関数生成方法、およびプログラム
US16/542,375 US10674261B2 (en) 2018-08-31 2019-08-16 Transfer function generation apparatus, transfer function generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163049A JP7027283B2 (ja) 2018-08-31 2018-08-31 伝達関数生成装置、伝達関数生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020036271A JP2020036271A (ja) 2020-03-05
JP7027283B2 true JP7027283B2 (ja) 2022-03-01

Family

ID=69640300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163049A Active JP7027283B2 (ja) 2018-08-31 2018-08-31 伝達関数生成装置、伝達関数生成方法、およびプログラム

Country Status (2)

Country Link
US (1) US10674261B2 (ja)
JP (1) JP7027283B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
JP7314086B2 (ja) * 2020-03-19 2023-07-25 三菱重工業株式会社 音圧推定システム、及びその音圧推定方法並びに音圧推定プログラム
WO2022173990A1 (en) 2021-02-11 2022-08-18 Nuance Communications, Inc. Multi-channel speech compression system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000166000A (ja) 1998-11-13 2000-06-16 Lucent Technol Inc 平滑な3dデジタル・オ―ディオのために測定したhrtfを調整する方法および装置
JP2008312113A (ja) 2007-06-18 2008-12-25 Nippon Hoso Kyokai <Nhk> 頭部伝達関数補間装置
JP2010045489A (ja) 2008-08-11 2010-02-25 Nippon Hoso Kyokai <Nhk> 頭部音響伝達関数補間装置、そのプログラムおよび方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257597A (ja) * 1997-03-14 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用係数算出方法及び仮想音像定位用係数表作成方法
JPH10257598A (ja) * 1997-03-14 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用音響信号合成装置
EP1918910B1 (en) * 2006-10-31 2009-03-11 Harman Becker Automotive Systems GmbH Model-based enhancement of speech signals
JP2010171785A (ja) 2009-01-23 2010-08-05 National Institute Of Information & Communication Technology 頭部伝達関数補間用係数算出装置、音像定位装置、頭部伝達関数補間用係数算出方法、及びプログラム
US20130294611A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Inc. Source separation by independent component analysis in conjuction with optimization of acoustic echo cancellation
US9099096B2 (en) * 2012-05-04 2015-08-04 Sony Computer Entertainment Inc. Source separation by independent component analysis with moving constraint
DK3285500T3 (da) * 2016-08-05 2021-04-26 Oticon As Binauralt høresystem, der er konfigureret til at lokalisere en lydkilde
US11070912B2 (en) * 2018-06-22 2021-07-20 Facebook Technologies, Llc Audio system for dynamic determination of personalized acoustic transfer functions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000166000A (ja) 1998-11-13 2000-06-16 Lucent Technol Inc 平滑な3dデジタル・オ―ディオのために測定したhrtfを調整する方法および装置
JP2008312113A (ja) 2007-06-18 2008-12-25 Nippon Hoso Kyokai <Nhk> 頭部伝達関数補間装置
JP2010045489A (ja) 2008-08-11 2010-02-25 Nippon Hoso Kyokai <Nhk> 頭部音響伝達関数補間装置、そのプログラムおよび方法

Also Published As

Publication number Publication date
JP2020036271A (ja) 2020-03-05
US10674261B2 (en) 2020-06-02
US20200077185A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7027283B2 (ja) 伝達関数生成装置、伝達関数生成方法、およびプログラム
JP5702685B2 (ja) 音源方向推定装置及び音源方向推定方法
KR20070072518A (ko) 소음원의 원거리-장 분석
JP7235534B6 (ja) マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム
JP2009042716A (ja) 周期信号処理方法、周期信号変換方法および周期信号処理装置ならびに周期信号の分析方法
JPWO2015076149A1 (ja) 音場再現装置および方法、並びにプログラム
Landschoot et al. Model-based Bayesian direction of arrival analysis for sound sources using a spherical microphone array
JP6591477B2 (ja) 信号処理システム、信号処理方法及び信号処理プログラム
Fernandez-Grande et al. Generative models for sound field reconstruction
CN110047507B (zh) 一种声源识别方法及装置
Takeuchi et al. Source directivity approximation for finite-difference time-domain simulation by estimating initial value
JP4293986B2 (ja) 音場を表す方法及びシステム
Bellows et al. Spherical harmonic expansions of high-resolution musical instrument directivities
JP7266433B2 (ja) 音源定位装置、音源定位方法、およびプログラム
JP7254938B2 (ja) 音響源用の結合音源定位及び分離方法
Candy et al. Multichannel spectral estimation in acoustics: A state-space approach
JP2018077139A (ja) 音場推定装置、音場推定方法、プログラム
JP2008060635A (ja) ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体
JPH08305396A (ja) 音声帯域拡大装置および音声帯域拡大方法
JP5453009B2 (ja) 音響測定方法及びシステム
Herzog et al. Distance estimation in the spherical harmonic domain using the spherical wave model
Deboy et al. Tangential intensity algorithm for acoustic centering
JP7204545B2 (ja) 音響信号処理装置、音響信号処理方法、およびプログラム
Faverjon et al. Stochastic inversion in acoustic scattering
JP5172909B2 (ja) 反射音情報推定装置、反射音情報推定方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220216

R150 Certificate of patent or registration of utility model

Ref document number: 7027283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150