JP6730568B2 - Stereoscopic sound reproducing device and program - Google Patents
Stereoscopic sound reproducing device and program Download PDFInfo
- Publication number
- JP6730568B2 JP6730568B2 JP2015212110A JP2015212110A JP6730568B2 JP 6730568 B2 JP6730568 B2 JP 6730568B2 JP 2015212110 A JP2015212110 A JP 2015212110A JP 2015212110 A JP2015212110 A JP 2015212110A JP 6730568 B2 JP6730568 B2 JP 6730568B2
- Authority
- JP
- Japan
- Prior art keywords
- transfer function
- peak
- bandwidth
- center frequency
- notch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Stereophonic Arrangements (AREA)
- Stereophonic System (AREA)
Description
この発明は立体音再生装置およびプログラムに関し、特に、ヘッドホンまたはイヤホン(以下、まとめて「ヘッドホン」と呼ぶ。)を用いてバイノーラル(binaural)信号を再生する、立体音再生装置に関する。 The present invention relates to a three-dimensional sound reproducing device and a program, and more particularly to a three-dimensional sound reproducing device that reproduces a binaural signal using headphones or earphones (hereinafter collectively referred to as “headphones”).
人が2つの耳元における音圧変化だけで3次元的な広がりを知覚できるのは、到来した音波が複雑な形状をした耳で反射や回折することにより、方向に応じて異なる音色に変化することに起因する。この音色の変化を事前に信号処理で音信号に付与してヘッドホンで提示すれば、ヘッドホンをしているにも拘わらず、実際の臨場感をありのまま伝える音として知覚される。 A person can perceive a three-dimensional spread only by changing the sound pressure in two ears because the sound waves that arrive are reflected or diffracted by the ears having a complicated shape and change to different tones depending on the direction. caused by. If this change in timbre is given to the sound signal in advance by signal processing and presented by headphones, it is perceived as a sound that conveys the actual sensation of reality, even though the headphones are being used.
このように、音源信号に頭部伝達関数(Head-Related Transfer Function:HRTF)を畳み込んだバイノーラル信号によって、ヘッドホン聴取において立体音響空間を再現することが、たとえば非特許文献1などで知られている。 As described above, for example, Non-Patent Document 1 discloses that a stereophonic space is reproduced in headphones by a binaural signal obtained by convolving a head-related transfer function (HRTF) with a sound source signal. There is.
非特許文献1でも明らかなよう、耳の形状は人によって異なるので臨場感をありのまま再現するためには、その人に合った音色の変化を与えるフィルタで処理しなければならない。この適切なフィルタを選択あるいは生成する手続きは、「個人適応」と呼ばれ、簡便かつ高精度な手法が求められている。 As is clear from Non-Patent Document 1, the shape of the ear differs from person to person, so in order to reproduce the realistic sensation as it is, it must be processed with a filter that gives a change in tone color that suits the person. The procedure of selecting or generating this appropriate filter is called "personal adaptation", and a simple and highly accurate method is required.
非特許文献1のように、各人ごとに無響室で様々な方向から順番に音を提示し、耳に装着したマイクで録音することで、その人に合ったフィルタを求める手法もあるが、特殊な設備が必要なだけではなく、測定に時間がかかる。したがって、バイノーラル信号を再生する立体音再生装置の実現を容易にする手法が望まれていた。 As in Non-Patent Document 1, there is also a method in which sound is presented to each person in order from various directions in an anechoic room and recorded by a microphone attached to the ear to obtain a filter suitable for the person. , Not only special equipment is required, but it takes time to measure. Therefore, a method for facilitating the realization of a stereophonic sound reproducing device for reproducing a binaural signal has been desired.
それゆえに、この発明の主たる目的は、新規な、立体音再生装置およびプログラムを提供することである。 Therefore, a main object of the present invention is to provide a novel stereoscopic sound reproducing apparatus and program.
この発明の他の目的は、臨場感のある立体音の再現を容易にする、立体音再生装置およびプログラムを提供することである。 Another object of the present invention is to provide a three-dimensional sound reproducing device and program that facilitate reproduction of a three-dimensional sound with a realistic sensation.
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。 The present invention adopts the following configurations in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like show the corresponding relationship with the embodiments described later in order to facilitate understanding of the present invention, and do not limit the present invention in any way.
第1の発明は、ヘッドホンで立体音を再生する立体音再生装置であって、耳介のコンカ深さd1に基づいて第1ピークの中心周波数F1および帯域幅B1を推定する第1推定部、耳介の外耳道入口中心と耳輪下縁に沿う最上位点とを結ぶ線分長さd2に基づいて第2ピークの中心周波数F2を推定しかつ帯域幅B1に基づいて帯域幅B2を推定する第2推定部、耳介の耳甲介腔床の最内点と耳甲介艇壁の最前点とを結ぶ線分の正中面への正投射長さd3に基づいて第3ピークの中心周波数F3を推定しかつ帯域幅B1に基づいて帯域幅B3を推定する第3推定部、第1ピークの中心周波数F1および帯域幅B1に基づいて第1伝達関数を計算する第1計算部、第2ピークの中心周波数F2および帯域幅B2に基づいて第2伝達関数を計算する第2計算部、第3ピークの中心周波数F3および帯域幅B3に基づいて第3伝達関数を計算する第3計算部、少なくとも第1伝達関数、第2伝達関数および第3伝達関数を合成して、全体の頭部伝達関数を計算する頭部伝達関数計算部、および全体の頭部伝達関数に基づくフィルタで音源信号を畳み込み演算してバイノーラル信号を生成する生成部を備える、立体音再生装置。
である。
A first invention is a stereophonic sound reproducing device for reproducing stereoscopic sound with headphones, and a first estimating unit that estimates the center frequency F1 and the bandwidth B1 of the first peak based on the conca depth d1 of the auricle, Estimating the center frequency F2 of the second peak based on the line segment length d2 that connects the center of the ear canal entrance to the uppermost point along the lower edge of the ear ring, and estimating the bandwidth B2 based on the bandwidth B1 2 Estimator, center frequency F3 of the third peak based on the normal projection length d3 to the median plane of the line segment that connects the innermost point of the concha of the auricle and the frontmost point of the concha of the concha And a second estimator for estimating a bandwidth B3 based on the bandwidth B1, a first estimator for calculating the first transfer function based on the center frequency F1 of the first peak and the bandwidth B1, and a second peak. A second calculation unit that calculates a second transfer function based on the center frequency F2 and a bandwidth B2 of the second peak, and a third calculation unit that calculates a third transfer function based on the center frequency F3 and the bandwidth B3 of the third peak, A head-related transfer function calculator that calculates the overall head-related transfer function by combining the first transfer function, the second transfer function, and the third transfer function , and convolves the sound source signal with a filter based on the entire head-related transfer function. A three-dimensional sound reproduction device including a generation unit that calculates and generates a binaural signal.
Is.
第1の発明では、立体音再生装置(10:実施例において相当する部分を例示する参照符号。以下、同じ。)は、プロセッサ(12)を含み、たとえばこのプロセッサが生成したバイノーラル音源信号をヘッドホン(22)で再生する。第1推定部、第2推定部および第3推定部(12)は、それぞれ、耳介のコンカ深さd1に基づいて第1ピークの中心周波数F1および帯域幅B1を推定し、耳介の外耳道入口中心と耳輪下縁に沿う最上位点とを結ぶ線分長さd2に基づいて第2ピークの中心周波数F2を推定しかつ帯域幅B1に基づいて帯域幅B2を推定し、耳介の耳甲介腔床の最内点と耳甲介艇壁の最前点とを結ぶ線分の正中面への正投射長さd3に基づいて第3ピークの中心周波数F3を推定しかつ帯域幅B1に基づいて帯域幅B3を推定する。第1計算部、第2計算部および第3計算部(12)は、中心周波数F1、F2およびF3と帯域幅B1、B2およびB3に基づいて、第1伝達関数、第2伝達関数および第3伝達関数を計算し、頭部伝達関数計算部(12)は、第1伝達関数、第2伝達関数および第3伝達関数を並列加算または直列加算することによって、全体の頭部伝達関数を計算する。そして、生成部(22)は、全体の頭部伝達関数に基づくフィルタで音源信号を畳み込み演算してバイノーラル信号を生成する。そのバイノーラル信号がヘッドホンに供給される。 In the first invention, a stereoscopic sound reproducing device (10: reference numeral exemplifying a corresponding portion in the embodiment. The same applies hereinafter) includes a processor (12), and, for example, a binaural sound source signal generated by this processor is transmitted to headphones. Play with (22). The first estimating unit, the second estimating unit, and the third estimating unit (12) estimate the center frequency F1 and the bandwidth B1 of the first peak based on the concha depth d1 of the auricle , respectively, and determine the ear canal of the auricle. The center frequency F2 of the second peak is estimated based on the length d2 of the line segment that connects the center of the entrance and the highest point along the lower edge of the ear ring, and the bandwidth B2 is estimated based on the bandwidth B1. The center frequency F3 of the third peak is estimated based on the normal projection length d3 on the median plane of the line segment connecting the innermost point of the concha cavity floor and the frontmost point of the concha shell wall, and is set to the bandwidth B1. Based on that, the bandwidth B3 is estimated. The first calculating unit, the second calculating unit and the third calculating unit (12), based on the center frequencies F1, F2 and F3 and the bandwidths B1, B2 and B3, the first transfer function, the second transfer function and the third transfer function. A transfer function is calculated, and a head-related transfer function calculation unit (12) calculates the overall head-related transfer function by adding the first transfer function, the second transfer function, and the third transfer function in parallel or in series. .. The generator (22) then convolves the sound source signal with a filter based on the entire head related transfer function to generate a binaural signal. The binaural signal is supplied to the headphones.
第1の発明によれば、人の耳介の特定部位の寸法を用いて個人適応化した頭部伝達関数を簡単に生成できるので、臨場感をありのままに再現する立体音再生装置の実現が容易である。 According to the first aspect of the present invention, a personalized head related transfer function can be easily generated using the size of a specific part of the human auricle, so that it is easy to realize a three-dimensional sound reproducing device that reproduces a realistic sensation. Is.
第2の発明は、第1の発明に従属し、第1ピークの中心周波数F1および第2ピークの中心周波数F2に基づいて第1ノッチの中心周波数NF1を推定する第4推定部、および第1ノッチの中心周波数NF1および帯域幅NB1に基づいて第4伝達関数を計算する第4計算部をさらに備え、頭部伝達関数計算部は、第1伝達関数、第2伝達関数、第3伝達関数および第4伝達関数に従って頭部伝達関数を計算する、立体音再生装置である。 A second invention is according to the first invention, and comprises a fourth estimating unit for estimating the center frequency NF1 of the first notch based on the center frequency F1 of the first peak and the center frequency F2 of the second peak, and the first invention. It further comprises a fourth calculator that calculates a fourth transfer function based on the center frequency NF1 of the notch and the bandwidth NB1, and the head-related transfer function calculator calculates the first transfer function, the second transfer function, the third transfer function, and It is a three-dimensional sound reproduction device that calculates a head related transfer function according to a fourth transfer function.
第2の発明では、第4推定部(12)は、たとえば第1ピークおよび第2ピークの中心周波数F1とF2を求め、2つの放射点の距離をd2、第2ピークP2における2つの放射点の位相差をπ(逆相)とすることで、正中面における俯仰角と第1ノッチN1の周波数NF1の関係を求める。そして、第4計算部が第1ノッチの中心周波数NF1および帯域幅NB1に基づいて第4伝達関数を計算し、頭部伝達関数計算部は、第1伝達関数、第2伝達関数、第3伝達関数および第4伝達関数に従って頭部伝達関数を計算する。 In the second invention, the fourth estimation unit (12) obtains the center frequencies F1 and F2 of the first peak and the second peak, for example, the distance between the two radiation points is d2, and the two radiation points at the second peak P2 are two. By setting the phase difference of π to be π (reverse phase), the relationship between the depression angle on the median plane and the frequency NF1 of the first notch N1 is obtained. Then, the fourth calculator calculates the fourth transfer function based on the center frequency NF1 of the first notch and the bandwidth NB1, and the head-related transfer function calculator calculates the first transfer function, the second transfer function, and the third transfer function. Calculate the head related transfer function according to the function and the fourth transfer function.
第2の発明によれば、頭部伝達関数計算部が第1ノッチの第4伝達関数も考慮して頭部伝達関数を計算するので、音源の俯仰角を正確に再現することができる。 According to the second aspect , the head related transfer function calculation unit calculates the head related transfer function in consideration of the fourth transfer function of the first notch as well, so that the depression angle of the sound source can be accurately reproduced.
実施例では、第1推定部は、数1、数4および数5に従って第1ピークの中心周波数F1および帯域幅B1を推定し、
[数1]
F1=5939−1030×d1
[数4]
A1=4.32+7.5×d1
[数5]
B1=F1/A1
第2推定部は、数2に従って第2ピークの中心周波数F2を推定し、帯域幅B1に基づいて帯域幅B2を推定し、
[数2]
F2=12441−1647×d2
第3推定部は、数3に従って第3ピークの中心周波数F3を推定し、帯域幅B1に基づいて帯域幅B3を推定し、
[数3]
F3=15341−3142×d3
寸法d1はコンカ深さであり、寸法d2は外耳道入口中心と耳輪下縁を結ぶ線分の長さであり、寸法d3は耳甲介腔床の最内点と耳甲介艇壁の最前点を結ぶ線分の正中面への正投射長さである、立体音再生装置である。
In the embodiment, the first estimation unit estimates the center frequency F1 and the bandwidth B1 of the first peak according to Equations 1 , 4, and 5 ,
[Equation 1]
F1=5939-1030×d1
[Equation 4]
A1=4.32+7.5×d1
[Equation 5]
B1=F1/A1
The second estimation unit estimates the center frequency F2 of the second peak according to Equation 2, estimates the bandwidth B2 based on the bandwidth B1, and
[Equation 2]
F2 = 12441-1647 x d2
The third estimation unit, according to the number 3 estimates the center frequency F3 of the third peak, to estimate bandwidth B 3 based on bandwidth B1,
[Equation 3]
F3=15341-3142×d3
The dimension d1 is the concha depth, the dimension d2 is the length of the line segment that connects the center of the ear canal entrance and the lower edge of the ear canal, and the dimension d3 is the innermost point of the concha cavity floor and the frontmost point of the conchal wall. The stereophonic sound reproducing device has a normal projection length on the median plane of a line segment connecting the two.
さらに、実施例では、第1推定部は、耳介の第4部位の寸法d4および寸法d1に基づいて数14に従って第1ピークの中心周波数F1および帯域幅B1を推定し、
[数14]
F1=6461−758×d1−439×d4
第2推定部は、耳介の第5部位の寸法d5および寸法d2づいて数15に従って第2ピークの中心周波数F2および帯域幅B2を推定し、
[数15]
F2=12646−1333×d2−2239×d5
第3推定部は、耳介の第6部位の寸法d6および寸法d3に基づいて数16に従って第3ピークの中心周波数F3および帯域幅B1を推定し、
[数16]
F3=16445−2911×d3−1235×d6
寸法d1はコンカ深さであり、寸法d2は外耳道入口中心と耳輪下縁を結ぶ線分の長さであり、寸法d3は耳甲介腔床の最内点と耳甲介艇壁の最前点を結ぶ線分の正中面への正投射長さであり、寸法d4は腔甲介底面の最後点と対耳輪の最も横の面とを結ぶ線分の長さであり、寸法d5は耳甲介艇の基端における最横の点とであり、耳甲介艇の最上位縁とを水平方向に結ぶ線分の長さであり、寸法d6は耳甲介腔の最前点と耳輪前脚の珠間窩の縁と珠間窩から最も遠い耳輪の下縁上の点を結ぶ線と交差する点とを水平方向に結ぶ線分の長さである、立体音再生装置である。
Further, in the embodiment, the first estimating unit estimates the center frequency F1 and the bandwidth B1 of the first peak according to the equation 14 based on the dimension d4 and the dimension d1 of the fourth portion of the auricle,
[Equation 14]
F1=6461-758×d1-439×d4
The second estimating unit estimates the center frequency F2 and the bandwidth B2 of the second peak according to the equation 15 based on the dimension d5 and the dimension d2 of the fifth portion of the auricle,
[Equation 15]
F2 = 12646-1333 x d2-2239 x d5
The third estimating unit estimates the center frequency F3 and the bandwidth B1 of the third peak according to Expression 16 based on the dimensions d6 and d3 of the sixth portion of the auricle,
[Equation 16]
F3=16445-2911×d3-1235×d6
The dimension d1 is the concha depth, the dimension d2 is the length of the line segment that connects the center of the ear canal entrance and the lower edge of the ear canal, and the dimension d3 is the innermost point of the concha cavity floor and the frontmost point of the conchal wall. Is the normal projection length of the line segment connecting the median planes, the dimension d4 is the length of the line segment connecting the last point of the cavity concha bottom and the most lateral surface of the annulus, and the dimension d5 is the ear shell. It is the most lateral point at the base end of the boat, and is the length of the line segment that horizontally connects the uppermost edge of the concha of the ear boat, and the dimension d6 is the foremost point of the concha cavity and the front ring of the earring. The stereophonic sound reproducing device has a length of a line segment that horizontally connects the edge of the fossa interstitium and the line connecting the point on the lower edge of the earring farthest from the fossa interstitium to the intersection.
第3の発明は、 ヘッドホンで立体音を再生する立体音再生装置のプロセッサによって実行されるプログラムであって、前記プロセッサを、耳介のコンカ深さd1に基づいて第1ピークの中心周波数F1および帯域幅B1を推定する第1推定部、耳介の外耳道入口中心と耳輪下縁に沿う最上位点とを結ぶ線分長さd2に基づいて第2ピークの中心周波数F2を推定しかつ帯域幅B1に基づいて帯域幅B2を推定する第2推定部、耳介の耳甲介腔床の最内点と耳甲介艇壁の最前点とを結ぶ線分の正中面への正投射長さd3に基づいて第3ピークの中心周波数F3を推定しかつ帯域幅B1に基づいて帯域幅B3を推定する第3推定部、第1ピークの中心周波数F1および帯域幅B1に基づいて第1伝達関数を計算する第1計算部、第2ピークの中心周波数F2および帯域幅B2に基づいて第2伝達関数を計算する第2計算部、第3ピークの中心周波数F3および帯域幅B3に基づいて第3伝達関数を計算する第3計算部、少なくとも第1伝達関数、第2伝達関数および第3伝達関数を合成して、全体の頭部伝達関数を計算する頭部伝達関数計算部、および全体の頭部伝達関数に基づくフィルタで音源信号を畳み込み演算してバイノーラル信号を生成する生成部として機能させる、立体音再生装置のプログラムである。
第4の発明は、第3の発明に従属し、プロセッサをさらに、複数のピークの中心周波数に基づいてノッチの中心周波数を推定するノッチ推定部、およびノッチの中心周波数とその帯域幅に基づいてノッチ伝達関数を計算するノッチ伝達関数計算部として機能させ、頭部伝達関数計算部は、複数のピーク伝達関数およびノッチ伝達関数に従って頭部伝達関数を計算する、立体音再生装置のプログラムである。
A third aspect of the present invention is a program executed by a processor of a stereoscopic sound reproducing device that reproduces a stereoscopic sound using headphones, wherein the processor is configured to set the center frequency F1 of the first peak based on the concha depth d1 of the pinna and A first estimation unit that estimates the bandwidth B1, estimates the center frequency F2 of the second peak based on the line segment length d2 that connects the center of the ear canal entrance of the pinna and the highest point along the lower edge of the ear ring, and the bandwidth A second estimation unit for estimating the bandwidth B2 based on B1, a normal projection length of the line segment connecting the innermost point of the concha of the auricle and the forefront point of the concha of the concha to the median plane. a third estimator for estimating a center frequency F3 of the third peak based on d3 and a bandwidth B3 based on the bandwidth B1, and a first transfer function based on center frequency F1 of the first peak and bandwidth B1 To calculate a second transfer function based on the center frequency F2 and bandwidth B2 of the second peak, and to calculate a third frequency based on the center frequency F3 and bandwidth B3 of the third peak. A third calculation unit that calculates a transfer function, a head-related transfer function calculation unit that calculates at least a first transfer function, a second transfer function, and a third transfer function to calculate an overall head-related transfer function, and an entire head It is a program of a stereophonic sound reproduction device that causes a sound source signal to be convolved with a filter based on a partial transfer function to function as a generation unit that generates a binaural signal.
A fourth invention is according to the third invention, and further comprises a notch estimator for estimating the center frequency of the notch based on the center frequencies of the plurality of peaks, and a notch center frequency and its bandwidth. The head-related transfer function calculation unit is a program of a stereophonic sound reproduction device that functions as a notch transfer function calculation unit that calculates a notch transfer function, and the head-related transfer function calculation unit calculates a head-related transfer function according to a plurality of peak transfer functions and notch transfer functions.
第5の発明によっても、第1の発明と同様の効果が期待できる。 According to the fifth invention, the same effect as the first invention can be expected.
この発明によれば、個人適応化した頭部伝達関数を簡単に生成できるので、臨場感をありのままに再現する立体音再生装置の実現が容易である。 According to the present invention, since a personalized head related transfer function can be easily generated, it is easy to realize a three-dimensional sound reproducing device that reproduces a realistic sensation as it is.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above-mentioned objects, other objects, features and advantages of the present invention will become more apparent from the following detailed description of the embodiments with reference to the drawings.
図1を参照して、この実施例の立体音再生装置10は、基本的には、コンピュータで構成され、プロセッサ12およびこのプロセッサ12に音源信号を入力するための音源14を含む。この音源14は、コンピュータ内部に設けられた記憶媒体(HDD、RAMなど)や外部記憶媒体(光学ディスク、USBメモリなど)16であってもよいし、オンラインで取得する音源であってもよい。音源信号がディジタル音源信号の場合は図1に示す点線に従って、音源14からプロセッサ12に直接入力される。また、音源14からの音源信号がアナログ音源信号のときは、A/D変換器18によってディジタル音源信号に変換してプロセッサ12に入力すればよい。つまり、音源信号はディジタル音源信号であってもよいし、アナログ音源信号であってもよい。 Referring to FIG. 1, the stereophonic sound reproducing apparatus 10 of this embodiment is basically composed of a computer, and includes a processor 12 and a sound source 14 for inputting a sound source signal to the processor 12. The sound source 14 may be a storage medium (HDD, RAM, etc.) provided inside the computer, an external storage medium (optical disk, USB memory, etc.) 16, or a sound source acquired online. When the sound source signal is a digital sound source signal, it is directly input from the sound source 14 to the processor 12 according to the dotted line shown in FIG. When the sound source signal from the sound source 14 is an analog sound source signal, it may be converted into a digital sound source signal by the A/D converter 18 and input to the processor 12. That is, the sound source signal may be a digital sound source signal or an analog sound source signal.
音源14からA/D変換器18を介して読み込まれた音源信号データまたは音源14からそのまま入力された音源信号データに基づいてプロセッサ12が立体音データを生成し、その立体音データがD/A変換器20を経てヘッドホン22によって立体音として再生される。 The processor 12 generates stereoscopic sound data based on the sound source signal data read from the sound source 14 through the A/D converter 18 or the sound source signal data directly input from the sound source 14, and the stereoscopic sound data is D/A. It is reproduced as stereoscopic sound by the headphones 22 via the converter 20.
この実施例の立体音再生装置10はさらに、入力装置24を備え、この入力装置24によって、後述する頭部伝達関数HRTFの第1ピークP1、P2およびP3にそれぞれ相関する受聴者の耳介の特定部位の測定データを入力する。 The three-dimensional sound reproducing apparatus 10 of this embodiment further includes an input device 24, which is used by the listener's ear to correlate with first peaks P1, P2 and P3 of a head related transfer function HRTF described later. Enter the measurement data of a specific part.
この実施例の立体音再生装置10では、入力装置24から入力された測定データに基づいて頭部伝達関数HRTF(または耳介伝達関数PRTF)を生成して、その頭部伝達関数HRTF(または耳介伝達関数PRTF)に基づくフィルタで音源信号を畳み込み演算することによって、個人適応化された左右のバイノーラル信号を生成する。 In the stereophonic sound reproducing apparatus 10 of this embodiment, the head related transfer function HRTF (or the auricle transfer function PRTF) is generated based on the measurement data input from the input device 24, and the head related transfer function HRTF (or the ear) is generated. The personalized left and right binaural signals are generated by convoluting the sound source signals with a filter based on the transfer function PRTF).
詳しく説明すると、図2に示すように、頭部伝達関数HRTFの低域には3つの主要なピークP1、P2およびP3があり、最も周波数の低い第1ピークP1の中心周波数F1は方向に依存せず、音量も大きい。第2ピークP2および第3ピークP3は、ともに耳介の表面に沿って垂直方向に生じる共鳴(vertical normal mode)に由来する。なお、図2においては、濃淡が振幅の大きさを示す。 More specifically, as shown in FIG. 2, there are three main peaks P 1 , P 2 and P 3 in the low range of the head related transfer function HRTF, and the center frequency F of the first peak P 1 having the lowest frequency is 1 does not depend on the direction, and the volume is high. The second peak P 2 and the third peak P 3 are both derived from resonance (vertical normal mode) that occurs in the vertical direction along the surface of the auricle. Note that, in FIG. 2, the shading indicates the magnitude of the amplitude.
図3は人の耳介(pinna)の解剖学における各部位の名称を示し、上記第2ピークP2および第3ピークP3を形成する縦方向に生じる共鳴は、カバム(cavum:耳甲介)、シンバ(cymba:耳甲介艇)およびフォッサ(fossa)における2つまたは3つの音圧の腹(pressure antinodes)を持つことが知られている。つまり、これらの耳介の部位が耳介共鳴に関係することは知られているが、具体的にどのように関係するかは究明されていない。そこで、この発明は、耳介の各部位がどのように各ピークP1、P2およびP3に関係するかを解明し、それに基づいて臨場感のある立体音を容易に再現できる方法を提供しようとするものである。 FIG. 3 shows the names of the various parts in the anatomy of the human pinna, and the longitudinal resonance that forms the second peak P 2 and the third peak P 3 is the cavum (concha of the ear). ), cymba, and two or three pressure antinodes in fossa. That is, although it is known that these pinna parts are related to the pinna resonance, it has not been clarified how they are specifically related. Therefore, the present invention elucidates how each part of the auricle relates to each peak P 1 , P 2 and P 3 , and provides a method capable of easily reproducing a realistic three-dimensional sound based on it. Is what you are trying to do.
図4は、人の耳介の形状の一例を示し、図4(a)が真横から見た図であり、図4(b)が後ろから見た図であり、図4(c)が前から見た図であり、図4(d)が上から見た図であり、図4(e)が下から見た図である。図4において、「1」‐「18」、「C1」‐「C13」の黒点、白点がそれぞれのランドマーク(landmarks:目印)を示している。これらのランドマークの各番号の説明は次表1のとおりである。
[表1]
番号 説明
1 外耳道入口中心
2 腔甲介底面の最後点(外耳道より後で耳輪脚より下)
3 腔甲介壁上の最前点
4 腔甲介床上の最下点
5 耳殻壁上の最後点
6 耳輪脚(の底面)に沿った最少側部の点
7 耳甲介舟の底面における最少側部の点
8 珠上(または前)窩に近い側面の側
9 対輪の最横面
10 三角窩の後コーナーに近い対輪の縁(L15)
11 耳甲介舟の上縁
12 耳甲介舟壁上の最前点
13 対輪の下脚に沿った最少側部の点
14 三角窩の底面における最少側部の点
15 三角窩の上コーナー
16 三角窩の上コーナー
17 耳輪の下縁に沿った最上点
18 舟状窩の最上点
C1 C12とC13を結ぶ線に垂直に見たときの腔甲介の最も深い部分
C2 珠間窩の縁
C3 甲介孔に垂直に見たときの耳輪脚とC2C5を結ぶ線との交点
C4 甲介孔に垂直に見たときの対耳輪脚とC2C5を結ぶ線との交点
C5 珠間窩(C2)から最遠の耳輪の下縁上の点
C6 珠上(または前部)窩の縁に沿った最前点
C7 対耳輪の縁に沿った後ろの下のコーナー
C8 耳介の主軸に沿った最下の耳たぶ上の点
C9 C8‐C10軸から最遠の耳輪上の点
C10 耳介の主軸に沿った最上の耳輪上の点
C11 C8‐C10軸から最遠の耳輪の縁の上の点
C12 耳珠の最も横の面
C13 対耳輪の最も横の面
上記の各ランドマークの内、第1の実施例に関係あるランドマークとして、「2」は腔甲介底面の最後点(外耳道より後で耳輪脚より下):posterior-most of cavum concha base (posterior to ear-canal entrance and inferior to crus helix)であり、「9」は対輪の最横面(most lateral surface of antitragus)であり、「1」はカナルセンタ(center of ear-canal at its entrance:外耳道入口中心)であり、「4」はカバムコンカ床(cavum concha floor:耳甲介腔床)の最内点であり、「12」はシンバ壁(cymba wall:耳甲介艇壁)の最前点であり、そして「17」はヘリックス下縁(lower rim of helix:耳輪下縁)に沿う最上位点である。
4A and 4B show an example of the shape of a human auricle, FIG. 4A is a view seen from the side, FIG. 4B is a view seen from the rear, and FIG. 4(d) is a view seen from above, FIG. 4(d) is a view seen from above, and FIG. 4(e) is a view seen from below. In FIG. 4, black dots and white dots of "1"-"18" and "C1"-"C13" indicate respective landmarks. The explanation of each number of these landmarks is as shown in Table 1 below.
[Table 1]
No. Description 1 Center of the ear canal entrance 2 Last point on the base of the concha of the cavity (after the ear canal and below the ear canal)
3 Foremost point on the concha wall 4 Lower point on the concha floor 5 Last point on the auricle wall 6 Point on the smallest side along the ear ring leg (bottom surface) 7 Minimum on the bottom of the concha boat Side points 8 Sides near the supraorbital (or anterior) fossa 9 Lateral side of the annulus 10 Opposite edge near the posterior corner of the triangular fossa (L15)
11 Upper edge of conchal shell 12 Frontmost point on conchal wall 13 Point on the minimum side along the lower leg of the pair wheel 14 Point on the minimum side on the base of the triangular fossa
15 Upper corner of triangular fossa
16 Upper corner of the triangular fossa 17 Uppermost point along the lower edge of the earring
18 The highest point of the fossa C1 The deepest part of the cavity concha when viewed perpendicularly to the line connecting C12 and C13 C2 The edge of the intercostal fossa C3 The limb and C2C5 when viewed perpendicular to the concha hole Intersection with connecting line
Intersection of the line connecting C2C5 and the anti-ring leg when viewed perpendicularly to the C4 concha hole
C5 The point on the lower edge of the earring that is farthest from the fossa (C2)
C6 Anterior point along the edge of the supra (or anterior) fossa
C7 Rear lower corner along the edge of the annulus C8 Point on the bottom earlobe along the main axis of the auricle
C9 C8-C10 furthest point on the earring C10 C8-C10 furthest point on the earring along the main axis of the ear C11 C8-C10 furthest point on the edge of the earring C12 most lateral to the tragus Surface C13: The most lateral surface of the earring Among the above landmarks, as a landmark related to the first embodiment, “2” is the last point on the bottom surface of the cavum concha (below the ear canal and below the ear canal). : Posterior-most of cavum concha base (posterior to ear-canal entrance and inferior to crus helix), where "9" is the most lateral surface of antitragus and "1" is the canal center ( center of ear-canal at its entrance: "4" is the innermost point of the cavum concha floor, and "12" is the cymba wall: It is the foremost point on the wall of the conch, and "17" is the highest point along the lower rim of the helix.
発明者等は、耳介の各部位および各部位間のおよそ3255箇所もの距離の丹念な計測と、それに基づく実験を繰り返した結果、図2に示す各ピークP1、P2およびP3の中心周波数F1、F2、F3が、それぞれ、図5に示すような、ランドマーク2とランドマーク9を結ぶ線分の水平面に対する投影距離すなわちコンカ深さd1、図6に示すような、ランドマーク1とランドマーク17を結ぶ線分の長さd2、図7に示すような、ランドマーク4とランドマーク12を結ぶ線分の正中面への正投射長さ(投射長さ)d3と強い相関があることを確認した。 As a result of repeating the careful measurement of the distances of about 3255 points between each part of the auricle and each part and the experiment based on the results, the inventors have found that the centers of the peaks P 1 , P 2 and P 3 shown in FIG. The frequencies F 1 , F 2 , and F 3 are projected distances of the line segment connecting the landmark 2 and the landmark 9 with respect to the horizontal plane as shown in FIG. 5, that is, the conker depth d1 and the land as shown in FIG. The length d2 of the line segment connecting the mark 1 and the landmark 17 and the strong projection length (projection length) d3 on the median plane of the line segment connecting the landmark 4 and the landmark 12 as shown in FIG. 7 are strong. It was confirmed that there was a correlation.
なお、以下に説明するすべての推定や計算は、図1に示すプロセッサ12の内部メモリや外部記憶媒体16に予め設定されているプログラム(図示せず)に従って実行され、その目的で、各数式はそのプログラム中に適宜設定されているということを予め理解されたい。
各ピークの推定
実施例では、発明者等が実験を通じて取得した数1、数2および数3の回帰式に従って、図2に示す第1ピークP1、第2ピークP2および第3ピークP3の中心周波数F1、F2およびF3(Hz)を推定する。なお、寸法d1、d2およびd3は、いずれも、(cm)である。
It should be noted that all the estimations and calculations described below are executed according to a program (not shown) preset in the internal memory of the processor 12 or the external storage medium 16 shown in FIG. It should be understood in advance that it is appropriately set in the program.
In the estimation example of each peak, the first peak P 1 , the second peak P 2, and the third peak P 3 shown in FIG. 2 are shown according to the regression equations of the equations 1, 2, and 3 obtained by the inventors through experiments. Estimate the center frequencies F 1 , F 2 and F 3 (Hz) of The dimensions d1, d2 and d3 are all (cm).
また、上記各寸法d1、d2およびd3は、次のようにして取得することができる。たとえば、キャリパー(皮脂厚計)を用いて耳介上の各寸法d1、d2およびd3を計測する。そして、その計測結果を、たとえば図1に示す入力装置24から、適宜入力する。ただし、寸法d3は、寸法d1およびd2のような3次元長さではなく、たとえば図7における紙面上の長さ、すなわち矢状面(sagittal)の長さである。 The dimensions d1, d2, and d3 can be obtained as follows. For example, each dimension d1, d2, and d3 on the auricle is measured using a caliper (sebum thickness meter). Then, the measurement result is appropriately input from, for example, the input device 24 shown in FIG. However, the dimension d3 is not a three-dimensional length like the dimensions d1 and d2, but is, for example, the length on the paper surface in FIG. 7, that is, the length of the sagittal plane.
なお、後述の各寸法d4‐d6もこの方法で計測することができるが、これら寸法d1‐d6の計測方法としては、任意の方法、たとえば対象となる耳介のMRI画像を取得し、その画像上で計測する方法なども採用されてよい。
[数1]
F1=5939−1030×d1
[数2]
F2=12441−1647×d2
[数3]
F3=15341−3142×d3
発明者等の実験では、数1の相関係数rは、r=0.81であり、MAE(平均絶対誤差)はMAE=118Hz(6.0%)である。数2では、r=0.79であり、MAE=332Hz(5.8%)であり、数3では、r=0.83であり、MAE=321Hz(4.3%)であった。
It should be noted that each of the dimensions d4-d6 described later can also be measured by this method, but as a method of measuring these dimensions d1-d6, an arbitrary method, for example, an MRI image of the target auricle is acquired, and the image thereof is acquired. The method of measuring above may also be adopted.
[Equation 1]
F 1 =5939-1030×d1
[Equation 2]
F 2 =12441-1647×d2
[Equation 3]
F 3 =15341-3142×d3
In an experiment conducted by the inventors, the correlation coefficient r of Equation 1 is r=0.81, and the MAE (mean absolute error) is MAE=118 Hz (6.0%). In Equation 2, r=0.79 and MAE=332 Hz (5.8%), and in Equation 3, r=0.83 and MAE=321 Hz (4.3%).
さらに、第1ピークP1の振幅A1(dB)は、同じように発明者等が実験を通じて取得した数4の回帰式から求めることができる。
[数4]
A1=4.32+7.5×d1
なお、第1ピークP1における、コンカ深さd1に基づいて中心周波数F1および振幅A1を求めるための数1および数4は、J. Acoust. Soc. Am. 137 (2), February 2015で本件発明者等が発表した論文「Frequency and amplitude estimation of the first peak of head-related transfer functions from individual pinna anthropometry」(個々の耳介の計測からの頭部伝達関数の第1ピークの周波数および振幅の推定)に詳しく説明されているので、ここではそれ以上の説明は省略する。
Further, the amplitude A 1 (dB) of the first peak P 1 can be obtained from the regression equation of the equation 4 similarly obtained through experiments by the inventors.
[Equation 4]
A 1 =4.32+7.5×d1
Note that Equations 1 and 4 for obtaining the center frequency F 1 and the amplitude A 1 based on the conca depth d1 at the first peak P 1 are described in J. Acoust. Soc. Am. 137 (2), February 2015. In the paper "Frequency and amplitude estimation of the first peak of head-related transfer functions from individual pinna anthropometry" (the frequency and amplitude of the first peak of the head related transfer function from the measurement of individual auricles). Estimation), so further explanation is omitted here.
数1で求めた第1ピークP1の中心周波数F1および数4で求めた振幅A1から、数5に従って、フィルタ方程式(|H(f)|:後述)に適用可能な第1ピークP1の帯域幅B1を計算することができる。
[数5]
B1=F1/A1
ただし、数5での振幅A1の単位は、dBではなく、1次系単位(linear units)である。
From the center frequency F 1 of the first peak P 1 obtained by the equation 1 and the amplitude A 1 obtained by the equation 4, the first peak P applicable to the filter equation (|H(f)|: described later) according to the equation 5. it can calculate the bandwidth B 1 of 1.
[Equation 5]
B 1 =F 1 /A 1
However, the unit of the amplitude A 1 in Expression 5 is not dB but a primary system unit (linear unit).
なお、第2ピークP2および第3ピークP3の帯域幅B2およびB3は、便宜上、B2=B1とし、B3=k・B1とする。ただし、ここでの係数kはk≒0.7とした。したがって振幅A3はA1よりおよそ3dB高い。
第1ノッチの推定
後述のフィルタ方程式|Hn(f)|を適用するためには、第1ピークP1、第2ピークP2および第3ピークP3の、中心周波数F1、F2およびF3および帯域幅B1、B2およびB3の他、第1ノッチN1の中心周波数NF1および帯域幅NB1を求める必要がある。ただし、図2においては、第1ノッチN1は太い破線で表わされていて、俯仰角(θ)に応じて変化することがわかる。
The bandwidths B 2 and B 3 of the second peak P 2 and the third peak P 3 are B 2 =B 1 and B 3 =k·B 1 for convenience. However, the coefficient k here is k≈0.7. Therefore, the amplitude A 3 is approximately 3 dB higher than A 1 .
First Notch Estimation In order to apply the below-described filter equation |H n (f)|, in order to apply the first peak P 1 , the second peak P 2 and the third peak P 3 , the center frequencies F 1 , F 2 and In addition to F 3 and bandwidths B 1 , B 2 and B 3 , it is necessary to find the center frequency NF 1 and bandwidth NB 1 of the first notch N 1 . However, in FIG. 2, the first notch N 1 is represented by a thick broken line, and it can be seen that the first notch N 1 changes depending on the depression angle (θ).
2013年9月発行の日本音響学会講演論文集における「正中面の耳介伝達関数における第1ノッチが生じる仰角と周波数の関係」と題する本件発明者等の論文では、耳介上に2つの放射点を仮定し、その2つの放射点の距離と、第1ピークP1および第2ピークP2の周波数F1およびF2と、第2ピーク周波数F2における2つの放射点の位相差を適当に与えることによって、正中面における俯仰角と第1ノッチN1の周波数NF1を定式化できることを示している。 In the paper of the present inventors entitled “The relationship between the elevation angle and the frequency at which the first notch occurs in the auricular transfer function of the median plane” in the collection of lectures of the Acoustical Society of Japan published in September 2013, two radiations are emitted on the auricle. Assuming a point, the distance between the two radiating points, the frequencies F 1 and F 2 of the first peak P 1 and the second peak P 2 , and the phase difference between the two radiating points at the second peak frequency F 2 are appropriate. It is shown that the elevation angle on the median plane and the frequency NF 1 of the first notch N 1 can be formulated by applying
たとえば、第1ピークP1および第2ピークP2の周波数F1とF2を数1と数2で求め、2つの放射点の距離をd2、2つの放射点の位相差は第1ピークP1の周波数F1では0、第2ピークP2の周波数F2ではπ(逆相)と近似することで、正中面における俯仰角と第1ノッチN1の周波数NF1の関係を求めることができる。 For example, the frequencies F 1 and F 2 of the first peak P 1 and the second peak P 2 are obtained by Equations 1 and 2, and the distance between the two radiating points is d 2, and the phase difference between the two radiating points is the first peak P 2. 1 of frequencies F 1 at 0, to approximate the in frequency F 2 of the second peak P 2 [pi (reversed-phase), is possible to determine the angle of elevation and the first relationship between the frequency NF 1 of the notch N 1 in the median plane it can.
上記の論文中の8式のθは2つの放射点の位相差であるが、この明細書中でθは俯仰角としているので、位相差をφに変更して、以下説明する。また、位相差は、第1ピークP1の周波数F1では0、第2ピークP2の周波数F2ではπとなる1次式で表されると仮定する。すなわち、数6となる。 The θ in the equation 8 in the above paper is the phase difference between the two radiating points, but since θ is the depression angle in this specification, the phase difference will be changed to φ and will be described below. Further, it is assumed that the phase difference is represented by a linear expression that is 0 at the frequency F1 of the first peak P1 and is π at the frequency F2 of the second peak P2. That is, Equation 6 is obtained.
論文中の8式の直線の傾きはtanθだから、数7が得られる。 Since the slope of the straight line of the equation 8 in the paper is tan θ, the following equation 7 is obtained.
ここで、kは波数なので、音速をc、第1ノッチN1の周波数をfとすると、k=2πf/cである。なお、論文中の8式の分子はπ‐φであるが、本明細書中の俯仰角に合わせて符号を変更している。さらに、論文中の8式では、2つの放射点の距離を2dで表しているが、2d=d2とし、数7を第1ノッチN1の周波数fについて解くと、数8となる。 Here, since k is the wave number, if the speed of sound is c and the frequency of the first notch N1 is f, then k=2πf/c. Note that the numerator of formula 8 in the paper is π-φ, but the sign is changed according to the depression angle in this specification. Further, in Equation 8 in the paper, the distance between two radiating points is represented by 2d, but if 2d=d2 and the equation 7 is solved for the frequency f of the first notch N1, then the equation 8 is obtained.
たとえば、図8は、d2=2.8cm、F1=4000Hz、F2=6000Hzとしたときの第1ノッチ周波数の推定図である。この図は、先の図2において太い点線で表したノッチパターンにきわめてよく似たパターンを得ることができる。 For example, FIG. 8 is an estimation diagram of the first notch frequency when d2=2.8 cm, F 1 =4000 Hz, and F 2 =6000 Hz. In this figure, a pattern very similar to the notch pattern represented by the thick dotted line in FIG. 2 can be obtained.
第1ノッチN1の帯域幅NB1は、上述の俯仰角θに応じて、θが小さければ狭く、大きければ広くなるが、ここでは500Hzとする。
個々の伝達関数の生成
このようにして、耳介の特定部位の寸法d1、d2およびd3の値を入力することで、数9または数10で示すフィルタ方程式|Hn(f)|(ここで、nは次数)に必要なすべてのパラメータが求められる。したがって、それらのパラメータを数9または数10に適用することによって、それぞれのピークP1、P2およびP3を含む伝達関数を計算することができる。
Bandwidth NB 1 of the first notch N 1, depending on the angle of elevation θ described above, narrow smaller θ it is, becomes wider larger, here, the 500 Hz.
Generation of Individual Transfer Functions In this way, by inputting the values of the dimensions d1, d2 and d3 of the specific part of the auricle, the filter equation |H n (f)| (where , N are all orders). Therefore, by applying those parameters to Equation 9 or Equation 10, it is possible to calculate the transfer function including the respective peaks P 1 , P 2 and P 3 .
ここで、fは周波数であり、s=σ+jωは複素周波数変数であり、下添字「n」は共鳴の次数(すなわち、n次のスペクトルのピーク)を示し、上添字「*」は複素共役を意味する。中心周波数Fnと帯域幅Bnは標準的な関係ωn=2πFnおよびσn=-πBnによって数9の「sn」と関係する。そのために、共鳴周波数と帯域幅の点から、フィルタ方程式は次のようになる。 Here, f is a frequency, s=σ+jω is a complex frequency variable, the lower subscript “n” indicates the order of resonance (that is, the peak of the n-th spectrum), and the upper subscript “*” indicates the complex conjugate. means. The center frequency F n and the bandwidth B n are related to “s n ”in Equation 9 by the standard relationships ω n =2πF n and σ n =−πB n . Therefore, in terms of resonance frequency and bandwidth, the filter equation becomes
もし、周波数および振幅(帯域幅ではなく)だけが特定されるなら、この方程式も使える。なぜなら1つの共鳴に関して言えば、ピークの振幅An(dBではなく、一次系単位)が、Q値のための式An=Fn/Bnによって、中心周波数と帯域幅に関係付けられるからである。 If only frequency and amplitude (not bandwidth) are specified, this equation can also be used. Because, for one resonance, the amplitude of the peak A n (in linear units, not dB) is related to the center frequency and bandwidth by the formula A n =F n /B n for the Q value. Is.
なお、ノッチについても、上記の数9および数10を用いて、伝達関数|NHn(f)|を計算することができる。たとえば、第1ノッチN1の中心周波数NF1(仰角に依存する)および帯域幅NB1を上記の同じフィルタ方程式に入力することによって、結果の振幅スペクトル|NHn(f)|が計算できる。
全体の伝達関数
上では、1つの共鳴(1つのピーク)の振幅スペクトルを計算するだけであるので、複数の共鳴を考慮した全体の振幅スペクトルを計算するためは、個別のスペクトルを足し算する必要がある。実施例では、図9のように3つの伝達関数|H1(f)|、|H2(f)|および|H3(f)|をまず、数11に従って加算するとともに、先に計算した第1ノッチN1の伝達関数|NH1(f)|を逆数(1/|NH1(f)|)として乗算することによって、全体の伝達関数が計算できる。
[数11]
|H(f)|=Sumn{|Hn(f)|}+1/|NH1(f)|
パラメータF1=4000Hz、F2=6000Hz、F3=8000Hz、B1=565Hz、B2=848Hz、B3=800Hz、NF1=5000Hz、NB1=89Hzを入力したときの全体の伝達関数の例が図10に示される。点線は、各共鳴を別々に示す対数スペクトルであり、点線h1が第1ピークP1の伝達関数|H1(f)|を示し、点線h2が第2ピークP2の伝達関数|H2(f)|を示し、点線h3が第3ピークP3の伝達関数|H3(f)|を示す。細線が3つの伝達関数|H1(f)|、|H2(f)|および|H3(f)|を加算した(第1ノッチN1の伝達関数は考慮しないとき)対数スペクトルであり、それは、個々の振幅スペクトルを加算した後対数に変換することによって得られる。太線は、直流を0dBとするように、細線で示す全体の対数スペクトルをシフトした対数スペクトルすなわち第1ノッチN1の伝達関数|NH1(f)|加算する前の伝達関数H’を示す。そして、図11において点線Nhで示すような第1ノッチN1の伝達関数|NH1(f)|を逆数として乗算すると、図11において太線Hで示すような、第1ノッチN1を考慮した、図9の計算で得られる全体の頭部伝達関数|H(f)|が得られる。それを対数スペクトルで表わすと、数12となる。
[数12]
20log10|H(f)|+20log10{1/|HN(f)|}=20log10{|H(f)|/|HN(f)|}
なお、第2以降の次数のノッチをも考慮する必要があれば、第1ノッチN1の伝達関数HN(f)を逆数で加算した方法と同じ方法を繰り返して実行すればよい。
Also for the notch, the transfer function |NH n (f)| can be calculated using the above Equations 9 and 10. For example, by the center frequency NF 1 of the first notch N 1 (depending on the angle of elevation) and the bandwidth NB 1 input to the same filter equation above, the result of the amplitude spectrum | NH n (f) | can be calculated.
Since only the amplitude spectrum of one resonance (one peak) is calculated on the entire transfer function , it is necessary to add individual spectra in order to calculate the entire amplitude spectrum considering multiple resonances. is there. In the embodiment, as shown in FIG. 9, three transfer functions |H 1 (f)|, |H 2 (f)| and |H 3 (f)| are first added according to Formula 11, and previously calculated. The entire transfer function can be calculated by multiplying the transfer function |NH 1 (f)| of the first notch N1 by the reciprocal (1/|NH 1 (f)|).
[Equation 11]
|H(f)|=Sum n {|H n (f)|}+1/|NH 1 (f)|
Of the entire transfer function when the parameters F 1 =4000 Hz, F 2 =6000 Hz, F 3 =8000 Hz, B 1 =565 Hz, B 2 =848 Hz, B 3 =800 Hz, NF 1 =5000 Hz, NB 1 =89 Hz are input An example is shown in FIG. The dotted line is a logarithmic spectrum showing each resonance separately, the dotted line h1 shows the transfer function |H 1 (f)| of the first peak P 1 , and the dotted line h2 shows the transfer function |H 2 (of the second peak P 2. f)|, and the dotted line h3 shows the transfer function |H 3 (f)| of the third peak P 3 . The thin line is a logarithmic spectrum in which three transfer functions |H 1 (f)|, |H 2 (f)| and |H 3 (f)| are added (when the transfer function of the first notch N 1 is not considered). , It is obtained by adding the individual amplitude spectra and then converting them to logarithms. A thick line indicates a logarithmic spectrum obtained by shifting the entire logarithmic spectrum indicated by a thin line so that DC is 0 dB, that is, a transfer function |NH 1 (f)| of the first notch N1 | Then, when the transfer function |NH 1 (f)| of the first notch N 1 as shown by the dotted line Nh in FIG. 11 is multiplied as the reciprocal, the first notch N 1 as shown by the thick line H in FIG. 11 is considered. , The entire head related transfer function |H(f)| obtained by the calculation of FIG. When it is expressed by a logarithmic spectrum, it becomes the formula 12.
[Equation 12]
20log 10 |H(f)|+20log 10 {1/|HN(f)|}=20log 10 {|H(f)|/|H N (f)|}
If it is necessary to consider notches of the second and subsequent orders, the same method as the method of adding the transfer function H N (f) of the first notch N 1 by the reciprocal may be repeatedly executed.
図9の方法では、第1ピークP1の伝達関数|H1(f)|、第2ピークP2の伝達関数|H2(f)|および第3ピークP3の伝達関数|H3(f)|を並列加算した結果に第1ノッチN1の伝達関数|NH1(f)|の逆数1/|NH1(f)|を乗算して、図11の太線Hで示すような全体の頭部伝達関数HRTF求めた。 In the method of FIG. 9, the transfer function of the first peak P 1 | H 1 (f) |, the second peak P 2 of the transfer function | H 2 (f) |, and a third transfer function of the peak P 3 | H 3 ( f)| is added in parallel and the result is multiplied by the reciprocal 1/|NH 1 (f)| of the transfer function |NH 1 (f)| of the first notch N 1 , and the whole as shown by the thick line H in FIG. HRTF of the head related transfer function was calculated.
これに対して、図12に示す方法では、第1ピークP1の伝達関数|H1(f)|、第2ピークP2の伝達関数|H2(f)|、第3ピークP3の伝達関数|H3(f)|および第1ノッチN1の伝達関数|NH1(f)|の逆数1/|NH1(f)|を直列乗算ないしカスケード乗算する。 In contrast, in the method shown in FIG. 12, the transfer function of the first peak P 1 | H 1 (f) |, the second peak P 2 transfer function | H 2 (f) |, the third peak P 3 The transfer function |H 3 (f)| and the reciprocal 1/|NH 1 (f)| of the transfer function |NH 1 (f)| of the first notch N 1 are subjected to serial multiplication or cascade multiplication.
パラメータF1=4000Hz、F2=6000Hz、F3=8000Hz、B1=400Hz、B2=600Hz、B3=566Hz、NF1=5000Hz、NB1=89Hzを入力したときの、図12で計算した全体の伝達関数の例が図13に示される。点線は、各共鳴を別々に示す対数スペクトルであり、点線h1が第1ピークP1の伝達関数|H1(f)|を示し、点線h2が第2ピークP2の伝達関数|H2(f)|を示し、点線h3が第3ピークP3の伝達関数|H3(f)|を示し、点線Nhが第1ノッチN1の伝達関数|NH1(f)|を示す。これらを直列加算した結果得られた全体の頭部伝達関数|H(f)|が太線Hで示され、計算式が数13で表わされる。 Calculation with FIG. 12 when parameters F 1 =4000 Hz, F 2 =6000 Hz, F 3 =8000 Hz, B 1 =400 Hz, B 2 =600 Hz, B 3 =566 Hz, NF 1 =5000 Hz, NB 1 =89 Hz are input. An example of the overall transfer function is shown in FIG. The dotted line is a logarithmic spectrum showing each resonance separately, the dotted line h1 shows the transfer function |H 1 (f)| of the first peak P 1 , and the dotted line h2 shows the transfer function |H 2 (of the second peak P 2. f)|, the dotted line h3 shows the transfer function |H 3 (f)| of the third peak P 3 , and the dotted line Nh shows the transfer function |NH 1 (f)| of the first notch N 1 . The entire head related transfer function |H(f)| obtained as a result of adding these in series is shown by a thick line H, and the calculation formula is expressed by Equation 13.
ここで、Πnは総積であり、Hnは各ピークの伝達関数、NHnは各ノッチの伝達関数であり、nは次数である。
正中面での頭部伝達関数
数12または数13で計算した伝達関数に基づいて、仰角(θ)の範囲に亘る伝達関数を計算する。上述のように、俯仰角θに応じて各ノッチを計算し、そのノッチで数12または数13を計算することによって、図14に示す正中面での頭部伝達関数HRTFが計算できる。
バイノーラル音源の作成
上述のようにして求めた頭部伝達関数HRTFの逆高速フーリエ変換によって得られる左耳および右耳のHRIR(インパルス応答)で、図1に示す音源14から直接またはA/D変換器16を通して入力された音源信号を畳み込み演算することによって、個人適応化された左右のバイノーラル信号が生成できる。
Here, Π n is a total product, H n is a transfer function of each peak, NH n is a transfer function of each notch, and n is an order.
The transfer function over the range of the elevation angle (θ) is calculated based on the transfer function calculated by the head-related transfer function 12 or 13 on the median plane . As described above, by calculating each notch according to the depression/elevation angle θ and calculating the equation 12 or the equation 13 with the notch, the head related transfer function HRTF on the median plane shown in FIG. 14 can be calculated.
Preparation of Binaural Sound Source HRIR (impulse response) of the left and right ears obtained by the inverse fast Fourier transform of the head related transfer function HRTF obtained as described above, directly from the sound source 14 shown in FIG. 1 or by A/D conversion. A personalized left and right binaural signal can be generated by performing a convolution operation on the sound source signal input through the device 16.
第2の実施例においては、先に説明した第1の実施例で寸法d1、d2、d3を計測した各点に加えて、図4における各点を用いる。上記の各ランドマークの内、第2の実施例に関係あるランドマークとして、「2」は先に説明した腔甲介底面の最後点であり、「C13」は対耳輪の最も横の面(most lateral surface of antihelix)であり、「1」はカナルセンタ(center of ear-canal at its entrance:外耳道入口中心)であり、「4」はカバムコンカ床(cavum concha floor:耳甲介腔床)の最内点であり、「12」はシンバ壁(cymba wall:耳甲介艇壁)の最前点であり、そして「17」はヘリックス下縁(lower rim of helix:耳輪下縁)に沿う最上位点である。「7」はシンバベース(base of cymba:耳甲介艇の基端)における最横の点であり、「11」シンバの最上位縁であり、「3」は、カバムコンカ(cavum concha:耳甲介腔)の最前点、そして「C3」はクラスヘリックス(crus helix:耳輪前脚)のインタートラジックノッチ(intertragic notch:珠間窩)の縁C2と珠間窩から最も遠いヘリックス下縁(lower rim of helix:耳輪下縁)上の点C5を結ぶ線と交差する点である。 In the second embodiment, each point in FIG. 4 is used in addition to each point where the dimensions d1, d2, d3 were measured in the first embodiment described above. Among the above landmarks, as a landmark related to the second embodiment, “2” is the last point of the bottom surface of the cavum and concha, and “C13” is the most lateral surface of the antihelix ( Most lateral surface of antihelix), “1” is the center of ear-canal at its entrance, and “4” is the maximum of the cavum concha floor. The inner point, "12" is the foremost point of the cymba wall, and "17" is the highest point along the lower rim of helix. Is. “7” is the most lateral point in the base of cymba (base end of the conch boat), “11” is the highest edge of the simba, and “3” is the cavum concha. The foremost point of the interstitial space, and “C3” is the edge C2 of the intertragic notch of the class helix (crus helix), and the lower rim of the helix farthest from the fossa. helix: lower edge of the earring) is a point that intersects with a line connecting point C5.
そして、第1ピークP1の中心周波数F1を求める回帰式において、図15に示す寸法d4を用いる。寸法d4は、ランドマーク2とランドマークC13を結ぶ線分の長さである。この寸法d4を先の寸法d1とともに用いて第1ピークP1の中心周波数F1を求める回帰式が数14で与えられる。ただし、この数14の回帰式では、相関係数r=0.84であり、平均絶対誤差MAE=118Hz(6.0%)であった。
[数14]
F1=6461−758×d1−439×d4
第2ピークP2の中心周波数F2を求める回帰式において、図16に示す寸法d5を用いる。寸法d5は、ランドマーク7とランドマーク11を水平方向に結ぶ線分の長さである。この寸法d5を先の寸法d2とともに用いて第2ピークP2の中心周波数F2を求める回帰式が数15で与えられる。ただし、この数15の回帰式では、相関係数r=0.89であり、平均絶対誤差MAE=257Hz(4.4%)であった。
[数15]
F2=12646−1333×d2−2239×d5
同じように、第3ピークP3の中心周波数F3を求める回帰式において、図17に示す寸法d6を用いる。寸法d6は、ランドマーク3とランドマークC3を水平方向に結ぶ線分の長さである。この寸法d6を先の寸法d3とともに用いて第3ピークP3の中心周波数F3を求める回帰式が数16で与えられる。ただし、この数16の回帰式においては、相関係数r=0.92であり、平均絶対誤差MAE=247Hz(3.2%)であった。[数16]
F3=16445−2911×d3−1235×d6
なお、上述の寸法d4‐d6も、寸法d1‐d3と同様に、[cm]の単位で表わされる。
Then, the dimension d4 shown in FIG. 15 is used in the regression equation for obtaining the center frequency F1 of the first peak P1. The dimension d4 is the length of a line segment connecting the landmark 2 and the landmark C13. A regression equation for calculating the center frequency F1 of the first peak P1 by using this dimension d4 together with the dimension d1 is given by Equation 14. However, in the regression equation of the equation 14, the correlation coefficient r=0.84 and the average absolute error MAE=118 Hz (6.0%).
[Equation 14]
F1=6461-758×d1-439×d4
In the regression equation for obtaining the center frequency F2 of the second peak P2, the dimension d5 shown in FIG. 16 is used. The dimension d5 is the length of a line segment that connects the landmark 7 and the landmark 11 in the horizontal direction. A regression equation for obtaining the center frequency F2 of the second peak P2 by using this dimension d5 together with the dimension d2 is given by Expression 15. However, in the regression equation of the equation 15, the correlation coefficient r=0.89 and the average absolute error MAE=257 Hz (4.4%).
[Equation 15]
F2 = 12646-1333 x d2-2239 x d5
Similarly, the dimension d6 shown in FIG. 17 is used in the regression equation for obtaining the center frequency F3 of the third peak P3. The dimension d6 is the length of a line segment that connects the landmark 3 and the landmark C3 in the horizontal direction. A regression equation for calculating the center frequency F3 of the third peak P3 by using this dimension d6 together with the dimension d3 is given by Expression 16. However, in the regression equation of the equation 16, the correlation coefficient r=0.92 and the average absolute error MAE=247 Hz (3.2%). [Equation 16]
F3 = 16445-2911 × d3 -1235 × d6
The above-mentioned dimensions d4-d6 are also expressed in units of [cm], like the dimensions d1-d3.
数14を用いた場合、第1の実施例における先の数1を用いた場合に比べて、第1ピークの中心周波数F1の推定精度が向上するし、数15を用いた場合、先の数2を用いた場合に比べて、第2ピークの中心周波数F2の推定精度が向上するし、数16を用いた場合、先の数3を用いた場合に比べて、第3ピークの中心周波数F3の推定精度が向上する。したがって、第2の実施例においては、第1の実施例に比べて、一層精度よく頭部伝達関数HRTFを求めることができる。そのため、バイノーラル音源信号の個人適応化が一層向上する。
横方向伝達関数のためのITDおよびILD
上で説明したように、バイノーラル音源信号は、図14に示すような正中面上の音源として作成する。しかしながら、第1の実施例および第2の実施例のいずれにおいても、正中面から外れた音源(横方向左または右に位置する)を所望するなら、伝達関数HRTFセットにバイノーラルキュー(binaural cue)を含ませなければならない。このようなバイノーラルキューは、基本的には、モノラル(正面)キューとは独立している。したがって、第1の近似のために、すべての図14に示す水平角(アジマス:azimuth)φにおける両耳間時間差(ITD)および両耳間レベル差(ILD)とともに、上で計算した正中面の頭部伝達関数HRTFの同じセットがすべての傍矢状平面(para-sagittal plane)において使われる。
ITD
最も簡単な解決策は、ウッドワース(Woodworth)のモデルに基づく数16に従って周波数から独立したITDを計算することである。
[数17]
ITD(φ)=(a/cs)×{φ+sin(φ)}
ここで、csは空気中での音速、aは受聴者の頭の半径、アジマス角φは、図14に示すように、正中面ではφ=0であり、同側側(ipsilateral side)ではφ>0で、対側側(contralateral side)でφ<0である。
When Equation 14 is used, the estimation accuracy of the center frequency F 1 of the first peak is improved compared to the case where Equation 1 is used in the first embodiment, and when Equation 15 is used, The estimation accuracy of the center frequency F 2 of the second peak is improved as compared with the case of using Equation 2, and the case of using Equation 16 has the center of the third peak as compared with the case of using Equation 3 above. The estimation accuracy of the frequency F 3 is improved. Therefore, in the second embodiment, the head related transfer function HRTF can be obtained with higher accuracy than in the first embodiment. Therefore, the personal adaptation of the binaural sound source signal is further improved.
ITD and ILD for lateral transfer function
As described above, the binaural sound source signal is created as a sound source on the median plane as shown in FIG. However, in both the first and second embodiments, if a source off the median plane (located to the left or right in the lateral direction) is desired, the transfer function HRTF set may have a binaural cue. Must be included. Such a binaural cue is basically independent of a monaural (front) cue. Therefore, for the first approximation, along with the interaural time difference (ITD) and interaural level difference (ILD) at all horizontal angles (azimuth) φ shown in FIG. 14, the median plane calculated above is used. The same set of head related transfer functions HRTFs are used in all para-sagittal planes.
ITD
The simplest solution is to calculate the frequency independent ITD according to Eq. 16 based on Woodworth's model.
[Equation 17]
ITD(φ)=(a/c s )×{φ+sin(φ)}
Here, c s is the speed of sound in the air, a is the radius of the listener's head, and the azimuth angle φ is φ=0 on the median plane as shown in FIG. 14, and on the ipsilateral side. φ>0 and φ<0 on the contralateral side.
なお、数17でのアジマス角φは、図1に示す入力装置24から適宜入力することができる。 The azimuth angle φ in Equation 17 can be appropriately input from the input device 24 shown in FIG.
個人適応化した頭部半径a(cm)は、アルガジ(Algazi)が発見した、最適球状頭モデルに従って推定できる(数18)。
[数18]
a=0.51X1+0.18X3+3.2
ここで、X1は頭部の半分の幅(頭部の左から右の半分)であり、X3は、頭部の半分長さ(頭部の後ろからほぼ眉への距離の半分)である。ただし、数18で必要な半分幅X1および半分長さX3は、図1に示す入力装置24から適宜入力することができる。
The personalized head radius a (cm) can be estimated according to the optimum spherical head model discovered by Algazi (Equation 18).
[Equation 18]
a=0.51X 1 +0.18X 3 +3.2
Where X 1 is half the width of the head (half left to right of the head) and X 3 is half the length of the head (half the distance from the back of the head to almost the eyebrows). is there. However, the half width X 1 and the half length X 3 required in Equation 18 can be appropriately input from the input device 24 shown in FIG.
このような両耳間時間差ITDは、頭部伝達関数HRTFのどれかを修正するかまたは時間領域におけるインパルス応答HRIRを単純に遅らせることによって、一方の耳の応答の、反対の耳の応答に対する遅れとして実現できる。
ILD
ILDについての最も簡単な解決策は、たとえば数19に従って、アジマス角にのみ依存する周波数から独立した値を計算することである。
[数19]
ILD(φ)=ILDmax×sin(φ)
ここで、ILDmax≒15dBである。このような両耳間レベル差ILDは、一方の耳の頭部伝達関数HRTFの全体のレベルを反対の耳のそれらに対して修正することで、実現できる。
Such an interaural time difference ITD delays the response of one ear to the response of the opposite ear by modifying any of the head related transfer functions HRTF or by simply delaying the impulse response HRIR in the time domain. Can be realized as
ILD
The simplest solution for ILD is to calculate a frequency independent value that depends only on the azimuth angle, for example according to Eq.
[Equation 19]
ILD(φ)=ILD max ×sin(φ)
Here, ILD max ≈15 dB. Such an interaural level difference ILD can be realized by correcting the overall level of the head related transfer function HRTF of one ear with respect to those of the other ear.
なお、上述の実施例では、対象の人の耳介上の寸法d1‐d6を人為的に計測し、それに基づいて各数式に必要な数値を入力装置24から手動的に入力するようにしたが、寸法d1‐d6のすべてまたは一部をたとえばMRI画像上で機械的に計測し、その結果を自動的に入力するようにしてもよい。さらに、MRIに限ることなく、各寸法d1、d2およびd3は、耳介をディジタルカメラ等で複数方向から撮影して耳介の三次元形状を推定することにより得ることも可能である。
さらに、上述の各実施例では、ノッチの伝達関数を(逆数で)加算することによって、俯仰角θを考慮したバイノーラル音源信号を再現するようにした。しかしながら、俯仰角を考慮する必要がないなら、たとえば数12または数13においてノッチの伝達関数を使わなくてもよい。
In the above-described embodiment, the dimensions d1 to d6 on the pinna of the target person are artificially measured, and the numerical values required for each mathematical formula are manually input from the input device 24 based on the measurement. , All or part of the dimensions d1 to d6 may be mechanically measured on, for example, an MRI image, and the result may be automatically input. Further, not limited to MRI, the dimensions d1, d2 and d3 are Ru also der be obtained by estimating the three-dimensional shape of the auricle are taken from a plurality of directions the auricle in a digital camera or the like.
Furthermore, in each of the above-described embodiments, the binaural sound source signal considering the depression angle θ is reproduced by adding the transfer function of the notch (in the reciprocal). However, if it is not necessary to consider the elevation angle, the transfer function of the notch may not be used in, for example, Equation 12 or Equation 13.
なお、以上の説明では右耳(もしくは左耳)のみに関してのみ説明したが、これをそのまま左耳(もしくは右耳)に適用できることは言うまでもない。また、右耳の測定データだけを使って、右耳の頭部伝達関数HRTFだけでなく左耳の頭部伝達関数HRTFを作成することもできる。 In the above description, only the right ear (or left ear) is described, but it goes without saying that this can be applied to the left ear (or right ear) as it is. Further, not only the head-related transfer function HRTF of the right ear but also the head-related transfer function HRTF of the left ear can be created using only the measurement data of the right ear.
しかしながら、人の耳の左右の違いがかなりあることを考慮すれば、両方の耳介について同じ方法で頭部伝達関数HRTFをそれぞれ求めて、左右別々のバイノーラル音源信号を再生することが望ましい。 However, considering that there are considerable left-right differences between human ears, it is desirable to obtain the head-related transfer function HRTF for both auricles by the same method and reproduce the left-right binaural sound source signals.
実施例においては、上で説明した数1‐数19および図9に示す計算ならびに図12に示す計算も含んで、すべての計算は図1に示すプロセッサ12が実行するものとして説明した。しかしながら、必要なら別の計算手段が利用されてもよい。 In the embodiment, all the calculations have been described as being executed by the processor 12 shown in FIG. 1, including the above-described formulas 1 to 19 and the calculation shown in FIG. 9 and the calculation shown in FIG. However, other calculation means may be utilized if desired.
10 …立体音再生装置
12 …プロセッサ
14 …音源
18 …ヘッドホン
24 …入力装置
10... Stereophonic sound reproducing device 12... Processor 14... Sound source 18... Headphones 24... Input device
Claims (4)
耳介のコンカ深さd1に基づいて第1ピークの中心周波数F1および帯域幅B1を推定する第1推定部、
耳介の外耳道入口中心と耳輪下縁に沿う最上位点とを結ぶ線分長さd2に基づいて第2ピークの中心周波数F2を推定しかつ前記帯域幅B1に基づいて帯域幅B2を推定する第2推定部、
耳介の耳甲介腔床の最内点と耳甲介艇壁の最前点とを結ぶ線分の正中面への正投射長さd3に基づいて第3ピークの中心周波数F3を推定しかつ前記帯域幅B1に基づいて帯域幅B3を推定する第3推定部、
前記第1ピークの中心周波数F1および帯域幅B1に基づいて第1伝達関数を計算する第1計算部、
前記第2ピークの中心周波数F2および帯域幅B2に基づいて第2伝達関数を計算する第2計算部、
前記第3ピークの中心周波数F3および帯域幅B3に基づいて第3伝達関数を計算する第3計算部、
少なくとも前記第1伝達関数、前記第2伝達関数および前記第3伝達関数を合成して、全体の頭部伝達関数を計算する頭部伝達関数計算部、および
前記全体の頭部伝達関数に基づくフィルタで音源信号を畳み込み演算してバイノーラル信号を生成する生成部を備える、立体音再生装置。 A stereophonic sound reproduction device for reproducing stereoscopic sound with headphones,
A first estimation unit that estimates the center frequency F1 and the bandwidth B1 of the first peak based on the concha depth d1 of the auricle,
The center frequency F2 of the second peak is estimated based on the line segment length d2 that connects the center of the ear canal entrance to the highest point along the lower edge of the ear ring, and the bandwidth B2 is estimated based on the bandwidth B1. 2nd estimation part,
The center frequency F3 of the third peak is estimated on the basis of the normal projection length d3 of the line segment connecting the innermost point of the concha of the auricle and the frontmost point of the concha of the concha to the midplane. A third estimator that estimates a bandwidth B3 based on the bandwidth B1;
A first calculator that calculates a first transfer function based on the center frequency F1 of the first peak and the bandwidth B1;
A second calculator that calculates a second transfer function based on the center frequency F2 and the bandwidth B2 of the second peak;
A third calculator that calculates a third transfer function based on the center frequency F3 of the third peak and the bandwidth B3;
A head-related transfer function calculation unit that calculates at least the entire head-related transfer function by combining at least the first transfer function, the second transfer function, and the third transfer function , and a filter based on the entire head-related transfer function A stereophonic sound reproduction apparatus including a generator that convolves and calculates a sound source signal to generate a binaural signal.
前記ノッチの中心周波数とその帯域幅に基づいてノッチ伝達関数を計算するノッチ伝達関数計算部をさらに備え、
前記頭部伝達関数計算部は、前記複数のピーク伝達関数および前記ノッチ伝達関数に従って前記頭部伝達関数を計算する、請求項1記載の立体音再生装置。 A notch estimator that estimates the center frequency of the notch based on the center frequencies of the plurality of peaks, and
Further comprising a notch transfer function calculation unit for calculating a notch transfer function based on the center frequency of the notch and its bandwidth,
The head-related transfer function calculating unit calculates the head-related transfer function according to the plurality of peaks transfer functions and the notch transfer function, three-dimensional sound reproduction apparatus according to claim 1.
耳介のコンカ深さd1に基づいて第1ピークの中心周波数F1および帯域幅B1を推定する第1推定部、
耳介の外耳道入口中心と耳輪下縁に沿う最上位点とを結ぶ線分長さd2に基づいて第2ピークの中心周波数F2を推定しかつ前記帯域幅B1に基づいて帯域幅B2を推定する第2推定部、
耳介の耳甲介腔床の最内点と耳甲介艇壁の最前点とを結ぶ線分の正中面への正投射長さd3に基づいて第3ピークの中心周波数F3を推定しかつ前記帯域幅B1に基づいて帯域幅B3を推定する第3推定部、
前記第1ピークの中心周波数F1および帯域幅B1に基づいて第1伝達関数を計算する第1計算部、
前記第2ピークの中心周波数F2および帯域幅B2に基づいて第2伝達関数を計算する第2計算部、
前記第3ピークの中心周波数F3および帯域幅B3に基づいて第3伝達関数を計算する第3計算部、
少なくとも前記第1伝達関数、前記第2伝達関数および前記第3伝達関数を合成して、全体の頭部伝達関数を計算する頭部伝達関数計算部、および
前記全体の頭部伝達関数に基づくフィルタで音源信号を畳み込み演算してバイノーラル信号を生成する生成部
として機能させる、立体音再生装置のプログラム。 A program executed by a processor of a stereoscopic sound reproducing device for reproducing stereoscopic sound with headphones, the processor comprising:
A first estimation unit that estimates the center frequency F1 and the bandwidth B1 of the first peak based on the concha depth d1 of the auricle,
The center frequency F2 of the second peak is estimated based on the line segment length d2 that connects the center of the ear canal entrance to the highest point along the lower edge of the ear ring, and the bandwidth B2 is estimated based on the bandwidth B1. 2nd estimation part,
The center frequency F3 of the third peak is estimated on the basis of the normal projection length d3 of the line segment connecting the innermost point of the concha of the auricle and the frontmost point of the concha of the concha to the midplane. A third estimator that estimates a bandwidth B3 based on the bandwidth B1;
A first calculator that calculates a first transfer function based on the center frequency F1 of the first peak and the bandwidth B1;
A second calculator that calculates a second transfer function based on the center frequency F2 and the bandwidth B2 of the second peak;
A third calculator that calculates a third transfer function based on the center frequency F3 of the third peak and the bandwidth B3 ;
A head-related transfer function calculation unit that calculates at least the entire head-related transfer function by combining at least the first transfer function, the second transfer function, and the third transfer function , and a filter based on the entire head-related transfer function A program for a stereophonic sound reproduction device that causes a sound source signal to be convoluted and calculated to function as a generation unit that generates a binaural signal.
前記複数のピークの中心周波数に基づいてノッチの中心周波数を推定するノッチ推定部、およびA notch estimator that estimates the center frequency of the notch based on the center frequencies of the plurality of peaks, and
前記ノッチの中心周波数とその帯域幅に基づいてノッチ伝達関数を計算するノッチ伝達関数計算部として機能させ、 It functions as a notch transfer function calculation unit that calculates a notch transfer function based on the center frequency of the notch and its bandwidth,
前記頭部伝達関数計算部は、前記複数のピーク伝達関数および前記ノッチ伝達関数に従って前記頭部伝達関数を計算する、請求項3記載の立体音再生装置のプログラム。 The program of the stereophonic sound reproduction apparatus according to claim 3, wherein the head-related transfer function calculation unit calculates the head-related transfer function according to the plurality of peak transfer functions and the notch transfer function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212110A JP6730568B2 (en) | 2015-10-28 | 2015-10-28 | Stereoscopic sound reproducing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212110A JP6730568B2 (en) | 2015-10-28 | 2015-10-28 | Stereoscopic sound reproducing device and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017085362A JP2017085362A (en) | 2017-05-18 |
JP2017085362A5 JP2017085362A5 (en) | 2019-05-09 |
JP6730568B2 true JP6730568B2 (en) | 2020-07-29 |
Family
ID=58713365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212110A Active JP6730568B2 (en) | 2015-10-28 | 2015-10-28 | Stereoscopic sound reproducing device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6730568B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK3468228T3 (en) * | 2017-10-05 | 2021-10-18 | Gn Hearing As | BINAURAL HEARING SYSTEM WITH LOCATION OF SOUND SOURCES |
JP7206027B2 (en) * | 2019-04-03 | 2023-01-17 | アルパイン株式会社 | Head-related transfer function learning device and head-related transfer function reasoning device |
WO2021048974A1 (en) * | 2019-09-12 | 2021-03-18 | 日本電気株式会社 | Information processing device, information processing method, and storage medium |
US11337021B2 (en) | 2020-05-22 | 2022-05-17 | Chiba Institute Of Technology | Head-related transfer function generator, head-related transfer function generation program, and head-related transfer function generation method |
JP6986778B2 (en) * | 2020-05-22 | 2021-12-22 | 学校法人千葉工業大学 | Head-related transfer function generator, head-related transfer function generation program, and head-related transfer function generation method |
-
2015
- 2015-10-28 JP JP2015212110A patent/JP6730568B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017085362A (en) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9961474B2 (en) | Audio signal processing apparatus | |
JP6730568B2 (en) | Stereoscopic sound reproducing device and program | |
Langendijk et al. | Fidelity of three-dimensional-sound reproduction using a virtual auditory display | |
WO2005025270A1 (en) | Audio image control device design tool and audio image control device | |
RU2513910C2 (en) | Angle-dependent operating device or method for generating pseudo-stereophonic audio signal | |
Iida | Head-related transfer function and acoustic virtual reality | |
BR112020000775A2 (en) | apparatus to generate a description of the sound field, computer program, improved description of the sound field and its method of generation | |
KR20180135973A (en) | Method and apparatus for audio signal processing for binaural rendering | |
Zhong et al. | Head-related transfer functions and virtual auditory display | |
JP2001016697A (en) | Method and device correcting original head related transfer function | |
Oreinos et al. | Objective analysis of ambisonics for hearing aid applications: Effect of listener's head, room reverberation, and directional microphones | |
WO2006067893A1 (en) | Acoustic image locating device | |
Oreinos et al. | Measurement of a full 3D set of HRTFs for in-ear and hearing aid microphones on a head and torso simulator (HATS) | |
Kates et al. | Externalization of remote microphone signals using a structural binaural model of the head and pinna | |
Geronazzo et al. | A head-related transfer function model for real-time customized 3-D sound rendering | |
JP2017085362A5 (en) | ||
Durin et al. | Acoustic analysis of the directional information captured by five different hearing aid styles | |
Xie et al. | Typical data and cluster analysis on head-related transfer functions from Chinese subjects | |
EP3700233A1 (en) | Transfer function generation system and method | |
Lee et al. | HRTF measurement for accurate sound localization cues | |
CN108966110B (en) | Sound signal processing method, device and system, terminal and storage medium | |
US20230254661A1 (en) | Head-related (hr) filters | |
US20210067891A1 (en) | Headphone Device for Reproducing Three-Dimensional Sound Therein, and Associated Method | |
Koyama | Boundary integral approach to sound field transform and reproduction | |
JP6556682B2 (en) | Stereo sound signal reproduction apparatus, stereo sound signal reproduction method, and stereo sound signal reproduction program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6730568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |