JP2827777B2 - 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置 - Google Patents

音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置

Info

Publication number
JP2827777B2
JP2827777B2 JP35300092A JP35300092A JP2827777B2 JP 2827777 B2 JP2827777 B2 JP 2827777B2 JP 35300092 A JP35300092 A JP 35300092A JP 35300092 A JP35300092 A JP 35300092A JP 2827777 B2 JP2827777 B2 JP 2827777B2
Authority
JP
Japan
Prior art keywords
sound image
image localization
characteristic
transfer characteristic
intermediate transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP35300092A
Other languages
English (en)
Other versions
JPH06181600A (ja
Inventor
徳彦 渕上
雅博 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP35300092A priority Critical patent/JP2827777B2/ja
Publication of JPH06181600A publication Critical patent/JPH06181600A/ja
Application granted granted Critical
Publication of JP2827777B2 publication Critical patent/JP2827777B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、離間して配設された複
数のトランスジューサから、同一の音源が供給され所定
の伝達特性を有する複数の信号変換回路で処理した信号
を再生して、実際のトランスジューサ(スピーカ)とは
異なる所望の任意の位置に音像が定位しているように感
じさせる音像定位制御に係り、特に、実際に測定した
(または予め算出された)伝達特性をもとに、(例え
ば、その中間の音像定位位置における)中間伝達特性の
算出する方法並びにこれを利用した音像定位制御方法及
び装置に関するものである。
【0002】
【従来の技術】従来より、両耳における信号のレベル差
と位相差(時間差)によって特定位置(特定方向)に音
源を感じさせる音像定位方法がある。この音像定位方法
は、測定したHRTF(頭部伝達関数)にもとずいて特
定位置に音像を定位させるための伝達特性を求めて、こ
の伝達特性をコンボルバ(畳み込み演算回路)などで実
現したものである。
【0003】そして、より高品質な音像定位制御をする
には、多くの音像定位位置において、伝達特性(デー
タ)を測定収集する必要がある。例えば、後述する図7
に示すように、30度ごとの12組の伝達特性よりも1
5度ごとの24組の伝達特性を利用したほうが現実感の
ある音像定位制御ができる。さらに、音像定位に用いる
一対のスピーカと受聴者との位置関係を複数準備する場
合や、伝達特性の算出の基礎となる測定データを受聴者
の個人差(本人特性)まで考慮して複数準備する場合な
どでは、さらに多くの伝達特性(データ)が必要であ
る。
【0004】ところが、高精度な伝達特性を測定収集を
するには、多大な時間・手間・コストがかかる。さら
に、測定収集した多くの伝達特性(データ)を音像定位
制御装置のデータとして記憶しておく必要があるので、
装置の規模が大きくなる。すなわち、音像定位制御装置
のデジタルフィルタ(コンボルバ)用係数ROMの容量
が飛躍的に増大してしまう。このため、従来より、実際
に測定した伝達特性(以下、参照伝達特性と称する)を
もとに、その中間の音像定位位置における伝達特性(以
下、中間伝達特性と称する)を、実際に測定することな
く計算で算出することが試みられている。
【0005】従来では、このような中間伝達特性を、2
つの参照伝達特性の算術平均として算出していた。つま
り、時間軸領域での算出では、参照伝達特性の時間応答
波形の算術平均(時間的に対応する振幅の算術平均)か
ら、その中間位置の中間伝達特性を近似していた。周波
数領域での算出では、2つの参照伝達特性を周波数応答
として、ベクトル平均していた。ベクトル平均として、
具体的には2つの参照伝達特性を周波数応答としてベク
トル表現し、その実数部間,虚数部間をそれぞれ算術平
均して、中間伝達特性としていた。このベクトル平均を
詳述すると以下の通りである。ただし、任意の伝達特性
の離散時間応答をx(i)、x(i)の離散周波数応答
をX(i)(i=0 … N-1,X(i)は複素ベクトル)
とする。2つの参照伝達特性の一方をx(i),X
(i)とし、他方をy(i),Y(i)とし、従来技術
の算術平均(ベトル平均)により求めた中間伝達特性を
z(i),Z(i)とすると、(式a)及び(式b)の
ように、表現できる。
【0006】
【数1】
【数2】
【0007】したがって中間伝達特性の振幅Q及び位相
qは、
【0008】
【数3】
【数4】 となる。
【0009】
【発明が解決しようとする課題】しかしながら、このよ
うに算術平均(ベクトル平均)して中間伝達特性を求め
る従来の算出方法では、その算出した中間伝達特性を用
いた時に、音像定位の劣化や音質の劣化が生じやすい問
題があった。そこで、本出願人はこの問題を解決するた
めに、劣化の原因を探求して、新たな中間伝達特性の算
出方法を見いだした。図12〜図15を参照して順次説
明する。
【0010】図13は、相対開き角15度の2つの参照
伝達特性の周波数−振幅特性を示す例である。また、図
14(B)は,これらの参照伝達特性から上記した従来
の算出方法で求めた中間伝達特性の周波数−振幅特性で
ある。一方、図14(A)は参照伝達特性の中間位置に
おける中間伝達特性の実測値であり、その周波数−振幅
特性を示すものである。さらに、図15(B)は,前記
参照伝達特性から上記した従来の算出方法で求めた中間
伝達特性の周波数−位相特性である。一方、図15
(A)は参照伝達特性の中間位置における中間伝達特性
の実測値であり、その周波数−位相特性を示すものであ
る。
【0011】図15(A)及び(B)から明らかなよう
に、周波数−位相特性では算術平均による算出値と実測
値とに大きな差がない。しかし、図14(A)及び
(B)から明らかなように、周波数−振幅特性では算術
平均による算出値と実測値とに大きな差があり、特に2
kHz〜10kHz間の高域で大きな差があり、これが
実用上、音像定位の劣化や音質の劣化を生じさせる原因
と思われる。
【0012】
【課題を解決するための手段】そして、本出願人はさら
に中間伝達特性の周波数−振幅特性について分析を進め
た。図12(A)は2つの参照伝達特性X(i)とY
(i)の位相角の開きが小さい場合のベクトル平均、図
12(B)は2つの参照伝達特性X(i)とY(i)の
位相角の開きが大きく、位相差が±180度に近い場合
のベクトル平均を示す図である。同図に示すように、特
に位相角の開きが大きい場合、算術平均(ベクトル平
均)したZ(i)の振幅がX(i),Y(i)のそれよ
りも非常に小さくなってしまい、明らかに、中間伝達特
性の振幅としては明らかに不適格である。
【0013】つまり、位相の変化が激しい帯域や、一般
に位相差が大きくなりやすい周波数の高い高域では、2
つの参照伝達特性X(i)とY(i)との位相角の開き
が大きい場合が生じて、単に算術平均した中間伝達特性
の振幅では、精度が落ち音像定位の劣化や音質の劣化が
生じると思われる。これは、前述した図14(A)及び
(B)により詳述した実測値との比較結果とも一致す
る。前述した図15が示すように、2つの参照伝達特性
(なお、図15はいずれもその中間位置での中間伝達特
性)は高域で位相の変化が激しいので、参照伝達特性X
(i)とY(i)との位相角の開きが大きくなりやす
く、これを要因として中間伝達特性の振幅の精度が落ち
ている、といえる。
【0014】そこで、本発明は中間伝達特性中、特にそ
の振幅の算出方法を改良して、2つの参照伝達特性の位
相角の開きが大きい場合でも振幅を正しく算出して、音
像定位の劣化や音質の劣化がほとんど生じない中間伝達
特性を算出できるようにしたものである。すなわち、2
つの参照伝達特性の振幅を相乗平均して中間伝達特性の
振幅とした。
【0015】本発明は上記課題を解決するために、図4
及び図1などに示すように、離間して配設された複数の
トランスジューサ(スピーカsp1,sp2)から、同
一の音源(X)が供給され所定の伝達特性を有する複数
の信号変換回路(コンボルバ;係数がcfLx,cfR
xであるキャンセルフィルタからなる畳み込み演算処理
回路)で処理した信号を再生して、聴取者(M)に前記
トランスジューサとは異なる任意の位置(x)に音像が
定位しているように感じさせる音像定位制御における伝
達特性の算出方法であって、予め測定または算出された
(例えば、異なる音像定位位置に対する)複数の参照伝
達特性X(i)とY(i)から、周波数−振幅特性
(R)は前記参照伝達特性間の振幅特性の相乗平均と
し、周波数−位相特性(r)は前記参照伝達特性間のベ
クトル平均の位相成分として、前記参照伝達特性間の
(例えば、中間の定位位置における)中間伝達特性R
(i)を算出するようにしたことを特徴とする音像定位
制御における中間伝達特性の算出方法、並びにこれを利
用した音像定位制御方法及び装置を提供するものであ
る。
【0016】
【作用】上記のような音像定位制御における伝達特性の
算出方法によれば、参照伝達特性X(i)とY(i)の
位相角の開きが大きい場合でも、中間伝達特性R(i)
の振幅Rが、相乗平均として実測に近い値として算出さ
れる。そして、この算出された中間伝達特性をもとに、
信号変換回路により信号処理されて、音像が(例えば、
参照伝達特性による音像定位位置の中間位置に)定位さ
れる。
【0017】
【実施例】本発明になる音像定位制御における中間伝達
特性の算出方法及びこれを利用した音像定位制御装置の
一実施例について、以下図面と共に説明する。最初に、
音像定位制御方法の基本原理について説明する。これ
は、離間して配設された一対のトランスジューサ(以
下、スピーカを例として説明する)を使用し、空間の任
意の位置に音像を定位させる技術である。
【0018】図5は音像定位の原理図である。sp1,
sp2は受聴者(実施例の中では、聴取者と称すること
もある)の前方左右に配置されるスピーカであり、sp
1から聴取者左耳までの頭部伝達特性(インパルス応
答)をh1L、右耳までの頭部伝達特性をh1R、sp
2から左右耳までの頭部伝達特性をh2L,h2Rとす
る。また、目的とする定位位置xに実際のスピーカを配
置したときの受聴者左右耳までの頭部伝達特性をpL
x,pRxとする。ここで各伝達特性は音響空間にスピ
ーカと、人頭またはダミーヘッドの両耳位置にマイクと
を配置して実際に測定したものを、適切な波形処理した
ものである。
【0019】次に、定位させたい音源ソースXを信号変
換装置cfLx,cfRx(コンボルバなどによる伝達
特性)に通して得られる信号を、それぞれsp1,sp
2で再生することを考える。このとき受聴者左右耳に得
られる信号をeL,eRとすると、 eL=h1L・cfLx・X+h2L・cfRx・X (式1) eR=h1R・cfLx・X+h2R・cfRx・X (〃 ) 一方、ソースXを目的の定位位置から再生したときに受
聴者左右耳に得られる信号をdL,dRとすると、 dL=pLx・X (式2) dR=pRx・X (〃 )
【0020】ここで、sp1,sp2の再生により受聴
者左右耳に得られる信号が、目的位置からソースを再生
したときの信号に一致すれば、受聴者はあたかも目的位
置にスピーカが存在するように音像を認識することとな
る。この条件eL=dL,eR=dRと(式1),(式
2)より、Xを消去して h1L・cfLx+h2L・cfRx=pLx (式3) h1R・cfLx+h2R・cfRx=pRx (〃 ) (式3)からcfLx,cfRxを求めると cfLx=(h2R・pLx−h2L・pRx)/H (式4a) cfRx=(−h1R・pLx+h1L・pRx)/H ( 〃) ただし、 H=h1L・h2R−h2L・h1R (式4b) したがって、(式4a),(式4b)により算出した伝
達特性cfLx,cfRxを用いてコンボルバ(畳み込
み演算処理回路)等により定位させたい信号を処理すれ
ば、目的の位置xに音像を定位させることができる。
【0021】具体的な信号変換装置の実現方法は様々考
えられるが、非対称なFIRデジタルフィルタ(コンボ
ルバ)を用いて実現すれば良い。なお、FIRデジタル
フィルタで用いる場合の最終の伝達特性は、時間応答関
数である。つまり、必要な定位位置xにおける伝達特性
cfLx,cfRxとして、(式4a),(式4b)で
求めたものを、1回のFIRフィルタ処理により実現す
るための係数として、cfLx,cfRxの係数をあら
かじめ作成し、ROMのデータとして準備しておく。R
OMから必要な音像定位位置の係数をFIRデジタルフ
ィルタに転送し、音源からの信号を畳み込み演算処理し
て一対のスピーカから再生すれば、所望の任意の位置に
音像が定位されることになる。
【0022】以上のような原理に基づく音像定位制御方
法、及び音像定位制御方法における中間伝達特性の算出
方法について図3,図4及び図6〜8を参照して詳述す
る。図3は音像定位制御の方法のステップを示すもの
で、図4は音像定位制御装置のシステム構成図である。
【0023】頭部伝達関数(Head Related Transfer
Function;以下、HRTFと称する)の測定(ステップ
101) これを図6,図7をもって説明する。図6は、HRTF
の測定システムを示すものである。ダミーヘッド(また
は人頭)DMの両耳に一対マイクロホンML,MRを設
置し、スピーカSPからの測定音を受け、録音器DAT
にソース音(リファレンスデータ)refL,refR
と被測定音(測定データ)L,Rを同期して記録する。
上記スピーカSPの位置を正面を0度(°)として取決
めた空間内の複数の角度θ(例えば、図7に示すよう
に、15度ごとに24ポイント)に設置し、それぞれ所
定の時間だけ、連続的に記録する。
【0024】HRTFのインパルス応答(Impulse Re
sponse;以下、IRと称する)の算出(ステップ10
2) ステップ101で、同期して記録されたソース音(リフ
ァレンスデータ)refL,refRと被測定音(測定
データ)L,Rとを、ワークステーション(図示せず)
上で処理する。 ソース音(リファレンスデータ)の周波数応答をX
(S)、被測定音(測定データ)の周波数応答をY
(S)、測定位置におけるHRTFの周波数応答をIR
(S)とすると、(式5)に示す、入出力の関係があ
る。 Y(S)=IR(S)・X(S) (式5) したがって、HRTFの周波数応答をIR(S)は、 IR(S)=Y(S)/X(S) (式6) である。
【0025】よって、リファレンスの周波数応答X
(S)、測定データの周波数応答Y(S)として、前記
ステップ101で求めたデータを時間同期した窓で切り
出し、それぞれFFT変換により、有限のフーリエ級数
展開して離散周波数とし、(式6)より、HRTFの周
波数応答IR(S)が、周知の計算方法で求められる。
この場合、IR(S)の精度をあげる(SN比の向上)
ために時間的に異なる数百個の窓に対してそれぞれIR
(S)を計算し、それらを平均化すると良い。そして、
計算したHRTFの周波数応答IR(S)を逆FFT変
換して、HRTFの時間軸応答(インパルス応答)IR
(第1のIR)とする。
【0026】IR(インパルス応答)の整形処理(ス
テップ103) ここで、ステップ102で求めたIRを整形する。まず
例えばFFT変換により、ステップ102で求めた第1
のIRをオーディオスペクトラムにわたる離散周波数で
展開し、不要な帯域(高域には大きなディップが生じる
が、これは音像定位にあまり影響しない不要なものであ
る)を、BPF(バンドパスフィルタ)で除去する。こ
のように帯域制限すると、周波数軸上での不要なピーク
やディップが除去されて、キャンセルフィルタに不要な
係数が生じなくなるので、収束性がよくなり、係数を短
くすることができる。
【0027】そして、帯域制限されたIR(S)を逆F
FT変換して、IR(インパルス応答)を時間軸上で切
り出し窓(例えば、コサイン関数の窓)を掛けて、ウィ
ンド処理する(第2のIRとなる)。ウィンド処理する
ことにより、IRの有効長が長くなくなり、キャンセル
フィルタの収束性が向上して、音質の劣化が生じないよ
うになる。
【0028】キャンセルフィルタcfLx、cfRx
の算出(ステップ104) コンボルバ(たたみ込み積分回路)であるキャンセルフ
ィルタcfLx、cfRxは、前述した(式4a)及び
(式4b)に示したように、 cfLx=(h2R・pLx−h2L・pRx)/H (式4a) cfRx=(−h1R・pLx+h1L・pRx)/H ( 〃) ただし、H=h1L・h2R−h2L・h1R (式4b) である。
【0029】ここで、配置されるスピーカsp1,sp
2による頭部伝達特性h1L,h1R,h2L,h2R
及び、目的とする定位位置xに実際のスピーカを配置し
たときの頭部伝達特性pLx,pRxとして、上記ステ
ップ101〜103によって求められた、各角度θごと
の整形処理された第2のIR(インパルス応答)を代入
する。頭部伝達特性h1L,h1Rは、図8のLチャン
ネルスピーカの位置に対応するもので、正面から左に例
えば30度(θ=330度)に設置されるとすれば、θ
=330度のIRを用いる。頭部伝達特性h2R,h2
Lは、同図のRチャンネルスピーカの位置に対応するも
ので、正面から右に例えば30度(θ=30度)に設置
されるとすれば、θ=30度のIRを用いる(すなわ
ち、実際の音像再生時のシステム(例えば、後述する図
4に示す)に近いものを選ぶ)。
【0030】そして、頭部伝達特性pLx、pRxとし
ては、目的とする音源定位位置である正面から左右90
度の180度の範囲はもちろんのこと(図8では、24
0度の位置を例としている)、それを越える広範囲な空
間(全空間)における、15度ごとのIRを代入するこ
とにより、それに対応した全空間のcfLx、cfR
x、すなわち実測した15度ごとに24組のキャンセル
フィルタcfLx、cfRx群が求められる。キャンセ
ルフィルタcfLx、cfRx群は、最終的には、時間
軸上の応答であるIR(インパルス応答)として求めら
れる。しかし、これらのキャンセルフィルタの係数
(群)cfLx、cfRxは、実測した15度ごとの2
4組にすぎない。
【0031】中間伝達特性の算出(ステップ105) そこで、実際の測定にもとずいて算出したキャンセルフ
ィルタ(コンボルバ)の係数cfLx、cfRxをもと
にして、その中間の音像定位位置における伝達特性(中
間伝達特性)を求めて、 7.5度ごとに48組の伝達特性
とする。この中間伝達特性の算出に際して、本発明で
は、中間伝達特性の周波数−振幅特性を2つの参照伝達
特性の振幅特性の相乗平均として求め、周波数−位相特
性は2つの参照伝達特性の周波数複素ベクトルのベクト
ル平均の位相成分として求める。これが、本願の要部で
あり、以下、図1及び図2を参照して説明する。
【0032】図1は、2つの参照伝達特性から中間伝達
特性の算出方法をベクトル表示した概念図である。2つ
の参照伝達特性の一方をx(i),X(i)とし、他方
をy(i),Y(i)とし、上記の方法により求める中
間伝達特性をr(i),R(i)とすると、その中間伝
達特性の振幅R及び位相rは、次に示す(式c)及び
(式d)のように示される。
【0033】
【数5】
【数6】
【0034】したがって、例えば、30度と45度の中
間位置である37.5度の中間伝達特性は、前記ステッ
プで求めた、30度と45度におけるキャンセルフィル
タの時間軸応答を、2つの参照伝達特性x(i),y
(i)として、中間伝達特性の時間軸応答r(i)を求
めれば良い。すなわち、時間軸応答をx(i),y
(i)をFFT変換(FFT変換などの直交変換)し
て、周波数応答X(i),Y(i)として、(式c)及
び(式d)から、中間伝達特性の時間軸応答R(i)を
求め、これを逆FFT変換して中間伝達特性の時間軸応
答r(i)が求まる。
【0035】このような中間伝達特性の算出方法によれ
ば、前述したように、参照伝達特性X(i)とY(i)
の位相角の開きが大きい場合でも、相乗平均として、中
間の音像定位位置に対する中間伝達特性R(i)の振幅
Rが、実測に近い値として算出される。この点を図2
(A)及び(B)で模式的に説明する。図2(A)及び
(B)は、X(i)の振幅を1と固定し、Y(i)の振
幅を0.25, 0.5,1,2,4と可変したときの中間伝達
特性R(i),Z(i)を示すもので、同図(A)は相
乗平均した本願発明の実施例であるR(i)、同図
(B)は算術平均した従来例であるZ(i)を示す。算
術平均したZ(i)は、参照伝達特性X(i)とY
(i)の振幅と大幅に異なる。これに対して、相乗平均
したR(i)はほぼ中間的な大きさを示し、中間伝達特
性の振幅としてほぼ妥当といえる。
【0036】この結果、図14(A)及び(C)に示す
ように、実測に近い中間伝達特性が得られることにな
る。同図(A)は中間伝達特性の周波数−振幅特性の実
測値、同図(C)は相乗平均により算出した中間伝達特
性の周波数−振幅特性である。両者は極めて近い特性を
有している。したがって、実測値を良く近似した、音像
定位感や音質の劣化をほとんどない中間伝達特性が得ら
れたといえる。このようにして、24組の中間伝達特性
が計算で算出され、実測した15度ごとに24組の伝達
特性と合わせて、 7.5度ごとに48組の伝達特性(キャ
ンセルフィルタcfLx、cfRxの係数)が得られ
る。
【0037】一般的には、実測された360/M(M:
2以上の整数)度ごとの参照伝達特性をもとに、中間伝
達特性をN回(N:1以上の整数)算出すると、360
/(M・2)度ごとに音像定位制御できる。上記実施
例では、M=24,N=1として 7.5度ごとに求めて音
像定位制御するようにしているが、M=16,N=2と
して約5.63度ごとに求めて音像定位制御するようにして
も良い。また、水平面での人間の音像認識の分解能は、
約3〜4度だといわれている。したがって、M=24,
N=2として中間伝達特性を2回算出して、約3.75度ご
とに音像処理をするようにすれば、音像をほぼ連続させ
て任意の位置に定位させることが可能である。
【0038】各定位ポイントxのキャンセルフィルタ
のスケーリング(ステップ106) また、実際にコンボルバ(キャンセルフィルタ)で音像
処理される音源(ソース音)のスペクトラム分布は、統
計的にみるとピンクノイズのように分布するもの、ある
いは高域でなだらかに下がるものなどがあり、いずれに
しても音源は単一音とは異なるために、畳み込み演算
(積分)を行ったときオーバーフローして、歪が発生す
る危険がある。
【0039】そこで、オーバーフローを防止するため、
キャンセルフィルタcfLx、cfRxの全係数をスケ
ーリングする。そして、ウィンド窓(コサイン窓)によ
り、実際のコンボルバ(本実施例では、スケーリング処
理された最終的なキャンセルフィルタをコンコルバと称
している)の係数の数にあわせて、両端が0となるよう
に、ウィンド処理して、係数の有効長を短くする。この
ようにしてスケーリング処理されて、最終的にコンボル
バに係数として供給されるデータ群(この例では、7.
5度ごとに音像定位が可能な48組のコンボルバの係数
群)cfLx、cfRxが求まる。
【0040】音源からの信号を畳み込み演算して再生
(ステップ107) 例えば、ゲーム機の音響再生装置として、図4に示すよ
うに、ゲーム操作者(聴取者)Mを中心として左右30
度づづ離間して一対のスピーカsp1,sp2を配設
し、これら一対のスピーカsp1,sp2には、一対の
コンボルバ(畳み込み演算処理回路)1,2で処理され
た音響信号が再生されるように構成する。係数ROM3
には、前記ステップ101〜106で求められた7.5
度ごとの48組のコンボルバの係数群cfLx、cfR
xが記憶されている。一対のコンボルバ1,2には、同
一の音源X(例えば、ゲーム用シンセサイザからの飛行
音など)からの信号が供給されると共に、所望の係数c
fLx、cfRx(例えば、飛行音を左後方120度
(θ=240度)の位置に音像定位させたい時は、θ=
240度の係数)が、選択されてコンボルバ1,2に設
定される。例えば、ゲーム機などのメインCPU(中央
演算装置)からの音像定位命令にもとずいてコントロー
ル用サブCPU4が、係数ROM3から所望の定位位置
の係数を一対のコンボルバ1,2に転送する。
【0041】このようにして、一対のコンボルバ1,2
により音源Xからの信号は時間軸上で畳み込み演算処理
がなされて、離間して配設された一対のスピーカsp
1,sp2から再生される。一対のスピーカsp1,s
p2から再生され音は、両耳へのクロストークがキャン
セルされて、所望の位置に音源があるように音像定位し
て、ゲーム操作者(聴取者)Mに聞かれ、極めて現実感
に満ちた音として再生される。コンボルバ1,2の係数
は、例えば操作者Mの操作に応じた飛行機の動きの推移
と共に、最適な音像位置が順次選択され、切換えられ
る。また、飛行音から、例えばミサイル音に変更される
時は、音源Xからのソース音が飛行音からミサイル音に
変更される。このようにして、任意の位置に音像を自由
に定位させられる。
【0042】なお、再生のためのトランスジューサとし
てはー対のスピーカsp1,sp2のかわりにヘッドホ
ーンを用いることもできる。この場合は、HRTFの測
定条件が異なるので、係数を別に準備して再生状況に応
じて切換えると良い。また、実施例で説明した、離間し
て配設された一対のトランスジューサ(スピーカ)から
同一の音源が供給された一対のコンボルバで処理した信
号を再生する構成は、音像定位の効果を得るための最小
限の構成を示すものである。よって、必要に応じては、
一対、すなわち、2つ以上のトランスジューサ及びコン
ボルバを追加構成しても良いことはもちろんであり、さ
らに、コンボルバの係数が長い場合などには、係数を分
割して複数個のコンボルバで構成しても良い。
【0042】また、上記実施例では、ステップ105の
段階で、(式c),(式d)にもとずいて算出したキャ
ンセルフィルタcfLx、cfRxの伝達特性に対し
て、その中間位置の中間伝達特性を求めた。しかし、ス
テップ101〜103の段階で測定処理された頭部伝達
特性(HRTF)に対して、その中間位置の中間伝達特
性を求めても良く、この場合でも、本発明による算出方
法の効果がある。
【0043】(実施例2)次に、上記実施例で説明した
中間伝達特性の算出方法を利用した音像定位制御装置に
ついて説明する。上記実施例では、図3及び図4に示す
ように、中間伝達特性を予め算出して、これを音像定位
制御装置の係数ROMに記憶させるものであった。ここ
で説明する音像定位制御装置は、必要に応じて装置側で
中間伝達特性の算出方法をするように構成したものであ
る。
【0044】図9は音像定位制御装置を示すものであ
る。この装置は、図4に示した音像定位制御装置と同様
の目的とするものであり、その構成上の特徴を特に示す
ものである。係数ROM5には、基本とする伝達特性
(前記ステップ101〜106で予め算出された、例え
ば実測に基ずく音像定位位置15度ごとの24組のコン
ボルバの係数)が記憶された記憶手段である。FFT回
路6,中間伝達特性算出回路7,逆FFT回路8は、周
波数領域で中間伝達特性を算出する手段であり、中間伝
達特性算出回路9は前述したステップ106と同様な方
法で中間伝達特性を算出するものである。
【0045】係数供給手段(サブCPU)9は、メイン
CPUからの音像定位命令に応じて音像位置の係数をコ
ンボルバ1,2に供給するものである。係数の供給時、
係数ROM5に記憶されている係数であれば、係数供給
手段9はそれを係数ROM5からコンボルバ1,2に供
給する。一方、係数ROM5に記憶されていない係数、
すなわち中間位置の係数であれば、その中間位置を算出
する2つの参照係数(前述したように、中間位置の両側
の参照伝達特性)を係数ROM5からFFT回路6に供
給し、FFT回路6で周波数応答に変換する。そして、
変換した2つ参照伝達特性(周波数応答)をもとに、中
間伝達特性算出回路7で両者の中間伝達特性が算出され
る。算出された中間伝達特性は、逆FFT回路8で時間
軸応答とされて、コンボルバ1,2に供給される。
【0046】このように、音像定位制御装置側で、必要
に応じて中間伝達特性の算出するように構成すれば、係
数ROMの容量を小規模にしたままで、音像定位位置を
連続的に変化させて、音像を滑らかに移動を表現するこ
とを容易に実現できる。
【0047】なお、係数供給手段(サブCPU)9は、
メインCPUからの音像定位命令に応じて、それに続く
音像定位位置を予想して、予め中間伝達特性を算出して
記憶しておき、次の音像定位命令に応じた係数を即座に
供給できるようにしても良い。
【0049】(実施例3)実施例2では、複数の音像定
位位置に対応するために、中間伝達特性を算出した例で
あるが、コンボルバ1,2は、定位位置における伝達特
性cfLx,cfRxとして、(式4a),(式4b)
で求めたものを、1回のFIRフィルタ処理により実現
するように構成されたものであった。
【0048】これに対して、この実施例は、図10に示
すように、定位位置における伝達特性cfLx,cfR
xとして、(式4a),(式4b)で求まるものを、3
回のFIRフィルタ処理により実現するように、片側を
3つに分割したのコンボルバで構成したものである。こ
れは、音像定位に用いるスピーカセットsp1,sp2
と受聴者Mとの位置関係を複数準備する場合などに適し
た例である。
【0049】前記した(式4a),(式4b)より、コ
ンボルバの伝達特性cfLx,cfRxは、 cfLx=(h2R・pLx−h2L・pRx)/H (式4a) cfRx=(−h1R・pLx+h1L・pRx)/H ( 〃) ただし、 H=h1L・h2R−h2L・h1R (式4b) である。
【0050】そこで、共通な係数pLx,pRxに着目
すると、図10のように、一部をクロスさせて片側を3
つに分割した一対のコンボルバ10〜15と、一対の加
算器16,17で構成できる。このように構成すると、
コンボルバ10,13の係数である。pLx,pRxの
みを変更するだけで、音像定位位置を変更できる。した
がって、係数ROM3に準備されていない中間位置に音
像定位させる場合でも、係数(伝達特性)pLx,pR
xについてのみ、上述したような方法で、中間伝達特性
を算出してコンボルバに供給すれば良い。よって、FF
T回路6,中間伝達特性算出回路7,逆FFT回路8か
らなる中間伝達特性を算出する手段の負担が小さくな
る。
【0051】また、音像定位に用いるスピーカーセット
と受聴者との位置関係を複数準備する時には、例えばゲ
ーム操作者(聴取者)Mを中心として左右30度ずつ離
間して一対のスピーカsp1,sp2を配設される場合
(図4に示す)と、これより狭く左右15度ずつ離間し
て一対のスピーカsp1,sp2を配設される場合(図
4に、括弧して示す)とに対応する時では、実際のシス
テム設置状態に応じて、コンボルバ11,12,14,
15の係数であるh2R/H,−h2L/H,h1L/
H,−h2L/Hを変更すれば良い。このときも、係数
ROM5に記憶準備されていない状態(角度位置)に対
して、上述したような方法で、中間伝達特性を算出して
コンボルバに供給すれば良い。
【0052】また、伝達特性は、算出の基礎となる測定
データにおける受聴者の個人差(本人特性、例えば、頭
の大きさ、耳の形状など)などによっても異なる。これ
に対しては、個人差に応じた複数の状態に対して、その
状態の代表的な位置(例えば、30度ごとの12組)だ
けの伝達特性を準備しておき、あとは必要に応じて中間
伝達特性の算出を繰り返せば、細かく位置関係を制御で
きる。また、これとは反対に、個人差に応じた代表的な
状態に対してだけ(例えば、頭の大きい大人と、小さい
幼児の2状態だけ)の伝達特性を準備しておき、あとは
必要に応じて(例えば、大人と幼児の中間である小学生
の場合など)、両者の中間伝達特性の算出しても対応で
きる。
【0053】また、中間伝達特性の算出を利用して、す
なわち、代表的な頭部伝達特性を用いた伝達特性から、
本来測定等では得られない仮想の中間的な頭部伝達特性
に基づく伝達特性を算出し、より多数の個人差を吸収す
るようにすることも可能である。例えば、前記ステップ
101の頭部伝達関数(HRTF)の測定において、測
定の対象となるダミーヘッドは単なる抽象化されたモデ
ルにすぎず、必ずしも一般的に通用する伝達特性が求め
られるわけではない。そこで、複数人の異なる人頭に対
して頭部伝達関数(HRTF)を測定し、各人により異
なる耳,顔,頭などの条件を反映した測定データを得
て、これを参照伝達特性として、中間伝達特性を算出す
る。すると、算出された中間伝達特性は多数の個人差が
吸収された一般的に通用する伝達特性となるので、ゲー
ム機などに利用して音像定位させても、ほとんどの操作
者にその効果を与えることができ、極めて実用的な音像
定位装置を提供できる。
【0054】また、上述したように、音像定位に用いる
スピーカーセットと受聴者との位置関係や、受聴者の個
人差などに対応すべく、複数の係数群を切換える場合で
は、これらシステム構成に関する情報(システム情報)
を検知する手段や入力する手段を設けて、これらのシス
テム情報を制御手段4に入力して、係数群が切換えられ
るようにしておくと良い。
【0055】(実施例3)ところで、上記実施例では、
装置の係数ROM3,5には、インパルス応答(時間軸
応答)のデータが記憶準備されている例であった。この
実施例は、周波数応答として、データが装置の係数RO
M23に記憶準備されている例である。図11に示す装
置では、畳み込み演算回路が、切だし窓掛け手段18,
FFT変換手段19,乗算手段20,逆FFT手段2
1,加算手段22により構成され、音源からの信号を周
波数領域で畳み込み演算するように構成されている。係
数ROM23に記憶された基本的な伝達特性を参照し
て、その中間位置の伝達特性を算出するには、そのま
ま、前記した中間伝達特性算出回路7より、前述したス
テップ106と同様な方法で中間伝達特性を算出する。
この装置においては、中間伝達特性を算出するためのF
FT回路,逆FFT回路が不要である。
【0056】
【発明の効果】以上詳述したように、本発明になる音像
定位制御における中間伝達特性の算出方法は、予め測定
または算出された複数の参照伝達特性から、周波数−振
幅特性は前記参照伝達特性間の振幅特性の相乗平均と
し、周波数−位相特性は前記参照伝達特性間のベクトル
平均の位相成分として、前記参照伝達特性間の中間伝達
特性を算出するようにしたものであるから、参照伝達特
性の位相角の開きが大きい場合でも、中間伝達特性の振
幅が相乗平均として実測に近い値として算出される。よ
って、その算出した中間伝達特性を用いた時に、音像定
位の劣化や音質の劣化が生じることがない。したがっ
て、中間伝達特性を利用して、音像を360度の広範囲
にわたり、ほぼ連続させて任意の位置に定位させること
ができる。
【0057】さらに、参照伝達特性から実測値に近い中
間伝達特性が算出されるので、計算による中間伝達特性
の算出を数回繰り返しても、実用に耐え得る伝達特性が
得られ、実測が必要な伝達特性が少なくなる。よって、
データ(伝達特性)の測定収集工程が減少する。さら
に、音像定位制御装置の係数ROMなどに記憶させてお
くデータ(伝達特性)の容量が減少するので、装置の規
模を小さくできる。
【0058】また、測定した代表的な伝達特性から、実
際の測定では得られない仮想的な中間伝達特性を算出す
ることにより、測定条件の差,聴取者の個人差などを吸
収した伝達特性が得られる。したがって、この算出した
中間伝達特性を利用することにより、音像定位の効果が
人により大幅に異なることがなくなり、極めて実用的な
音像定位制御装置を提供することができる。
【図面の簡単な説明】
【図1】本発明になる音像定位制御における中間伝達特
性の算出方法を説明する図で、特に、振幅の算出原理を
説明する図である。
【図2】中間伝達特性の振幅を説明する図で、(A)は
実施例、(B)は従来例である。
【図3】本発明になる中間伝達特性の算出方法を利用し
た音像定位制御方法の各ステップを示すチャートであ
る。
【図4】本発明になる中間伝達特性の算出方法を利用し
た音像定位装置の基本的な構成図である。
【図5】音像定位制御の基本原理を示す構成図である。
【図6】HRTF(頭部伝達関数)の測定システムを示
す構成図である。
【図7】HRTF測定のポイントを説明する図である。
【図8】キャンセルフィルタの算出を説明する図であ
る。
【図9】本発明になる中間伝達特性の算出方法を利用し
た音像定位制御装置の第2の実施例を示す構成図であ
る。
【図10】本発明になる中間伝達特性の算出方法を利用
した音像定位制御装置の第3の実施例を示す構成図であ
る。
【図11】本発明になる中間伝達特性の算出方法を利用
した音像定位制御装置の第4の実施例を示す構成図であ
る。
【図12】(A)は参照伝達特性の位相角の開きが小さ
い場合の算術平均、(B)は参照伝達特性の位相角の開
きが大きい場合の算術平均を示す図である。
【図13】2つの参照伝達特性の周波数−振幅特性の例
である。
【図14】(A)は中間伝達特性の周波数−振幅特性の
実測値、(B)は参照伝達特性から従来の算出方法で求
めた中間伝達特性の周波数−振幅特性、(C)は参照伝
達特性から本発明の算出方法で求めた中間伝達特性の周
波数−振幅特性である。
【図15】(A)は中間伝達特性の周波数−位相特性の
実測値、(B)は参照伝達特性から算術平均して求めた
中間伝達特性の周波数−位相特性である。
【符号の説明】
1,2,10〜15 コンボルバ 3,5,23 係数ROM 4 係数供給手段 7 中間伝達特性算出手段 101 頭部伝達関数(HRTF)を測定するステップ 102 HRTFのインパルス応答を算出するステップ 103 IR(インパルス応答)を整形処理するステッ
プ 104 キャンセルフィルタ(参照伝達特性)を算出す
るステップ 105 中間伝達特性を算出するステップ 106 キャンセルフィルタのスケーリングをするステ
ップ 107 音源からの信号を畳み込み演算して再生するス
テップ sp1,sp2 スピーカ h1L,h1R スピーカsp1から受聴者左右耳まで
の頭部伝達特性 h2L,h2R スピーカsp2から受聴者左右耳まで
の頭部伝達特性 pLx,pRx 目的とする定位位置xに実際のスピー
カーを配置したときの受聴者左右耳までの頭部伝達特性 cfLx,cfRx キャンセルフィルタ(の係数) DM ダミーヘッド(または人頭) M 聴取者(ゲーム操作者、聴取者) X 音源 x 目的とする音像定位位置 X(i),Y(i) 参照伝達特性 R(i) 中間伝達特性 R 振幅 r 位相(位相角)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】離間して配設された複数のトランスジュー
    サから、同一の音源が供給され所定の伝達特性を有する
    複数の信号変換回路で処理した信号を再生して、聴取者
    に前記トランスジューサとは異なる任意の位置に音像が
    定位しているように感じさせる音像定位制御における伝
    達特性の算出方法であって、 予め測定または算出された複数の参照伝達特性から、周
    波数−振幅特性は前記参照伝達特性間の振幅特性の相乗
    平均とし、周波数−位相特性は前記参照伝達特性間のベ
    クトル平均の位相成分として、前記参照伝達特性間の中
    間伝達特性を算出するようにしたことを特徴とする音像
    定位制御における中間伝達特性の算出方法。
  2. 【請求項2】離間して配設された複数のトランスジュー
    サから、同一の音源が供給され所定の伝達特性を有する
    複数の信号変換回路で処理した信号を再生して、聴取者
    に前記トランスジューサとは異なる任意の位置に音像が
    定位しているように感じさせる音像定位制御装置におい
    て、 予め測定または算出された複数の参照伝達特性から、周
    波数−振幅特性は前記参照伝達特性間の振幅特性の相乗
    平均とし、周波数−位相特性は前記参照伝達特性間のベ
    クトル平均の位相成分として、前記参照伝達特性間の中
    間伝達特性を算出する手段を有し、 前記算出された中間伝達特性にもとずいて音像定位制御
    するようにしたことを特徴とする音像定位制御装置。
  3. 【請求項3】離間して配設された複数のトランスジュー
    サから、同一の音源が供給され所定の伝達特性を有する
    複数の信号変換回路で処理した信号を再生して、聴取者
    に前記トランスジューサとは異なる任意の位置に音像が
    定位しているように感じさせるべくシステム構成される
    音像定位制御装置であって、 予め測定または算出された複数の参照伝達特性と、周波
    数−振幅特性は前記参照伝達特性間の振幅特性の相乗平
    均とし、周波数−位相特性は前記参照伝達特性間のベク
    トル平均の位相成分として、前記複数の参照伝達特性か
    ら算出された中間伝達特性とが、記憶される伝達特性記
    憶手段と、 構成されたシステム情報に応じて、前記伝達特性記憶手
    段の伝達特性を適宜選択して前記信号変換回路に供給す
    る手段とを有し、 構成されたシステムに応じた音像定位制御するようにし
    たことを特徴とする音像定位制御装置。
  4. 【請求項4】請求項1に記載した音像定位制御における
    中間伝達特性の算出方法にしたがって、 実測された代表的な伝達特性から仮想的な中間伝達特性
    を算出して、 この算出した中間伝達特性にもとずいて音像定位制御す
    るようにしたことを特徴とする音像定位制御方法。
  5. 【請求項5】離間して配設された複数のトランスジュー
    サから、同一の音源が供給され所定の伝達特性を有する
    複数の信号変換回路で処理した信号を再生して、聴取者
    に前記トランスジューサとは異なる任意の位置に音像が
    定位しているように感じさせる音像定位制御における伝
    達特性の算出方法であって、 予め測定または算出された異なる音像定位位置に対する
    複数の参照伝達特性から、周波数−振幅特性は前記参照
    伝達特性間の振幅特性の相乗平均とし、周波数−位相特
    性は前記参照伝達特性間のベクトル平均の位相成分とし
    て、前記参照伝達特性の中間の音像定位位置に対する中
    間伝達特性を算出するようにしたことを特徴とする音像
    定位制御における中間伝達特性の算出方法。
  6. 【請求項6】請求項5に記載した音像定位制御における
    中間伝達特性の算出方法にしたがって、 実測された360/M(M:2以上の整数)度ごとの参
    照伝達特性をもとに、中間伝達特性をN回(N:1以上
    の整数)算出して、 360/(M・2)度ごとに音像定位制御するように
    したことを特徴とする音像定位制御方法。
JP35300092A 1992-12-11 1992-12-11 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置 Expired - Lifetime JP2827777B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35300092A JP2827777B2 (ja) 1992-12-11 1992-12-11 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35300092A JP2827777B2 (ja) 1992-12-11 1992-12-11 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置

Publications (2)

Publication Number Publication Date
JPH06181600A JPH06181600A (ja) 1994-06-28
JP2827777B2 true JP2827777B2 (ja) 1998-11-25

Family

ID=18427889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35300092A Expired - Lifetime JP2827777B2 (ja) 1992-12-11 1992-12-11 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置

Country Status (1)

Country Link
JP (1) JP2827777B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8046217B2 (en) 2004-08-27 2011-10-25 Panasonic Corporation Geometric calculation of absolute phases for parametric stereo decoding

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845407B2 (ja) * 2005-03-30 2011-12-28 クラリオン株式会社 リファレンスフィルタの生成方法
US8243969B2 (en) * 2005-09-13 2012-08-14 Koninklijke Philips Electronics N.V. Method of and device for generating and processing parameters representing HRTFs
EP1927265A2 (en) * 2005-09-13 2008-06-04 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP5954147B2 (ja) * 2012-12-07 2016-07-20 ソニー株式会社 機能制御装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8046217B2 (en) 2004-08-27 2011-10-25 Panasonic Corporation Geometric calculation of absolute phases for parametric stereo decoding

Also Published As

Publication number Publication date
JPH06181600A (ja) 1994-06-28

Similar Documents

Publication Publication Date Title
JP3976360B2 (ja) 立体音響処理装置
US6611603B1 (en) Steering of monaural sources of sound using head related transfer functions
CN101009953B (zh) 音效校正装置
US5579396A (en) Surround signal processing apparatus
US6574339B1 (en) Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
JP2010520671A (ja) 音声空間化及び環境シミュレーション
JP2827777B2 (ja) 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
JPH08182100A (ja) 音像定位方法および音像定位装置
JPH06245300A (ja) 音像定位制御装置
JP2870333B2 (ja) 音像定位制御装置
JPH09135499A (ja) 音像定位制御方法
JP2910891B2 (ja) 音響信号処理装置
JPH08205298A (ja) 音像定位制御装置
JPH09191500A (ja) 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法
JP2755081B2 (ja) 音像定位制御方法
JP2924502B2 (ja) 音像定位制御装置
JP2924539B2 (ja) 音像定位制御方法
JP2870562B2 (ja) 音像定位制御の方法
JPH06198074A (ja) テレビゲーム機
JPH08102999A (ja) 立体音響再生装置
JP2985557B2 (ja) サラウンド信号処理装置
JP2985919B2 (ja) 音像定位制御装置
JPH09327100A (ja) ヘッドホン再生装置
JP2882449B2 (ja) テレビゲーム用の音像定位制御装置
JP3090416B2 (ja) 音像制御装置及び音像制御方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080918

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080918

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090918

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090918

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100918

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100918

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110918

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 15

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 15