JP4134794B2 - 音場制御装置 - Google Patents
音場制御装置 Download PDFInfo
- Publication number
- JP4134794B2 JP4134794B2 JP2003103004A JP2003103004A JP4134794B2 JP 4134794 B2 JP4134794 B2 JP 4134794B2 JP 2003103004 A JP2003103004 A JP 2003103004A JP 2003103004 A JP2003103004 A JP 2003103004A JP 4134794 B2 JP4134794 B2 JP 4134794B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- sound field
- channels
- speaker
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
【発明の属する技術分野】
本発明は、マルチチャネルのスピーカで音響信号を再生する際に音場を制御する、音場制御装置に関する。
【0002】
【従来の技術】
マルチチャネルのスピーカによる音響再生装置(マルチチャネル再生系)で音像の位置をコントロールする、いわゆるサラウンド・パンポットが実用化されている。これは、複数のスピーカの配置された空間において、各スピーカから発音される楽音の音量や発音タイミングを制御することにより対象となる音響(例えば特定の楽器や音声)の音像を定位させ、音響に臨場感を与える技術である(例えば、特許文献1)。
【0003】
【特許文献1】
特開平8−205296号公報
【0004】
しかし、ある空間における複数の音像や残響が一体となって音場が形成されるのであるが、この音場そのものを移動させることは極めて困難である。
特許文献1に記載の発明は、単一の音像の移動を制御するものであるが、同時に多数の音像を移動させたい場合には、各音の信号に対して上記のような音像位置制御を同時に行う必要がある。具体的には、各信号のパンポットを同時に制御する必要がある。
【0005】
【発明が解決しようとする課題】
本発明は、このような背景の下になされたもので、マルチチャネル再生系の再生音の音場制御をより簡便に実現する音場制御装置の提供を目的としている。
【0006】
【課題を解決するための手段】
上記課題を解決するために、本発明は、リスナを中心とする円周上において当該リスナの正面、右前方、左前方、右後方および左後方にそれぞれ配置された複数のスピーカの各々に信号を供給するための複数の出力チャネルを有する音場制御装置において、前記複数のスピーカの位置を示すスピーカ位置情報と、音場の回転角に応じた出力レベルの重み付けを前記複数の出力チャネルのそれぞれについて記憶した重み付け情報とを記憶する記憶手段と、前記音場とリスナとの相対的な位置関係を、前記音場の回転、拡大、縮小または移動により示す位置関係データを入力する入力手段と、前記音場を再生するための複数チャネルの信号を前記複数の出力チャネルにどのように配分するかを決定する重み付け係数を、前記入力手段によって入力された位置関係データと、前記記憶手段に記憶されたスピーカ位置情報および重み付け情報とに基づいて出力する重み付け係数出力手段と、前記重み付け係数出力手段によって出力された重み付け係数に基づいて、前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御手段であって、前記複数のスピーカが配置される円の中心点から円周までの距離をRとし、当該中心点から仮想スピーカが配置される円周までの距離をrとした場合において、0≦r≦Rのときは、正面、右後方および左後方のスピーカに相当するそれぞれの出力チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した第1項と、{(R−r)/3R}の平方根である第2項とを加算した係数により前記複数チャネルの信号を配分するとともに、右前方および左前方のスピーカに相当するそれぞれの出力チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した係数により前記複数チャネルの信号を配分し、r>Rのときは、前記重み付け係数出力手段によって出力された重み付け係数と(R/r)2とを乗算した係数により前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御手段とを具備することを特徴としている。
また、前記位置関係データは、前記音場の回転角を示す情報であることを特徴としている。
上述の手段を用いることで、マルチチャネル再生系の再生音の音場制御をより簡便に実現することが可能となる。
【0007】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【0008】
<実施形態の構成>
図1は本発明の一実施形態である音場制御装置の構成を示すブロック図である。1は音場制御装置本体であり、音場制御装置本体1には各種表示を行う表示装置2,スピーカ3L,3R,3Ls,3Rs,3Cからなる出力チャネル、音場位置情報入力のための操作子4が接続されている。DVD(Digital Versatile Disk)等の記録媒体6に記録された楽音データは、再生装置5を介して音場制御装置本体1へと入力されることにより再生される。また、操作子4はマウスやキーボードの他、ジョイスティックやトラックボールでも良く、またこれらを併用しても良い。
【0009】
再生装置5の出力チャネルは、例えばドルビー(登録商標)デジタル方式(AC−3:登録商標)に代表される標準の5.1チャネルになっており、低音効果用の補助チャネルを除いて、左前方(L)、右前方(R)、左後方(Ls)、右後方(Rs)、中央(C)、の再生位置に対応したチャネル様式になっている。これらのチャネルL,R,Ls,Rs,Cは、各々スピーカ3L,3R,3Ls,3Rs,3Cで再生されることを前提としている。すなわち、再生装置5の出力信号は、音場を臨場感豊かに再生するために、音場に合わせて各出力チャネルに配分がなされている。
【0010】
ここでスピーカ3L,3R,3Ls,3Rs,3Cは図2のように配置される。同図において、リスナLはスピーカ3Cに対して顔を正面に向けるように位置している。以下においては各スピーカ3L,3R,3Ls,3Rs,3Cの位置等を、リスナLを原点とする座標系で説明する。説明を簡単にするため、座標系には極座標系および直交座標系を適宜用いる。スピーカ3L,3R,3Ls,3Rs,3CはリスナLから距離Rの円周上に配置されており、スピーカ3C,つまり正面を0°とすると、残りのスピーカ3L,3R,3Ls,3Rsの位置はそれぞれ330°(−30°),30°,240°(−120°),120°である。以後このスピーカ配置を「標準配置」と呼ぶ。
【0011】
次に再び図1を参照し、音場制御装置本体1内部の電気的構成を概説する。
CPU11は、RAM13の記憶領域をワークエリアとして利用し、ROM12に格納されている各種プログラムを実行することで装置各部を制御する他、DSP係数算出等の各種演算を実行する。
【0012】
HDD(Hard Disk Drive)14は外部記憶装置であり、スピーカ位置情報データファイルやチャネル重み付けテーブル等のデータを記憶する。スピーカ位置情報データファイルとは、各スピーカ3L,3R,3Ls,3Rs,3Cの位置を座標で記憶したデータの集合である。また、チャネル重み付けテーブルとは、回転角θに応じた各チャネルの出力音圧レベルを記述したテーブルである。本実施形態においてはリスナLの正面をθ=0とし、時計回りにθは増加していく。なお、上記HDD14は、スピーカ位置情報データファイルやチャネル重み付けテーブル等のデータを記憶できるものであれば他の記憶装置でも良く、Hard Disk Driveに限定されるものではない。
【0013】
表示制御部15は表示装置2に映画等の映像や、音場位置情報の入力手段としてのGUI(Graphical User Interface)を表示させるための制御を行う。
検出部16は操作子4の入力を検出し、結果をCPU11へ送る。また、操作子4での入力は表示装置2上に反映される。
信号処理部17はアナログの音響信号をデジタル変換するADC(A/D Converter)171、各出力チャネルのレベル、ディレイ、周波数特性を制御するDSP(Digital Signal Processor)172、各出力チャネルのデータを音響信号にアナログ変換するDAC(D/A Converter)173から構成される。また、DSP172は、図3に示されるマトリクスミキサとしての機能を有する。なお、図3において、51は増幅器、52は加算器である。
【0014】
マトリクスミキサは、マルチチャネルのサラウンドソースを出力チャネル数に配分し、これらにCPU11で算出されるDSP係数を乗じ、乗算結果の信号を出力チャネル毎に加算して出力することにより出力チャネルのレベルを制御し、音場の制御を実現する。
【0015】
<実施形態の動作>
次に、上記構成からなる音場制御装置の動作を説明する。
【0016】
まず、標準配置に従ったスピーカ配置のもと、中心に位置するリスナLが操作を行う状況を想定する。このとき、リスナLは表示装置2の画面に表示されるGUIを見ながら、操作子4を用いて操作を行う。本発明は標準配置にてスピーカを配置した音場において、音場の回転、音場の拡大・縮小、および音場の移動の3種類の音場制御を同時に行うことが可能であるが、以下では上記のそれぞれの音場制御に関して個別に説明を行う。
【0017】
(動作例1:音場の回転)
まず、音場の回転角θを操作する場合を説明する。この場合のGUIは図4のようになる。同図において、リスナLの正面をθ=0とし、時計回りに音場が回転するにつれてθは増加していく。A1は方向指示子であり、リスナLが所望する音場の正面方向を示している。この方向指示子A1をポインタBでドラッグ・アンド・ドロップすることにより、所望の角度に音場を回転させる。同様の操作はテキストボックスCθに所望の角度を入力することでも実現される。また、回転を等速度で連続的に行いたい場合には角速度ωをテキストボックスCωに入力する。
以上のような入力が与えられた場合の処理動作は、図5のフローチャートで表すことができる。以下図5を参照しつつ説明する。
【0018】
まず、音場の再生が開始されると、図5に示される一連の処理を実行するプログラムが起動される。このときCPU11は、操作子4により入力される音場の回転角θの変化を監視し(ステップs01)、変化が認められると変化量を検出してステップs02へと進み、変化がなければ処理を終了する。
【0019】
ステップs02では、ステップs01で検出された変化量に対しその回転角θを算出する。この結果をもとに、次のステップs03では重み付け係数Hを算出する。重み付け係数Hはスピーカ位置情報データファイルおよびチャネル重み付けテーブルより回転角θに基づいて求められる。
【0020】
スピーカ位置情報データファイルとは、この音場制御処理の基礎データとなる各スピーカの位置情報を記述したデータファイルであり、このデータを用いて音場制御の演算処理を行い、音場の移動量を算出する。このため、前記スピーカ位置情報データファイルは、当該音場制御装置を利用するリスニングルームのスピーカ配置に応じて予め設定しておく必要がある。
【0021】
チャネル重み付けテーブルの内容を説明すると、回転角θに応じた各チャネルの音圧レベル、すなわち各チャネルの重み付け係数Hmn(θ)を記述しており、これらは前記スピーカ位置情報データファイル内のスピーカ位置情報に対応して設定されている。チャネル重み付け係数Hmn(θ)は、前述したように各スピーカの出力レベルを定める値であり、回転角θの関数で表される。ここでインデックスmはマトリクスミキサ(図3参照)の入力チャネルを示し、インデックスnはマトリクスミキサの出力チャネルを示している。入出力共に標準配置にてスピーカが配置された5チャネル再生系である場合、出力チャネルとスピーカ3L,3R,3Ls,3Rs,3Cとの対応は以下の通りである。
チャネル1:スピーカ3L
チャネル2:スピーカ3R
チャネル3:スピーカ3Ls
チャネル4:スピーカ3Rs
チャネル5:スピーカ3C
【0022】
チャネル重み付け係数Hmn(θ)の一例として、標準配置におけるチャネル5からの入力信号に対する重み付け係数H51(θ),H52(θ),H53(θ),H54(θ),H55(θ)をグラフで表すと、図6のようになる。区間A,C,Eの3区間においては、出力音圧レベルは正弦波関数で表され、区間B,Dの2区間においては平方根関数で表される。この重み付け係数の値は音像が自然に定位するように経験的に導出された値である。上記のようにして、スピーカの存在しない部分であたかもスピーカが放音しているように音像が知覚されるが、この音像のことを仮想音源(仮想スピーカ)と呼ぶ。
【0023】
同図から明らかなように、音場を回転角θだけ回転させたとき、それに伴って仮想スピーカも回転角θだけ回転するが、その仮想スピーカの知覚のためにその仮想スピーカ位置に隣接する2つのスピーカが放音する。回転角θがスピーカの設置してある角度(例えば、スピーカ3Rなら30°)と等しい場合には、仮想スピーカ位置に重なる現実のスピーカのみが放音する。
【0024】
図6では入力チャネル5からの入力信号に対する重み付け係数Hmn(θ)を示したが、出力チャネルが同一、すなわちインデックスnが等しい重み付け係数Hmn(θ)は入力チャネル数と同数存在し、それぞれの係数の波形は全て同一だが、スピーカ配置の角度差に等しい位相差を有する。例えば標準配置に従ったスピーカ配置の場合、H11(θ),H21(θ),H31(θ),H41(θ),H51(θ)の間には数1で表される位置関係がある。
【0025】
【数1】
H51(θ) = H11(θ+30°)
= H21(θ−30°)
= H31(θ+120°)
= H41(θ−120°)
【0026】
なお、他のそれぞれのスピーカに出力するための重み付け係数にも、同様にして角度差に応じた関係がある。つまり、数1を一般化すれば、m=1,2,3,4,5において数2のように表すことができる。
【0027】
【数2】
H5m(θ) = H1m(θ+30°)
= H2m(θ−30°)
= H3m(θ+120°)
= H4m(θ−120°)
【0028】
またこれらは、仮想音像がスピーカの配置された円周上を滑らかに移動した場合に一定の音量で推移するように、放音されている音響の音響エネルギーの総和が常に一定でなくてはならない。音響エネルギーは再生レベルの2乗であるから、すなわち隣接する出力チャネル間の再生レベルの2乗和が一定であればよい。上記のことがらを鑑みてチャネル重み付け係数Hmn(θ)は定められている。図6を参照すると、例えば区間AではH52(θ)とH55(θ)は数3で表される。但し、θの単位はラジアン、Aは定数とする。
【0029】
【数3】
H52(θ) = Asin3θ
H55(θ) = Acos3θ
【0030】
上記H52(θ)とH55(θ)の2乗和は常にA2で一定である。同様にして区間CおよびEでも区間内で当該チャネル重み付け係数の2乗和が一定である。区間Bについては、H52(θ)およびH54(θ)は数4で表される。但し、θの単位はラジアン、Aは定数とする。
【0031】
【数4】
【0032】
上記H52(θ)とH54(θ)の2乗和は常にA2で一定である。同様にして区間Dでも区間内で当該チャネル重み付け係数の2乗和が一定である。
よって、図6で表されるチャネル重み付けテーブルでは、全ての回転角θにおいて音響エネルギーが一定である。
【0033】
ステップs03で求めた重み付け係数をもとに、次のステップs04ではDSP係数kを求める。DSP係数kはスピーカの配置される円の中心点から円周までの距離をR,スピーカの配置される円の中心点から仮想スピーカが配置される円周までの距離をrとすると、数5の式により求められる。なお、数5において、m=1,2,3,4,5,また0≦r≦Rである。
【0034】
【数5】
km1 = Hm1(θ)*sqrt(r/R)
km2 = Hm2(θ)*sqrt(r/R)
km3 = Hm3(θ)*sqrt(r/R)+sqrt(1/3)*sqrt{(R−r)/R}
km4 = Hm4(θ)*sqrt(r/R)+sqrt(1/3)*sqrt{(R−r)/R}
km5 = Hm5(θ)*sqrt(r/R)+sqrt(1/3)*sqrt{(R−r)/R}
【0035】
数5において、第1項はスピーカの配置される円周上に音像を定位させる再生レベルに基づいて導出される値であり、距離rが大きいほどこの値も大きい。また、第2項はリスナLの位置するリスニングポジションに定位させる再生レベルに基づいて導出される値であり、この値は距離rが大きくなるほど小さくなる。これらが距離rに応じて変化することにより、仮想音源の距離感を得ることができる。
【0036】
但し、本動作例においては距離r=Rだから、数6が成り立つ。なお、数6においてm=1,2,3,4,5,n=1,2,3,4,5である。
【0037】
【数6】
kmn = Hmn(θ)
【0038】
前記数6よりDSP係数kを求めたら、次のステップs05では該DSP係数kをDSP172へと転送する。
【0039】
以上の処理によりDSP係数kはDSP172へと与えられ、該DSP係数kを用いて信号処理部17で信号処理を行うことにより、所望の音場制御が実現される。
【0040】
以下では、回転角θの入力に対して上述の処理により得られる動作について説明を行う。
【0041】
チャネル5の入力信号のみに着目すると、回転の中心(X,Y)、および中心点からの距離rに変位がない場合の音像制御は、スピーカ3Cより回転角θ移動した地点に位置する仮想スピーカに隣接する2つのスピーカからの放音によって実現される。例えば、θの変位が30°<θ<120°であれば、このとき放音されるのはスピーカ3R,3Rsの2つである。前記2つのスピーカ3R,3Rsの再生レベルは、図6に示される曲線で推移していく。また、仮想スピーカの位置が実スピーカのいずれかと重なる場合には、当該実スピーカのみが放音する。
【0042】
つまり、全ての入力チャネル1,2,3,4,5からそれぞれ関数f1(t),f2(t),f3(t),f4(t),f5(t)の入力があった場合、スピーカ3Cからの出力fC(t)は数7で表される。
【0043】
【数7】
fC(t) = H15(θ)f1(t)+H25(θ)f2(t)+H35(θ)f3(t)+H45(θ)f4(t)+H55(θ)f5(t)
【0044】
但し、上記数7の重み付け係数Hmn(θ)のうち3ないし4個は0である。
【0045】
他のスピーカでも同様であるから、各スピーカからの出力fL(t),fR(t),fLs(t),fRs(t),fC(t)は数8で表される。
【0046】
【数8】
【0047】
数8でも数7と同様に、fL(t),fR(t),fLs(t),fRs(t),fC(t)の各式において5ある重み付け係数Hmn(θ)のうち3ないし4個は0である。
【0048】
次に、本動作例により実現される音響効果について説明する。
本動作例の効果として音場の補正効果が挙げられる。例えば図7のように、センター方向のスピーカと表示装置2の向きが一致しない場合、そのままのサラウンドソースを再生したのでは再生される映像と音場の間にずれが生じてしまう。このような場合に本動作例に示された音場の回転を適用すれば、表示装置2がいかなる位置にあっても、センターチャネルの音があたかも表示装置2正面から放音されているように聴取することが可能である。
【0049】
また、映像を伴わない音楽を鑑賞する場合においても、リスナLはいかなる方向を向いても自身の正面にセンター方向のスピーカがあるように聴取することが可能である。この音像の回転処理は手動で操作することも勿論可能であるが、例えばリスナLが着座する椅子に回転を検出する手段を設け、当該椅子の回転角に応じた回転角θを本音場制御装置1に入力できるようにすれば、リスナの向きの変化に応じて自動的に音場を回転させることが可能である。
【0050】
他にも、既存のサラウンドソースに本動作例の処理を適用することで、映画等の映像により臨場感豊かな音響効果を付与することが可能である。例えばモニタ上にある人物からの視点の映像が映し出されており、当該人物が急に振り返るシーンがあったとする。このとき本動作例の処理を適用すれば、リスナLの位置は変化せずに周囲の音場だけが回転し、リスナLは作中の当該人物と同様の音場を体感することができる。この場合には、映像信号を出力するDVD等の記録媒体から回転角θを示す信号が映像と共に同期して出力されるように構成される必要がある。
【0051】
なお、図4の説明で述べたように、角速度ωを入力する手段を設けることも可能である。これは回転角θを一定時間連続して入力するような場合に便利である。角速度ωは回転角θの時間微分dθ/dtであるので、演算処理を行うことにより角速度ωは入力値として回転角θと同等に扱うことができる。この場合、CPU11が与えられた角速度ωに基づいて順次回転角θを演算する。
【0052】
(動作例2:音場の拡大・縮小)
次に、スピーカの配置される円の中心点からの距離Rの円周上に配置された音源を中心点からの距離rへと仮想的に移動する場合、すなわち音場を拡大または縮小する場合について説明を行う。この場合のGUIは図9のようになる。同図において、リスナLの位置をr=0とし、スピーカ位置指示子A2がリスナLの位置を中心にその大きさを変化させる。変化量の入力はポインタBでスピーカ位置指示子A2をドラッグ・アンド・ドロップするか、もしくはテキストボックスCrに所望のrの値を入力することで行われる。
【0053】
この場合の動作も動作例1と同様に、図5のフローチャートに沿って行われる。このため、フローチャートに沿った動作説明は省略する。以下では、中心点からの距離rの入力に対する処理により得られる動作について説明を行う。
【0054】
入力チャネル5の信号のみに着目すると、回転の中心(X,Y)、および回転角θに変位がない場合、リスナLの位置からの距離rの地点に位置する仮想スピーカの音像制御は以下のように実現される。
【0055】
まず、0≦r≦Rの場合について考える。このとき、DSP係数は数5の式より求まる。また、θ=0°なので、重み付け係数が0でないのは入出力チャネルnとしてHnn(θ)のみであり、この場合H55(θ)のみである。よって、0でないDSP係数はk53,k54,k55である。したがって、放音されるスピーカはスピーカ3C,3Rs,3Lsである。
【0056】
同様の処理が他のスピーカでも行われると、各チャネルの出力信号は複数チャネルからの入力信号の総和となる。例えば、全ての入力チャネル1,2,3,4,5からそれぞれ関数f1(t),f2(t),f3(t),f4(t),f5(t)で表される入力があった場合、スピーカ3L,3R,3Ls,3Rs,3Cからの出力fL(t),fR(t),fLs(t),fRs(t),fC(t)は数9で表される。但し、数9においてα=sqrt(r/R),β=sqrt{(R-r)/3R}である。
【0057】
【数9】
【0058】
次に、r>Rの場合について説明する。この場合には、DSP係数は数10により与えられる。なお、数10において、m=1,2,3,4,5,n=1,2,3,4,5である。
【数10】
kmn = Hmn(θ)*(R/r)2
【0059】
但し、実際には上記数10で表される重み付け係数Hmn(θ)のnの等しい5つの値について、それぞれ3ないし4個は0であるため、0でないDSP係数kは各出力チャネルに1ないし2個である。すなわち、放音されるスピーカは、仮想スピーカと中心点とを結ぶ直線上にある実スピーカ1個ないしは前記直線に隣接する実スピーカ2個である。よって数11が成り立つ。
【0060】
【数11】
【0061】
但しfL(t),fR(t),fLs(t),fRs(t),fC(t)の各式において、5個ある重み付け係数Hmn(θ)のうち3ないし4個は0である。
【0062】
また、r=0の場合は音源がリスナLの位置で定位しているように知覚される状態である。このときのDSP係数kmnは数5より求まるが、r=0のため第1項は全て0となる。よって、DSP係数が正となるのはkm3,km4,km5であり、その値はそれぞれsqrt(1/3)である。従って、各スピーカの入力信号をf1(t),f2(t),f3(t),f4(t),f5(t),スピーカ3L,3R,3Ls,3Rs,3Cからの出力をそれぞれfL(t),fR(t),fLs(t),fRs(t),fC(t)とした場合、数12が成り立つ。
【数12】
【0063】
つまり、全ての音がスピーカ3C,3Ls,3Rsの3つから、それぞれ等しい再生レベルで放音されるということである。
【0064】
本動作例による音響効果を以下に示す。
本動作例を既存のサラウンドソースに適用することにより、音場の遠近感を制御することが可能となる。また、本動作例と前記動作例1を併用することにより、例えば図8の軌跡で示されるような音場制御が可能となる。同図はすなわち、音を発している物体が中心に位置するリスナLの周囲を周回しながら近づいてくるような音響効果を与える。
【0065】
(動作例3:音場の移動)
ここでは、音場の中心点(X,Y)を移動させることにより、音場全体の位置関係を保存したまま移動させる場合について説明を行う。この場合のGUIは図10のようになる。同図において、リスナLの位置をX=0,Y=0とする。変化量の入力はポインタBで音場位置指示子A3をドラッグ・アンド・ドロップするか、もしくはテキストボックスCX,CYに所望のX,Yの値を入力することで行われる。
【0066】
音場の中心点(X,Y)を移動させる場合、各々の仮想スピーカに着目すれば、この移動は音像の回転と中心点からの距離の変更との合成で表現できることが明らかである(図11参照)。よって、0≦r≦Rでは数5、r>Rでは数10が成り立つ。
【0067】
ここで、本操作が前記動作例1および2と異なる点は、rおよびθが仮想スピーカ毎に異なる点である。ゆえに、図11に示した通りr1,r2,r3,r4,r5,θ1,θ2,θ3,θ4,θ5を定めると、この場合のDSP係数は0≦r≦Rでは数13、r>Rでは数14で表すことができる。なお、数13,14においてm=1,2,3,4,5、数14においてn=1,2,3,4,5である。
【0068】
【数13】
km1 = Hm1(θm)*sqrt(rm/R)
km2 = Hm2(θm)*sqrt(rm/R)
km3 = Hm3(θm)*sqrt(rm/R)+sqrt(1/3)*sqrt{(R−rm)/R}
km4 = Hm4(θm)*sqrt(rm/R)+sqrt(1/3)*sqrt{(R−rm)/R}
km5 = Hm5(θm)*sqrt(rm/R)+sqrt(1/3)*sqrt{(R−rm)/R}
【0069】
【数14】
kmn = Hmn(θm)*(R/rm)2
【0070】
以上のように求められたDSP係数に従い入力信号が変換されることで、所望の音場制御を実現する。
【0071】
次に、本動作例により実現される音響効果について説明する。
図12は本動作例により実現される音場移動の軌跡の一例である。同図のように音場が移動すると、リスナLは相対的に自身がこの音場を持つ空間を斜めに横切っていくように感じることができる。
【0072】
以上3種の動作例を説明したが、本実施形態においてはこれらの動作を単一の装置およびインターフェースにて実行可能である。例えばGUIは図13のようであれば良い。
【0073】
<変形例>
なお、本発明は、以下の態様にて実施することも可能である。
【0074】
上述の実施形態においては、本発明は当該音場制御装置本体1を利用しているリスナLによって操作子4より動作を入力されると、リアルタイムで所望の位置に音場を定位する、いわばリアルタイム制御を行っている。しかし本発明は、時間の経過にしたがって音場がある軌跡を描くように予めプログラムしておくことによって処理を実行させる、プログラム制御を行うことも可能である。すなわちCPU11がプログラムに従って逐次θ,r,X,Yを演算し、これらに基づいて音場制御を行うことが可能である。
【0075】
上記プログラム制御の例として、図14に時間tに伴って距離rや角速度ω等が変化する例をグラフで表す。また、これらの処理を行うことにより実現される音場の移動の軌跡を図15に例示する。図14a,15aは、音場がリスナLの周りを回転しながら近づいてくる軌跡を示している。この軌跡は角速度ωを0でない一定の値に保ったまま中心からの距離rを徐々に小さくしていくことで実現される。また図14b,15bは、音場自体が自転しながらリスナLの周りを周回する軌跡を示している。この軌跡は音場回転の中心点をリスナLから等距離で周回させながら、角速度ωを0でない一定の値に設定することで実現される。このとき、音場回転の中心点(X,Y)は円を描くのだから、XとYはそれぞれ同位相の正弦波と余弦波であれば良い。
【0076】
更に、これらのプログラム制御は、いくつかの軌跡を予めモードとして準備し、リスナLが所望のモードを選択し、選択されたモードに合わせて音響を再生する方法も可能である。
【0077】
その他にも、例えば予めDVD等の記録媒体に記録された映像および音響データに対応したθ,r,X,Y等のデータを前記記録媒体に記憶させておき、当該音場制御装置が前記データを読み出すことで上述したような種々の音響効果を再生音響に付加して出力することも可能である。
【0078】
また、スピーカ位置情報データファイルは、複数の位置情報が記述された仕様でも良く、単一の位置情報のみを記述してスピーカ位置の変更が行われた場合に書き換える仕様でも良い。更には、本発明に係る音場制御装置の構成を簡略化するために、このスピーカ位置情報データファイルを除いた構成にすることも可能である。この場合には、当該音場制御装置の使用を前提とする、例えば国際通信連合(ITU)の定めるITU−R BS.775−1の推奨配置に基づいたスピーカ配置を本音場制御装置のシステム要件として定めれば良い。このようにすれば、当該音場制御装置がスピーカ位置情報データファイルを持たなくとも、前記推奨配置に基づいてチャネル重み付けテーブルが作成される。
【0079】
また、上述の実施形態においては、複数のスピーカは同一の円周上に配置されているが、スピーカ配置はこのように限定されるものではない。スピーカ配置に応じて適切なスピーカ位置情報データファイルやチャネル重み付けテーブルが得られれば、本発明は種々のスピーカ配置において適用可能である。
【0080】
また、マトリクスミキサは、入力チャネル数と出力チャネル数の積和演算により実現されるため、入力チャネル数と出力チャネル数が異なっていても音場制御が可能である。図16はその一例である。図16は入力チャネル数がNであるが、出力チャネル数を2以上の任意の数値に設定することも勿論可能である。入力チャネル数Nは1以上の任意の数値が設定可能である。
【0081】
また、上述の実施形態で説明されたGUIは、リスナとスピーカとの相対的な位置関係を示すものである。ゆえに上述したGUIは全てリスナを基準として仮想的にスピーカを移動させる入力手段であったが、スピーカ位置を基準としてリスナが音場を仮想的に移動するような入力手段にしても良い。
【0082】
なお、上述した一連の機能は、汎用のコンピュータにより実現させることも勿論可能であり、また、ROM12,HDD14に記憶させたプログラムやデータを他の記録媒体(例えばフロッピディスク、CD−ROM等)に記憶させ、汎用コンピュータで利用できるように提供することも可能である。
【0083】
【発明の効果】
以上説明したように、本発明によれば、マルチチャネル再生系のサラウンドソースの音場制御を実現することができる。
【図面の簡単な説明】
【図1】 本実施形態における音場制御装置の構成を示すブロック図である。
【図2】 本実施形態におけるスピーカ3L,3R,3Ls,3Rs,3Cの配置例である。
【図3】 本実施形態におけるマトリクスミキサを示す図である。
【図4】 本実施形態の動作例1におけるGUIの一例である。
【図5】 本実施形態における音場制御処理をフローチャートにて示した図である。
【図6】 本実施形態におけるチャネル重み付けテーブルを示す図である。
【図7】 本実施形態の動作例1における音場補正の効果を示した図である。
【図8】 本実施形態の動作例2における音場制御を示した図である。
【図9】 本実施形態の動作例2におけるGUIの一例である。
【図10】 本実施形態の動作例3におけるGUIの一例である。
【図11】 本実施形態の動作例3における音像の移動を例示した図である。
【図12】 本実施形態の動作例により実現される音場移動の軌跡の一例である。
【図13】 本実施形態におけるGUIの一例である。
【図14】 本発明の変形例におけるプログラム制御による各変化量の変動を例示した図である。
【図15】 本実施形態の変形例によって実現される音像移動の軌跡を例示した図である。
【図16】 本実施形態におけるマトリクスミキサの変形例である。
【符号の説明】
1…音場制御装置本体、2…表示装置、3L,3C,3R,3Ls,3Rs…スピーカ、4…操作子、11…CPU、12…ROM、13…RAM、14…HDD、15…表示制御部、16…検出部、17…信号処理部、171…ADC、172…DSP、173…DAC
Claims (5)
- リスナを中心とする円周上において当該リスナの正面、右前方、左前方、右後方および左後方にそれぞれ配置された複数のスピーカの各々に信号を供給するための複数の出力チャネルを有する音場制御装置において、
前記複数のスピーカの位置を示すスピーカ位置情報と、音場の回転角に応じた出力レベルの重み付けを前記複数の出力チャネルのそれぞれについて記憶した重み付け情報とを記憶する記憶手段と、
前記音場とリスナとの相対的な位置関係を、前記音場の回転、拡大、縮小または移動により示す位置関係データを入力する入力手段と、
前記音場を再生するための複数チャネルの信号を前記複数の出力チャネルにどのように配分するかを決定する重み付け係数を、前記入力手段によって入力された位置関係データと、前記記憶手段に記憶されたスピーカ位置情報および重み付け情報とに基づいて出力する重み付け係数出力手段と、
前記重み付け係数出力手段によって出力された重み付け係数に基づいて、前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御手段であって、
前記複数のスピーカが配置される円の中心点から円周までの距離をRとし、当該中心点から仮想スピーカが配置される円周までの距離をrとした場合において、
0≦r≦Rのときは、正面、右後方および左後方のスピーカに相当するそれぞれの出力チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した第1項と、{(R−r)/3R}の平方根である第2項とを加算した係数により前記複数チャネルの信号を配分するとともに、右前方および左前方のスピーカに相当するそれぞれの出力チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した係数により前記複数チャネルの信号を配分し、
r>Rのときは、前記重み付け係数出力手段によって出力された重み付け係数と(R/r)2とを乗算した係数により前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御手段と
を具備することを特徴とする音場制御装置。 - 前記位置関係データは、前記音場の回転角を示す情報であることを特徴とする請求項1記載の音場制御装置。
- 所定の関数に基づいて前記位置関係データを作成する位置関係演算手段を、前記入力手段に代えて、もしくは前記入力手段とともに具備し、前記配分制御手段は、前記入力手段または前記位置関係演算手段の前記位置関係データに基づいて、前記出力装置の各出力信号を前記各出力チャネルに配分することを特徴とする請求項1記載の音場制御装置。
- コンピュータに、
音場とリスナとの相対的な位置関係を、前記音場の回転、拡大、縮小または移動により示す位置関係データの入力を受け付ける入力機能と、
リスナを中心とする円周上において当該リスナの正面、右前方、左前方、右後方および左後方にそれぞれ配置された複数のスピーカの位置を示すスピーカ位置情報と、前記音場の回転角に応じた出力レベルの重み付けを複数の出力チャネルのそれぞれについて記憶した重み付け情報とを記憶手段から読み出し、当該スピーカ位置情報および重み付け情報と、前記入力機能によって入力が受け付けられた位置関係データとに基づいて、前記音場を再生するための複数チャネルの信号を前記複数の出力チャネルにどのように配分するかを決定する重み付け係数を出力する重み付け係数出力機能と、
前記重み付け係数出力機能によって出力された重み付け係数に基づいて、前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御機能であって、
前記複数のスピーカが配置される円の中心点から円周までの距離をRとし、当該中心点から仮想スピーカが配置される円周までの距離をrとした場合において、
0≦r≦Rのときは、正面、右後方および左後方のスピーカに相当するそれぞれの出力 チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した第1項と、{(R−r)/3R}の平方根である第2項とを加算した係数により前記複数チャネルの信号を配分するとともに、右前方および左前方のスピーカに相当するそれぞれの出力チャネルに対し、前記重み付け係数出力手段によって出力された重み付け係数と(r/R)の平方根とを乗算した係数により前記複数チャネルの信号を配分し、
r>Rのときは、前記重み付け係数出力機能によって出力された重み付け係数と(R/r)2とを乗算した係数により前記複数チャネルの信号を前記複数の出力チャネルに配分する配分制御機能と
を実現させるためのプログラム。 - 請求項4に記載のプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003103004A JP4134794B2 (ja) | 2003-04-07 | 2003-04-07 | 音場制御装置 |
EP04101399A EP1473971B1 (en) | 2003-04-07 | 2004-04-05 | Sound field controller |
US10/818,808 US7430298B2 (en) | 2003-04-07 | 2004-04-06 | Sound field controller |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003103004A JP4134794B2 (ja) | 2003-04-07 | 2003-04-07 | 音場制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004312355A JP2004312355A (ja) | 2004-11-04 |
JP4134794B2 true JP4134794B2 (ja) | 2008-08-20 |
Family
ID=32985529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003103004A Expired - Fee Related JP4134794B2 (ja) | 2003-04-07 | 2003-04-07 | 音場制御装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7430298B2 (ja) |
EP (1) | EP1473971B1 (ja) |
JP (1) | JP4134794B2 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005236502A (ja) * | 2004-02-18 | 2005-09-02 | Yamaha Corp | 音響再生装置 |
JP2006020198A (ja) * | 2004-07-05 | 2006-01-19 | Pioneer Electronic Corp | 音声出力態様設定装置及び音声出力態様設定方法等 |
US8015590B2 (en) | 2004-12-30 | 2011-09-06 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
US7825986B2 (en) * | 2004-12-30 | 2010-11-02 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals and other peripheral device |
US7653447B2 (en) | 2004-12-30 | 2010-01-26 | Mondo Systems, Inc. | Integrated audio video signal processing system using centralized processing of signals |
US8880205B2 (en) * | 2004-12-30 | 2014-11-04 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
JP4721097B2 (ja) * | 2005-04-05 | 2011-07-13 | ヤマハ株式会社 | データ処理方法、データ処理装置およびプログラム |
GB2425675B (en) * | 2005-04-28 | 2008-07-23 | Gp Acoustics | Audio system |
JP2007266967A (ja) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
US8180067B2 (en) | 2006-04-28 | 2012-05-15 | Harman International Industries, Incorporated | System for selectively extracting components of an audio input signal |
KR101388931B1 (ko) * | 2006-08-10 | 2014-04-24 | 코닌클리케 필립스 엔.브이. | 오디오 신호를 처리하기 위한 디바이스 및 방법 |
US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
JP4530007B2 (ja) * | 2007-08-02 | 2010-08-25 | ヤマハ株式会社 | 音場制御装置 |
EP2056627A1 (en) * | 2007-10-30 | 2009-05-06 | SonicEmotion AG | Method and device for improved sound field rendering accuracy within a preferred listening area |
WO2009093867A2 (en) | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing audio signal |
WO2009093866A2 (en) | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
US20150207478A1 (en) * | 2008-03-31 | 2015-07-23 | Sven Duwenhorst | Adjusting Controls of an Audio Mixer |
US20090312849A1 (en) * | 2008-06-16 | 2009-12-17 | Sony Ericsson Mobile Communications Ab | Automated audio visual system configuration |
KR101387195B1 (ko) | 2009-10-05 | 2014-04-21 | 하만인터내셔날인더스트리스인코포레이티드 | 오디오 신호의 공간 추출 시스템 |
EP2346028A1 (en) * | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
US8965014B2 (en) * | 2010-08-31 | 2015-02-24 | Cypress Semiconductor Corporation | Adapting audio signals to a change in device orientation |
JP5915308B2 (ja) * | 2012-03-23 | 2016-05-11 | ヤマハ株式会社 | 音響処理装置および音響処理方法 |
EP2834995B1 (en) | 2012-04-05 | 2019-08-28 | Nokia Technologies Oy | Flexible spatial audio capture apparatus |
US9135927B2 (en) * | 2012-04-30 | 2015-09-15 | Nokia Technologies Oy | Methods and apparatus for audio processing |
JP5773960B2 (ja) * | 2012-08-30 | 2015-09-02 | 日本電信電話株式会社 | 音響再生装置とその方法とプログラム |
WO2014174841A1 (ja) * | 2013-04-24 | 2014-10-30 | 日産自動車株式会社 | 車両用音響制御装置、車両用音響制御方法 |
DE102016202166A1 (de) * | 2016-02-12 | 2017-08-17 | Bayerische Motoren Werke Aktiengesellschaft | Sitzplatzoptimierte Entertainmentwiedergabe für autonomes Fahren |
US10901681B1 (en) * | 2016-10-17 | 2021-01-26 | Cisco Technology, Inc. | Visual audio control |
WO2019067620A1 (en) | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | SPEECH REDUCTION AUDIO MIXING |
EP3489821A1 (en) * | 2017-11-27 | 2019-05-29 | Nokia Technologies Oy | A user interface for user selection of sound objects for rendering, and/or a method for rendering a user interface for user selection of sound objects for rendering |
KR102637876B1 (ko) * | 2018-04-10 | 2024-02-20 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
CN112119646B (zh) * | 2018-05-22 | 2022-09-06 | 索尼公司 | 信息处理装置、信息处理方法以及计算机可读存储介质 |
CN109348398B (zh) * | 2018-11-23 | 2020-07-10 | 武汉轻工大学 | 基于非中心点的声场重建方法、设备、存储介质及装置 |
CN109618276B (zh) * | 2018-11-23 | 2020-08-07 | 武汉轻工大学 | 基于非中心点的声场重建方法、设备、存储介质及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3969588A (en) * | 1974-11-29 | 1976-07-13 | Video And Audio Artistry Corporation | Audio pan generator |
JPH07222299A (ja) | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
JPH08126099A (ja) | 1994-10-25 | 1996-05-17 | Matsushita Electric Ind Co Ltd | 音場信号再生装置 |
GB2294854B (en) * | 1994-11-03 | 1999-06-30 | Solid State Logic Ltd | Audio signal processing |
GB2295072B (en) * | 1994-11-08 | 1999-07-21 | Solid State Logic Ltd | Audio signal processing |
JPH11355900A (ja) | 1998-06-08 | 1999-12-24 | Matsushita Electric Ind Co Ltd | サラウンド定位点制御方式 |
JP4419300B2 (ja) | 2000-09-08 | 2010-02-24 | ヤマハ株式会社 | 音響再生方法および音響再生装置 |
JP2002199500A (ja) * | 2000-12-25 | 2002-07-12 | Sony Corp | 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体 |
-
2003
- 2003-04-07 JP JP2003103004A patent/JP4134794B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-05 EP EP04101399A patent/EP1473971B1/en not_active Expired - Fee Related
- 2004-04-06 US US10/818,808 patent/US7430298B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1473971B1 (en) | 2012-03-07 |
EP1473971A2 (en) | 2004-11-03 |
US7430298B2 (en) | 2008-09-30 |
JP2004312355A (ja) | 2004-11-04 |
US20040228498A1 (en) | 2004-11-18 |
EP1473971A3 (en) | 2009-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4134794B2 (ja) | 音場制御装置 | |
JP7280916B2 (ja) | 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング | |
JP6952813B2 (ja) | 向上した3dオーディオ作成および表現のためのシステムおよびツール | |
US7859533B2 (en) | Data processing apparatus and parameter generating apparatus applied to surround system | |
WO2014077374A1 (ja) | オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム | |
US9967693B1 (en) | Advanced binaural sound imaging | |
JP5826996B2 (ja) | 音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラム | |
JP2008522239A (ja) | ユーザがオーディオファイルを修正することを可能にするための方法及び装置 | |
JP2008522467A (ja) | 音響システム駆動装置、駆動方法および音響システム | |
JP7192786B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JP4780057B2 (ja) | 音場形成装置 | |
JP3624805B2 (ja) | 音像定位装置 | |
US11627427B2 (en) | Enabling rendering, for consumption by a user, of spatial audio content | |
US7330552B1 (en) | Multiple positional channels from a conventional stereo signal pair | |
JP2004312109A (ja) | 残響付与装置および残響付与プログラム | |
JP5690246B2 (ja) | リスニングエリア表示装置及びそのプログラム | |
JP4721097B2 (ja) | データ処理方法、データ処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080520 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140613 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |