JP4518151B2 - 信号処理装置、信号処理方法、プログラム - Google Patents
信号処理装置、信号処理方法、プログラム Download PDFInfo
- Publication number
- JP4518151B2 JP4518151B2 JP2008006019A JP2008006019A JP4518151B2 JP 4518151 B2 JP4518151 B2 JP 4518151B2 JP 2008006019 A JP2008006019 A JP 2008006019A JP 2008006019 A JP2008006019 A JP 2008006019A JP 4518151 B2 JP4518151 B2 JP 4518151B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- listener
- signal
- processing unit
- arrival time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
- H04R3/14—Cross-over networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
仮想的に音源を定位させるにあたっては、予め、配置される複数のスピーカ(例えばL,Rの2チャンネル)に対する聴取者の理想聴取位置を定めておき、該理想位置における聴取者の左右両耳までの音響伝達関数として、実際に音響再生を行う上記複数のスピーカから上記両耳までの伝達関数(G)と、仮想音像位置から上記両耳までの伝達関数(H)とを測定により求めておく。そして、実際の処理では、上記仮想音像位置から出力されるべき信号に対して、上記伝達関数(G)と(H)とに基づく伝達関数の畳み込みを行い、その結果得られる信号を上記複数のスピーカに供給して出力する。
これにより、例えばフロントの左右2チャンネルのスピーカのみで、聴取者の後方左や後方右などの任意の位置に仮想的に音像を定位させることができる。
このために、本発明では信号処理装置として以下のように構成することとした。
つまり、各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理部と、上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理部とを備える。
また、上記ハイパスフィルタ処理部により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理部を備える。
さらに、上記ローパスフィルタ処理部による帯域制限信号と上記遅延処理部による遅延処理の施された上記ハイパスフィルタ処理部による帯域制限信号とを合成する合成処理部を備えるものである。
そこで、本発明は上記構成によって、このような特性の乱れが現れ始める周波数に基づいて決定したカットオフ周波数により、上記入力オーディオ信号を低域側の信号と高域側の信号とに分割し、低域側の信号は先行出力させ、高域側の信号は遅延させて後続出力するものとしている。
このようにすることで、いわゆる先行音効果により、音像の定位感は、先行出力された特性乱れの少ない低域側の信号成分によって支配的に与えることができるようになる。つまりこの結果、聴取者の理想位置からの左右ずれが生じた場合にも、音像の定位感が維持されるようにすることができる。
<第1の実施の形態>
[再生装置]
図1は、本発明の第1の実施の形態としての信号処理装置を備えてバーチャルサラウンド再生を行う再生装置1の内部構成を示したブロック図である。
この再生装置1は、入力信号として図示するように左チャンネルオーディオ信号L、右チャンネルオーディオ信号R、左チャンネルサラウンド信号SL、右チャンネルサラウンド信号SRの4チャンネルのオーディオ信号を入力する。そして、これら4チャンネルのオーディオ信号から左右2チャンネルのバーチャルサラウンド信号を生成し、これを聴取者の前方左右に配置されるスピーカSP-L、SP-Rから出力することで、バーチャルサラウンド再生を行う。
また、左チャンネルサラウンド信号SLは聴取者の後方左、右チャンネルサラウンド信号SRは聴取者の後方右から出力されるべき信号となる。すなわち、実際にスピーカの配置されない、仮想的な音像位置から出力されるべき信号となる。
再生装置1では、上記フロント側の左右2チャンネルのスピーカSP-L、SP-Rを用いて、これら左右のサラウンド信号SL、SRがそれぞれ後方左、後方右位置から発せられたものとして聴取者に知覚されるように、バーチャルサラウンド再生を行う。
2chバーチャルサラウンド信号生成部2は、DSP(Digital Signal Processor)で構成され、メモリ5内に格納されるプログラムに基づくデジタル信号処理により、入力オーディオ信号(L,R,SL,SR)に対する信号処理を行う。
本実施の形態の場合、メモリ5内には、DSPとしての2chバーチャルサラウンド信号生成部2に後述する実施の形態としての信号処理を実行させるための信号処理プログラム5aが格納される。
2chバーチャルサラウンド信号生成部2は、上記信号処理プログラム5aに基づくデジタル信号処理を実行することで、上記入力オーディオ信号L,R,SL,SRから、左右2チャンネルのバーチャルサラウンド信号Lvs、Rvsを生成する。これらバーチャルサラウンド信号Lvs、Rvsは、これらの信号が前方のスピーカSP-L,SP-Rから出力されたときに、左チャンネルサラウンド信号SL、右チャンネルサラウンド信号SRがそれぞれ後方左、後方右から出力されたかのように知覚させることができるように生成された信号となる。
図2は、図1に示した2chバーチャルサラウンド信号生成部2のデジタル信号処理によって実現される各機能動作をブロック化して示した図である。
なお、以下では便宜上、各機能ブロックをハードウエアとして扱うようにして説明を行うが、各機能ブロックとしての機能動作は、DSPとしての2chバーチャルサラウンド信号生成部2がメモリ5内の信号処理プログラム5aに基づくデジタル信号処理を行うことで実現されるものである。
バーチャライズ処理部2Aは、入力オーディオ信号L,R,SL,SRから左右2チャンネルのバーチャルサラウンド信号Lvs、Rvsを生成するための信号処理を行う。また、サービスエリア拡張処理部2Bは、上記バーチャルサラウンド信号Lvs、Rvsが音響再生されて実現される、仮想音像定位効果の得られるサービスエリアの拡張を図るための信号処理を行う。なお、サービスエリア拡張処理部2Bにより行われる、実施の形態としてのサービスエリア拡張処理については後述する。
バーチャライズ処理部2Aに入力された左チャンネルサラウンド信号SLは、フィルタ処理部11Lに供給されると共に、分岐してフィルタ処理部12Lに対しても供給される。また、バーチャライズ処理部2Aに入力された右チャンネルサラウンド信号SRはフィルタ処理部11Rに供給されると共に、分岐してフィルタ処理部12Rにも供給される。
また、加算処理部13Rは、上記フィルタ処理部11Rによって処理された右チャンネルサラウンド信号SRと、上記フィルタ処理部12Lにより処理された左チャンネルサラウンド信号SLとを入力し、これらを加算する。
また、上記加算処理部13Rによる加算結果はフィルタ処理部14Rで処理された後、加算処理部16Rに入力される。また、加算処理部13Rによる加算結果は、分岐してフィルタ処理部15Rにも供給され、該フィルタ処理部15Rで処理された後加算処理部16Lに入力される。
また、加算処理部16Rは、上記フィルタ処理部14Rで処理された信号と上記フィルタ処理部15Lにて処理された信号とを加算する。加算処理部16Rによる加算結果は、加算処理部10Rに対して入力される。
また、加算処理部10Rは、上述したようにして入力される右チャンネルオーディオ信号FRと上記加算処理部16Rによる加算結果とを加算する。この加算処理部10Rによる加算結果が、右チャンネルバーチャルサラウンド信号Rvsとなる。
加算処理部10Lにて生成された左チャンネルバーチャルサラウンド信号Lvsは一方のサービスエリア拡張処理部2Bに供給され、加算処理部10Rにて生成された右チャンネルバーチャルサラウンド信号Rvsは他方のサービスエリア拡張処理部2Bに供給される。
図3は、スピーカSP-L、スピーカSP-Rから聴取者Pの各耳への音響伝達関数、及び仮想音源位置として破線により示す後方左仮想スピーカVSP-L、後方右仮想スピーカVSP-Rから聴取者Pの各耳への音響伝達関数を模式的に示している。
さらに、前方左のスピーカSP-Lから聴取者P左耳までの音響伝達関数をG1L、同スピーカSP-Lから聴取者P右耳までの音響伝達関数をG1Rとおき、また、前方右のスピーカSP-Rから聴取者P左耳までの音響伝達関数をG2L、同スピーカSP-Rから聴取者P右耳までの音響伝達関数をG2Rとおく。
また、フィルタ処理部14Lには、−G2R/Aで表される伝達関数を与えるためのフィルタ特性を設定する。但し、「A」は下記の式により与えられるものである。
A=G2L*G1R−G2R*G1L
また、フィルタ処理部14Rには、−G1L/Aで表される伝達関数を与えるためのフィルタ特性を設定する。さらに、フィルタ処理部15LにはG1R/Aで表される伝達関数を与えるためのフィルタ特性を、またフィルタ処理部15RにはG2L/Aで表される伝達関数を与えるためのフィルタ特性を設定する。
これら各フィルタ処理部は、例えばFIR(Finite Impulse Response)フィルタで構成され、入力信号に対して設定されたフィルタ特性に基づくフィルタ処理を施す。
しかしながら、本例では聴取者Pから或る程度離間して配置されるスピーカSP-L、SP-Rによって音声出力を行うので、これらスピーカSP-L、SP-Rから聴取者Pの各耳までの伝達関数も考慮したバーチャライズ処理を行う必要がある。このために、図2に示す構成によって、聴取者Pの左耳によって聴取されるべき左チャンネル側の出力信号には上記−G2R/Aとしての「−G2R/G2L*G1R−G2R*G1L」、上記G2L/Aとしての「G2L/G2L*G1R−G2R*G1L」による伝達関数を与え、また聴取者Pの右耳によって聴取されるべき右チャンネル側の出力信号には上記−G1L/Aとしての「−G1L/G2L*G1R−G2R*G1L」、上記G1R/Aとしての「G1R/G2L*G1R−G2R*G1L」による伝達関数を与えるものとし、各スピーカSPから聴取者Pの各耳までの伝達関数による影響をキャンセルさせる作用が得られるようにしている。すなわちこのことで、前方左右の各スピーカSPからの音声出力により、左チャンネルサラウンド信号SLが後方左仮想スピーカSP-Lから出力され、右チャンネルサラウンド信号SRが後方右仮想スピーカSP-Rから出力されるかのように知覚させることができる。
−音像定位効果の減衰要因の考察−
これまでの説明から理解されるように、本実施の形態の再生装置1では、実際に音声出力を行うスピーカSP以外の位置に音像を仮想的に定位させるバーチャルサラウンド再生を行うものとされるが、先にも述べたように、このようなバーチャルサラウンド再生による仮想音像定位効果は、一般的にそのサービスエリアが狭く、特に聴取者Pの左右方向への位置ずれに対しては急激に音像定位効果が薄れてしまうという問題がある。
先ず、図4は、聴取者Pが理想的な聴取位置にある場合での、聴取者Pの各耳におけるスピーカSP-L、SP-Rからの出力音の到達時間差について説明するための図である。図4(a)では聴取者Pの各耳に対し各スピーカSP-L、SP-Rからの出力音が到達する様子を模式的に示し、図4(b)では、図4(a)に示す状態での、聴取者Pの各耳で聴取されるスピーカSP-L、SP-Rからの出力音の振幅及び到達時間を示している。
このとき、聴取者Pの左耳で聴取されるスピーカSP-Lからの出力音とスピーカSP-Rからの出力音の到達時間差は、図中の矢印DL0で表される。
聴取者Pの右耳で聴取されるスピーカSP-Lからの出力音とスピーカSP-Rからの出力音の到達時間差は、図中の矢印DR0で表される。
この図5においても、(a)図では聴取者Pの各耳に対し各スピーカSP-L、SP-Rからの出力音が到達する様子を模式的に示し、(b)図では、(a)図に示す状態での聴取者Pの各耳で聴取されるスピーカSP-L、SP-Rからの出力音の振幅及び到達時間を示している。
この結果、右耳においては、各スピーカSPからの出力音の到達時間差は先の図4の場合の到達時間差DR0よりも小さくなる(図中、到達時間差DR)。
なお、この図6において、聴取者Pの左耳における周波数特性は実線で示し、右耳における周波数特性は破線により示している。
ここで、上記説明によれば、聴取者Pの位置ずれに伴う両耳間での周波数特性の差が解消できれば、音像の定位感が損なわれてしまうことを防止できるということになる。
このとき、先の図6を参照して分かるようにクシ歯状の乱れが出現する起点周波数は、聴取者Pのずれ方向側となる耳の方でより低い周波数となる傾向になる。従って、該ずれ方向側の耳での起点周波数よりも低域側となる信号のみが出力されるようにすれば、他方の耳側も含めてクシ歯状の乱れが生じる帯域を除外でき、結果として聴取者Pの各耳における周波数特性の差を小さくすることができる。すなわち、定位感が損なわれないようにすることができる。
このような手法を採ることで、聴取者Pの知覚する音像の定位感は、先に到来する低域側の信号によって支配的に与えることができるものとなり、後続音としての高域側の信号による影響を知覚的に緩和することができる。この効果は、いわゆる先行音効果として知られている。
この先行音効果により、聴取者Pが理想位置から左右方向にずれた場合にも、音像の定位感が損なわれるのを緩和することができる。
最大値としての位置ずれ量のときの起点周波数を求めるための具体的な手法としては、種々考えることができる。
最も単純な例としては、実際にダミーヘッドなどを用いて図6に示したような周波数特性を測定した結果に基づき求めることができる。具体的にこの場合は、ダミーヘッドを理想位置から上記最大値としてのずれ量となる位置に配置し、理想位置からのずれ方向と一致する側となる耳における各スピーカSPからの出力音の合成音についての周波数特性を測定する。そして、この測定結果から、クシ歯状の乱れが現れ始める起点周波数を特定する。
先にも述べたように、起点周波数は、聴取者Pの位置ずれ方向と一致する方向側の耳における到達時間差が大きくなるほど、より低域側にシフトすることになる。つまりこのことからも理解されるように、起点周波数は、位置ずれ方向側の耳における到達時間差の値と相関した値をとる。
具体的に、起点周波数は、聴取者Pの理想位置からのずれ方向と一致する方向側の耳における、各スピーカSPからの出力音の到達時間差をDdとしたとき、この到達時間差Ddの逆数の1/2の値を目安として求めることができる。
例えば、到達時間差が1msec(1/1000sec)であれば、クシ歯状の乱れの生じ始める周波数は、1000×1/2=500Hzで概略求まる。
図7は、サンプリング周波数FSによるオーディオ信号として同一の全域フラットな信号を或る時間差を与えて出力したときの、同一聴取位置で測定される周波数特性を表している。すなわち、例えば上記同一聴取位置が聴取者の耳元であるとすれば、上記時間差は、各スピーカSPからの出力音の到達時間差に相当するものとなる。
このことから、クシ歯1つ分の帯域幅は、時間差が10サンプルである場合は、図のようにFS/10(FS/サンプル数)Hzで表すことができる。
例えば、聴取者Pの耳元における各スピーカSPからの出力音の到達時間差が、先に例示した1msecである場合を例に説明すると、先ず、サンプリング周波数FSが例えば48kHzであれば、1msecは、1/1000÷1/48000より48サンプル分の時間長となる。これを、上述した「FS/サンプル数×1/2」にあてはめれば、48000/48×1/2=1000×1/2=500Hzとなる。
このために、実際に起点周波数の導出を行うとしたときは、先ず、聴取者Pが上記最大の位置ずれ量となる位置にあるときの、ずれ方向と一致する側の耳における各スピーカSPからの出力音の到達時間差の値を求める。すなわち、聴取者Pが上記最大の位置ずれ量にあるときの到達時間差Ddの値を求める。
そして、このように求まった到達時間差Ddの値の逆数に1/2を乗じた値を、上記最大の位置ずれ量のときの起点周波数の値として求めればよい。
或いは、ダミーヘッドを用いずとも、各スピーカから上記最大の位置ずれ量となる位置までの距離の値から求めることもできる。
Dp+(|DspL−DspR|)/音速 ・・・[式1]
但し、各距離DspL、DspRの値は、聴取者Pの位置ずれ量として許容する値(位置ずれ量の最大値)が定まることで、計算により求めることができる。
つまり、この場合は各スピーカSPに対する聴取者Pの理想的な位置関係が定められているので、理想状態における聴取者Pから各スピーカSPまでの距離、及び理想位置からの左右方向の軸と「聴取者P←→スピーカSP-L」方向の軸とがなす角度、及び上記左右方向の軸と「聴取者P←→スピーカSP-R」方向の軸とがなす角度の値は既知の値とできる。
これらの値が既知であることより、あとは許容範囲を定めるための上記位置ずれ量の最大値が定まることで、三角法を用いた距離DspL、DspRの導出を行うことができる。つまり、距離DspLとしては、「理想位置」「ずれ量が最大値となる位置」「スピーカSP-Lの位置」の3点からなる三角形における、「ずれ量が最大値となる位置−スピーカSP-Lの位置」の辺の長さが求まればよい。このとき、上記位置ずれ量の最大値が定まることで、この三角形における「スピーカSP-L−理想位置」の辺と「理想位置−ずれ量が最大値となる位置」の2辺の長さと、該2辺の挟角の値とが定まった状態となり、これによって「ずれ量が最大値となる位置−スピーカSP-Lの位置」の辺の長さとしての、距離DspLを求めることができる。
同様に、距離DspRについては、「理想位置」「ずれ量が最大値となる位置」「スピーカSP-Rの位置」の3点からなる三角形における「ずれ量が最大値となる位置−スピーカSP-Rの位置」の辺の長さが求まればよく、上記位置ずれ量の最大値が定まり該三角形の「スピーカSP-L−理想位置」の辺と「理想位置−ずれ量が最大値となる位置」の2辺の長さと該2辺の挟角の値とが定まることによって、「ずれ量が最大値となる位置−スピーカSP-Rの位置」の辺の長さとしての距離DspRを求めることができる。
続いては、上記により説明した第1の実施の形態としてのサービスエリア拡張処理を実現するための構成について説明する。
図8は、先の図2にて説明したサービスエリア拡張処理部2Bとしての各機能動作をブロック化して示した図である。
なお、確認のために述べておくと、この図においても各機能ブロックをハードウエアとして扱うようにして説明を行うが、各機能動作はDSPとしての2chバーチャルサラウンド信号生成部2が信号処理プログラム5aに基づくデジタル信号処理を実行することによって実現されるものである。
これら2つのサービスエリア拡張処理部2Bとしては同一構成でよいことから、この図8では、これらをまとめた形で説明を行う。なお、説明の便宜上、左右のバーチャルサラウンド信号Lvs、Rvsは、総称してバーチャルサラウンド信号vsとする。
図2に示したバーチャライズ処理部2Aからのバーチャルサラウンド信号vsは、LPF20と共に、分岐してHPF21にも供給される。
このことで、上記LPF20によっては、バーチャルサラウンド信号vsのうち周波数特性の乱れが小さな低域側となる信号成分が抽出される。また、上記HPF21では、バーチャルサラウンド信号vsのうち少なくとも上記起点周波数を基準とした高域側となる信号成分が抽出されることになる。
一方、HPF21によって抽出された信号成分は、遅延処理部22において所定時間長による遅延が与えられた後、上記合成処理部23に供給される。
合成処理部23は、上記LPF20からの信号成分と上記遅延処理部23からの信号成分とを合成して出力する。
この結果、先に説明したような先行音効果が得られ、予め設定された位置ずれ量の許容範囲内において、音像定位効果が保証されるようにすることができる。つまりこれにより、従来よりも音像定位効果のサービスエリアを拡張することができる。
この図9では比較として、破線によりLPF20におけるカットオフ特性も示しているが、LPF20のカットオフ特性は比較的急峻であるのに対し、HPF21のカットオフ特性はより緩やかに設定されることが分かる。
ここで、或る遅延時間長を設定した場合、当然のことながら聴取者Pの耳元では先行音(低域)と後続音(中高域)とに到達時間差が生じることになる。このような先行音と後続音との到達時間の差により、先のカットオフ周波数(起点周波数)の導出手法の説明にで挙げた原理と同様の原理で、聴取者の耳元での周波数特性には、到達時間差(つまりこの場合は設定した遅延時間長である)に応じた周波数以上の帯域でクシ歯状の乱れが生じるものとなる。つまり厳密には、このような先行音と後続音の合成の面でも周波数特性に乱れを生じさせる可能性がある。
ここで、この乱れを抑制するためには、クシ歯乱れが生じていない帯域の信号のみが先行出力される状態が得られるようにすればよいことになる。そのためには、設定したカットオフ周波数が、遅延時間長の設定値に応じて定まる上記クシ歯状の乱れが現れ始める周波数よりも低くなるという条件が満たされるようにすればよい。換言すれば、遅延時間長としては、その値の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、設定したカットオフ周波数よりも高くなるようにして設定されればよい、ということになる。
本例の場合、カットオフ周波数は許容する最大の位置ずれ量に応じた値を設定している。従って、この場合の遅延時間長としては、その時間長の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、最大の位置ずれ量に応じて設定したカットオフ周波数よりも高い値となるようにして設定されればよい。
[再生装置の構成]
続いて、第2の実施の形態について説明する。
第2の実施の形態は、第1の実施の形態のように予め固定のサービスエリアを定めるというものではなく、実際の聴取者Pの位置に応じて、可変的にカットオフ周波数(つまりサービスエリア)が設定されるようにするものである。
この2chバーチャルサラウンド信号生成部32としてもDSPにより構成され、この場合のメモリ5には、後述する第2の実施の形態としての信号処理を該DSPにより実現させるためのプログラムとして、信号生成プログラム5bが格納されている。
このユーザ位置取得部31は、聴取者P(ユーザ)の聴取位置を表す情報を取得するために設けられる。
この場合、ユーザ位置取得部31としては、ユーザが操作により自らの聴取位置を表す情報を入力できるようにして構成される。具体的に、ユーザ位置取得部31としては、例えば各種ボタンやキー操作子などを備えた操作入力部と、該操作入力部からの操作入力情報に基づき、ユーザの聴取位置を表す情報を取得する例えばCPU(Central Processing Unit)を備えたマイクロコンピュータなどの情報処理部によって構成される。
ユーザは、このように提示された各聴取位置の情報から、実際の聴取位置と合致する聴取位置情報を上記操作入力部に対する操作を行って選択する。
情報処理部は、このようなユーザ操作に応じた上記操作入力部からの操作入力情報に基づき、選択された聴取位置の情報を取得する。
ユーザ位置取得部31は、該取得した聴取位置の情報を、図示するようにユーザ位置情報として2chバーチャルサラウンド信号生成部32に対して供給する。
なお、図示は省略したが、第2の実施の形態の2chバーチャルサラウンド信号生成処理部32としても、先の第1の実施の形態の場合と同様に、オーディオ信号FL,FR、及びサラウンド信号SR,SLからバーチャルサラウンド信号Lvs,Rvsを生成するためのバーチャライズ処理部2Aとしての機能動作も行うものとなる。このバーチャライズ処理部2Aとしての機能動作については既に図2において説明したので、ここでの改めての説明は省略する。
また、第2の実施の形態において、サービスエリア拡張処理部32Bとしては、上記バーチャライズ処理部2Aによって生成された左チャンネルのバーチャルサラウンド信号Lvsを入力して処理するものと、右チャンネルのバーチャルサラウンド信号Rvsを入力して処理するものとで2つ設けられるものとなるが、何れも機能ブロックの構成は同様となることから、この図においても、先の図8の場合と同様に一方の構成のみでまとめた形で説明を行う。
このサービスエリア拡張処理部32Bにおいては、上記LPF20、HPF21のカットオフ周波数を、上記ユーザ位置情報に応じて可変的に設定するための到達時間差計算部35、及びカットオフ周波数計算部36がさらに設けられる点が異なる。
このとき、上記ユーザ位置情報から距離DspL,DspRを求めるにあたっては、予め各聴取位置と距離DspL、DspRとが対応づけられた対応情報を用いる。具体的に、この対応情報は、ユーザ位置取得部31(情報処理部)から指示され得る各ユーザ位置の情報(各聴取位置の情報)に対し、それぞれのユーザ位置での各スピーカSP-L,SP-Rまでの距離DspL,DspRの値が対応づけられた情報となる。
図示は省略したが、このような対応情報は、例えば図10に示されるメモリ5内に格納しておく。到達時間差計算部35は、該対応情報と入力されたユーザ位置情報とに基づき、距離DspL,距離DspRの値を求める。
このとき、[式1]による計算を行うにあたっては、理想位置における到達時間差Dp(=DL0=DR0)の値が必要となる。この到達時間差Dpの値は、例えば予めメモリ5に格納され、到達時間差計算部35は、該到達時間差Dpの値を読み出して上記距離DspL,DspRの値を用いた[式1]による計算を行う。これによって、聴取者Pの各耳における各スピーカSPからの出力音の到達時間差のうち、より大きい値となる方の到達時間差Ddの値が求まる。
その場合、距離DspL,DspRの計算には、先に述べたように「聴取者Pの位置(理想位置)←→スピーカSP-L」方向の軸と左右方向の軸とがなす角度、及び「聴取者Pの位置(理想位置)←→スピーカSP-R」方向の軸と左右方向の軸とがなす角度を用いるので、これらの角度情報が予め設定されるべきものとなる。これらの角度情報は、例えばメモリ5内に予め格納しておき、到達時間差計算部35は、計算にあたりこれら角度情報を読み出して用いるものとすればよい。
カットオフ周波数計算部36は、上記到達時間差Ddの値について、その逆数に対し1/2を乗じて起点周波数の値を求める。そして、該起点周波数の値に基づきカットオフ周波数を決定し、該カットオフ周波数がLPF20、HPF21に設定されるように指示を行う。これによりLPF20、HPF21には、上記カットオフ周波数に応じたフィルタ特性が設定されることになる。具体的な特性としては、この場合も例えば先の図9に示したような特性を設定すればよい。
このような第2の実施の形態によっても、聴取者Pが理想位置からずれたとしても音像定位効果が維持されるようにできるので、音像定位効果のサービスエリアの拡張が図られる。
つまり、第2の実施の形態の場合としても、上記遅延時間長としては、その時間長の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、最大の位置ずれ量のときに設定されるべきカットオフ周波数よりも低い値となるようにして設定されればよい。
先にも述べたように、先行音と後続音の合成の面での特性乱れを考慮する場合における遅延時間長の閾値は、設定したカットオフ周波数の値の2倍の逆数で求まる。従って遅延時間長を可変的に設定する場合には、設定したカットオフ周波数について上記計算を行って遅延時間長の閾値を求め、該閾値よりも小さな値による遅延時間長を設定するものとすればよい。
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した具体例に限定されるべきものではない。
以下、変形例としての構成について説明する。
この変形例は、聴取者Pから見てスピーカSP-L、スピーカSP-Rが左右対称に配置される状態が理想状態とされることを前提とした場合に、バーチャライズ処理に要するフィルタの個数の削減を図るようにしたものである。
この図12に示されるバーチャライズ処理部40は、第1及び第2の実施の形態で説明したバーチャライズ処理部2Aに代わるものであり、該図12としても、DSPとしてのバーチャルサラウンド信号生成部2又は32のデジタル信号処理によって実現される機能動作をブロック化して示している。
一方、左チャンネルサラウンド信号SLは加算処理部41Lに入力されると共に、分岐して減算処理部41Rに対しても入力される。また、右チャンネルサラウンド信号SRは、減算処理部41Rに入力されると共に、分岐して加算処理部41Lにも入力される。
一方、上記減算処理部41Rは、左チャンネルサラウンド信号SLから右チャンネルサラウンド信号SRを減算する。減算処理部41Rによる減算結果は、FIRフィルタ42Rに供給される。
また、減算処理部43Rは、FIRフィルタ42Lの出力からFIRフィルタ42Rの出力を減算する。加算処理部43Rによる減算結果は、上述した加算処理部10Rに入力され、右チャンネルオーディオ信号FRと加算される。
また、このようにバイノーラル録音された、或いは予めバイノーラル処理された信号を左チャンネルサラウンド信号SL、右チャンネルサラウンド信号SRとして入力する場合は、さらに左チャンネルオーディオ信号FL,右チャンネルオーディオ信号RF、及び加算処理部10L,10Rを省略することもできる。
先ず、図13に示される変形例1は、サービスエリア拡張処理を施す位置についての変形例である。
これまでの説明では、サービスエリア拡張処理部2B又は32Bが、バーチャライズ処理部2A又は40によるバーチャライズ処理後の信号に対してサービスエリア拡張処理を行うものとしたが、この図13に示されるように、サービスエリア拡張処理は、バーチャライズ処理前の信号に対して行うこともできる。すなわち、バーチャライズ処理が帯域的にいわゆる線形処理のものであれば、サービスエリア拡張処理は、実施の形態で例示したようにバーチャライズ処理の後段に配置しても、図13のように前段に配置しても全体的な出力信号(Lvs,Rvs)は等価である。
この場合、サービスエリア拡張処理部2B又は32Bは、図示するようにバーチャライズ処理部2A又は40に入力される全チャンネルの信号に対して設ける。
この場合のバーチャライズ処理部50としては、1チャンネルの入力オーディオ信号から2チャンネルのバーチャルサラウンド信号を生成する。そして、このように生成された各チャンネルのバーチャルサラウンド信号に対し、それぞれ実施の形態としてのサービスエリア拡張処理を施すサービスエリア拡張処理部2B又は32Bが設けられる。
この図15の例では、例えばバーチャライズ処理の入力が4チャンネル、出力が6チャンネルとなる場合を例示している。具体的に、この図に示すバーチャライズ処理部51は、左チャンネルオーディオ信号FL,右チャンネルオーディオ信号FR、左チャンネルサラウンド信号SL、右チャンネルサラウンド信号SRを入力し、それらから6チャンネルの出力信号を生成する。
このようにしてバーチャライズ処理部51により生成される各チャンネルの信号ごとに、サービスエリア拡張処理部2B又は32Bが設けられる。
例えば、聴取者Pの位置情報は、撮像画像の解析を行った結果に基づき取得することもできる。
この場合、ユーザ位置取得部31としては、例えば各スピーカSP間の中心付近となる位置で聴取者P側を撮像した画像を得るカメラ部と、該カメラ部による撮像画像について画像解析を行う画像解析部とを備える。この画像解析部では、例えば顔認識技術を用いて撮像画像内における人の顔が映し出されている部分を特定し、この特定された部分の、画像内における位置の情報から、聴取者Pの理想位置からの左右方向へのずれ量の値を算出する。このずれ量の値をユーザ位置情報として得る。
例えば、再生装置30に付属のリモートコントローラがある場合には、該リモートコントローラの位置から聴取者Pの位置を特定するなどの手法を採ることもできる。この手法は、例えば聴取者Pがリモートコントローラを手にした状態、或いは手元など近接した位置にリモートコントローラを配置した状態で聴取を行うことを前提とした手法となる。
この場合、ユーザ位置取得部31としては、上記リモートコントローラが逐次発信する信号を受信した結果に基づき、上記リモートコントローラの位置を特定する。このように特定した位置の情報を、ユーザ位置情報として利用する。
その場合には、聴取者Pの前後方向における距離の情報が必要となるが、該前後方向の距離の情報は以下のように求めることができる。例えば、ユーザ位置取得部31として、上述のようにカメラ部と画像解析部を設ける場合には、画像解析において、人の顔が映し出されている部分の画サイズから前後方向の距離を推定することができる。
或いは、カメラ部がフォーカス機能を備える場合には、合焦点の焦点距離の情報から前後方向の距離を推定することができる。
例えば、この場合の動作切り換え制御は、ユーザ位置取得部31が行うようにすればよい。つまり、この場合のユーザ位置取得部31としては、上記操作入力や画像解析から特定した位置情報が、理想位置と一致するものであるか否かを判別し、一致しない場合はサービスエリア拡張処理部32Bとしての機能動作が実行されるようにバーチャルサラウンド信号生成部32に対する指示を行い、一致する場合はサービスエリア拡張処理部32Bとしての機能動作が省略されるようにバーチャルサラウンド信号生成部32に対する指示を行うものとすればよい。
その場合、再生装置30としては、少なくともマイクロフォンからの収音信号の入力が可能となるように構成しておく。測定時には、聴取者Pが実際に聴取を行う位置において、耳元となる位置に上記マイクロフォンを設置する。その状態で、各スピーカSPから例えばTSP(Time Stretched Pulse)信号などのテスト信号を出力させ、上記マイクロフォンからの収音信号を取得し、この収音信号に基づき各スピーカSPからの出力音についての周波数特性を測定する。この周波数特性においてクシ歯状の乱れが現れ始める起点周波数を検出し、その周波数に基づきLPF20、HPF21に設定すべきカットオフ周波数を求める。
ここで、カットオフ周波数の設定にあたって求めるべき起点周波数は、各スピーカSPからの出力音の到達時間差の値が大きくなる方の耳側の起点周波数となる。換言すれば、双方の耳位置についての起点周波数のうち、より低い方の起点周波数を求める必要がある。従って、上記マイクロフォンを両耳位置に設置して双方の耳位置での周波数特性を測定するとした場合は、双方の耳について検出された起点周波数のうち、より周波数の低い方の起点周波数を選択すればよい。或いは、マイクロフォンを、予め理想位置からのずれ方向と一致する耳側のみに配置して測定を行うものとしておけば、求めるべき起点周波数のみを検出することができるので、上記のような選択は不要とできる。
Claims (8)
- 各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理部と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理部と、
上記ハイパスフィルタ処理部により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理部と、
上記ローパスフィルタ処理部による帯域制限信号と上記遅延処理部による遅延処理の施された上記ハイパスフィルタ処理部による帯域制限信号とを合成する合成処理部と、
を備えることを特徴とする信号処理装置。 - 上記聴取者の聴取位置に関する入力情報に基づき、上記聴取者の耳位置における、各スピーカからの出力音の到達時間差の値を求める到達時間差計算部と、
上記到達時間差計算部により計算された上記到達時間差の値の逆数に対し1/2を乗じた値に基づき、上記カットオフ周波数を求めるカットオフ周波数計算部とをさらに備える、
ことを特徴とする請求項1に記載の信号処理装置。 - 上記到達時間差計算部は、
聴取者が予め設定された理想的な聴取位置にて各スピーカからの出力音を聴取するときの、上記各スピーカからの出力音の到達時間差Dpの値が予め設定されており、
上記入力情報に基づき取得した一方の上記スピーカから聴取者までの距離DspLの値と、他方の上記スピーカから聴取者までの距離DspRの値と、上記到達時間差Dpの値とに基づき、
Dp+(|DspL−DspR|)/音速
による計算を行ってより到達時間差の大きい方の耳における各スピーカからの出力音の到達時間差の値を求めると共に、
該計算した到達時間差の値に基づき上記カットオフ周波数の値を設定する、
ことを特徴とする請求項2に記載の信号処理装置。 - 上記ローパスフィルタ処理部及び上記ハイパスフィルタ処理部は、上記カットオフ周波数として予め定められた固定の周波数が設定される、
ことを特徴とする請求項1に記載の信号処理装置。 - 操作入力を受け付ける操作入力部をさらに備え、
上記到達時間差計算部は、
上記操作入力部からの操作入力情報に基づき聴取者の聴取位置に関する情報を取得する、
ことを特徴とする請求項2に記載の信号処理装置。 - 画像撮像を行うカメラ部と、
上記カメラ部による撮像画像を解析して上記聴取者の位置を特定する画像解析部とをさらに備え、
上記到達時間差計算部は、
上記画像解析部によって特定された上記聴取者の位置の情報を聴取者の聴取位置に関する情報として取得する、
ことを特徴とする請求項2に記載の信号処理装置。 - 各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理手順と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理手順と、
上記ハイパスフィルタ処理手順により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理手順と、
上記ローパスフィルタ処理手順による帯域制限信号と上記遅延処理手順により遅延処理を施した上記ハイパスフィルタ処理手順による帯域制限信号とを合成する合成処理手順と、
を備えることを特徴とする信号処理方法。 - 入力オーディオ信号について信号処理を行う信号処理装置において実行されるべきプログラムであって、
各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理と、
上記ハイパスフィルタ処理により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理と、
上記ローパスフィルタ処理による帯域制限信号と上記遅延処理により遅延処理を施した上記ハイパスフィルタ処理による帯域制限信号とを合成する合成処理と、
を上記信号処理装置に実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006019A JP4518151B2 (ja) | 2008-01-15 | 2008-01-15 | 信号処理装置、信号処理方法、プログラム |
CN2008101840364A CN101489173B (zh) | 2008-01-15 | 2008-12-12 | 信号处理装置和信号处理方法 |
US12/351,939 US9426595B2 (en) | 2008-01-15 | 2009-01-12 | Signal processing apparatus, signal processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006019A JP4518151B2 (ja) | 2008-01-15 | 2008-01-15 | 信号処理装置、信号処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009171144A JP2009171144A (ja) | 2009-07-30 |
JP4518151B2 true JP4518151B2 (ja) | 2010-08-04 |
Family
ID=40850640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008006019A Expired - Fee Related JP4518151B2 (ja) | 2008-01-15 | 2008-01-15 | 信号処理装置、信号処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9426595B2 (ja) |
JP (1) | JP4518151B2 (ja) |
CN (1) | CN101489173B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011205487A (ja) * | 2010-03-26 | 2011-10-13 | Panasonic Corp | 指向性音響システム |
US20130089220A1 (en) * | 2011-10-10 | 2013-04-11 | Korea Advanced Institute Of Science And Technology | Sound reproducing appartus |
CN104168000A (zh) * | 2013-05-20 | 2014-11-26 | 深圳富泰宏精密工业有限公司 | 音频处理***及方法 |
JP6390406B2 (ja) * | 2014-12-16 | 2018-09-19 | ヤマハ株式会社 | 信号処理装置 |
CN104581541A (zh) * | 2014-12-26 | 2015-04-29 | 北京工业大学 | 一种可定位多媒体视听装置及其控制方法 |
TWI554943B (zh) * | 2015-08-17 | 2016-10-21 | 李鵬 | 音訊處理方法及其系統 |
EP3811360A4 (en) * | 2018-06-21 | 2021-11-24 | Magic Leap, Inc. | PORTABLE SYSTEM VOICE PROCESSING |
CN112583569B (zh) | 2019-01-10 | 2022-02-25 | 华为技术有限公司 | 信号处理的方法和装置 |
US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223713A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響再生装置、音響再生方法 |
JP2006304068A (ja) * | 2005-04-22 | 2006-11-02 | Sony Corp | 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2966181B2 (ja) * | 1992-03-09 | 1999-10-25 | 松下電器産業株式会社 | 音場信号再生装置 |
WO1995034883A1 (fr) * | 1994-06-15 | 1995-12-21 | Sony Corporation | Processeur de signaux et dispositif de reproduction sonore |
JP3611158B2 (ja) * | 1995-12-27 | 2005-01-19 | 日本ビクター株式会社 | サラウンド信号処理装置及びその信号処理方法 |
GB9603236D0 (en) * | 1996-02-16 | 1996-04-17 | Adaptive Audio Ltd | Sound recording and reproduction systems |
US6741273B1 (en) * | 1999-08-04 | 2004-05-25 | Mitsubishi Electric Research Laboratories Inc | Video camera controlled surround sound |
US7103193B2 (en) * | 2000-09-15 | 2006-09-05 | American Technology Corporation | Bandpass woofer enclosure with multiple acoustic fibers |
EP1370115B1 (en) * | 2002-06-07 | 2009-07-15 | Panasonic Corporation | Sound image control system |
US7336793B2 (en) * | 2003-05-08 | 2008-02-26 | Harman International Industries, Incorporated | Loudspeaker system for virtual sound synthesis |
JP2005223714A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響収音装置、音響収音方法、記録媒体 |
GB0415625D0 (en) * | 2004-07-13 | 2004-08-18 | 1 Ltd | Miniature surround-sound loudspeaker |
US7991170B2 (en) * | 2005-05-05 | 2011-08-02 | Harman International Industries, Incorporated | Loudspeaker crossover filter |
KR100619082B1 (ko) * | 2005-07-20 | 2006-09-05 | 삼성전자주식회사 | 와이드 모노 사운드 재생 방법 및 시스템 |
US20090304213A1 (en) * | 2006-03-15 | 2009-12-10 | Dolby Laboratories Licensing Corporation | Stereophonic Sound Imaging |
KR100728043B1 (ko) * | 2006-08-04 | 2007-06-14 | 삼성전자주식회사 | 청취자에게 동상의 음향을 제공하는 방법 및 장치 |
JP4918098B2 (ja) * | 2006-10-25 | 2012-04-18 | パイオニア株式会社 | 音像定位処理装置等 |
-
2008
- 2008-01-15 JP JP2008006019A patent/JP4518151B2/ja not_active Expired - Fee Related
- 2008-12-12 CN CN2008101840364A patent/CN101489173B/zh not_active Expired - Fee Related
-
2009
- 2009-01-12 US US12/351,939 patent/US9426595B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223713A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響再生装置、音響再生方法 |
JP2006304068A (ja) * | 2005-04-22 | 2006-11-02 | Sony Corp | 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式 |
Also Published As
Publication number | Publication date |
---|---|
CN101489173B (zh) | 2012-11-07 |
US20090180626A1 (en) | 2009-07-16 |
US9426595B2 (en) | 2016-08-23 |
JP2009171144A (ja) | 2009-07-30 |
CN101489173A (zh) | 2009-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4518151B2 (ja) | 信号処理装置、信号処理方法、プログラム | |
CN107018460B (zh) | 具有头部跟踪的双耳头戴式耳机呈现 | |
JP6645437B2 (ja) | 音響再生装置 | |
JP4743790B2 (ja) | 前方配置ラウドスピーカからのマルチチャネルオーディオサラウンドサウンドシステム | |
JP6330251B2 (ja) | 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン | |
US6504933B1 (en) | Three-dimensional sound system and method using head related transfer function | |
JP5118267B2 (ja) | 音声信号再生装置、音声信号再生方法 | |
JP4480335B2 (ja) | 複数チャンネル音声信号の処理回路、処理プログラム及び再生装置 | |
JP2005223713A (ja) | 音響再生装置、音響再生方法 | |
JP5691130B2 (ja) | 聴者を取り囲むように配置される複数のスピーカで音響再生を行う際にクロストークをキャンセルする装置、方法、プログラム、およびシステム | |
JP2004506396A (ja) | 音声周波数応答処理システム | |
WO2016088306A1 (ja) | 音声再生システム | |
JP2008301427A (ja) | マルチチャンネル音声再生装置 | |
JP5520456B2 (ja) | バイノーラル収音再生システム | |
JP4951985B2 (ja) | 音声信号処理装置、音声信号処理システム、プログラム | |
JP2005223714A (ja) | 音響収音装置、音響収音方法、記録媒体 | |
US11743671B2 (en) | Signal processing device and signal processing method | |
JPWO2009113333A1 (ja) | 信号処理装置及び信号処理方法 | |
JP6512767B2 (ja) | 音響処理装置および方法、並びにプログラム | |
CN108966110B (zh) | 声音信号处理方法、装置及***、终端及存储介质 | |
JP5776223B2 (ja) | 音像制御装置および音像制御方法 | |
JP2015170926A (ja) | 音響再生装置、音響再生方法 | |
JP7010649B2 (ja) | オーディオ信号処理装置及びオーディオ信号処理方法 | |
JP2009105565A (ja) | 仮想音像定位処理装置および仮想音像定位処理方法 | |
JP4691662B2 (ja) | 頭外音像定位装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4518151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |