JP5169566B2 - 残響付与装置およびプログラム - Google Patents
残響付与装置およびプログラム Download PDFInfo
- Publication number
- JP5169566B2 JP5169566B2 JP2008184660A JP2008184660A JP5169566B2 JP 5169566 B2 JP5169566 B2 JP 5169566B2 JP 2008184660 A JP2008184660 A JP 2008184660A JP 2008184660 A JP2008184660 A JP 2008184660A JP 5169566 B2 JP5169566 B2 JP 5169566B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- reverberation
- signal
- reverberation signal
- impulse response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、音響信号に残響を付与する技術に関する。
音響信号とインパルス応答との畳込み演算で音響信号に残響を付与する技術が従来から提案されている。特許文献1には、音響信号に対する残響の付与に使用されるインパルス応答を残響の付与の途中で変更する技術が開示されている。特許文献1の技術では、図10に示すように、変更前のインパルス応答H1を音響信号VINに畳込むことで残響信号R1を生成する処理と、変更後のインパルス応答H2を音響信号VINに畳込むことで残響信号R2を生成する処理とが並列に実行され、区間C内で残響信号R1と残響信号R2とをクロスフェードすることで残響信号VOUTが合成される。
米国特許第6421697号
しかし、特許文献1の技術においては、音響信号VINのうちクロスフェードの対象となる区間Cについて、インパルス応答H1の畳込み演算とインパルス応答H2の畳込み演算とが並列に実行されるから、音響信号VINの区間Cの処理時に演算量が増大するという問題がある。インパルス応答H1やインパルス応答H2の時間長(残響時間)が長い場合、区間Cに対する演算量の増大は特に深刻化する。以上の事情に鑑みて、本発明は、音響信号に対する残響の付与に使用されるインパルス応答を変更するときの演算量を軽減することを目的とする。
以上の課題を解決するために、本発明の第1の態様に係る残響付与装置は、音響信号のうち第1区間(例えば図3の区間S1)と当該第1区間の開始前とを含む区間(例えば図3の区間T1)に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、音響信号のうち第1区間の始点から当該第1区間の経過後の第2区間(例えば図3の区間S2)の終点までを含む区間(例えば図3の区間T2)に第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算手段と、音響信号のうち第2区間の始点から当該第2区間の経過後の第3区間(例えば図3の区間S3)の終点までを含む区間(例えば図3の区間T3)に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算手段と、音響信号のうち第3区間と当該第3区間の経過後とを含む区間(例えば図3の区間T4)に第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、第1残響信号から第2残響信号に遷移するように第1区間内で第1残響信号と第2残響信号とをクロスフェードする第1合成手段と、第2残響信号から第3残響信号に遷移するように第2区間内で第2残響信号と第3残響信号とをクロスフェードする第2合成手段と、第3残響信号から第4残響信号に遷移するように第3区間内で第3残響信号と第4残響信号とをクロスフェードする第3合成手段とを具備する。
第1の態様に係る残響付与装置においては、第1演算手段による第1インパルス応答の畳込み演算と第2演算手段による第1インパルス応答の第1部分の畳込み演算とが音響信号の第1区間について実行され、第3演算手段による第2インパルス応答の第1部分の畳込み演算と第4演算手段による第2インパルス応答の畳込み演算とが音響信号の第3区間について実行される。また、第2演算手段による第1インパルス応答の第1部分の畳込み演算と第3演算手段による第2インパルス応答の第1部分の畳込み演算とが音響信号の第2区間について実行される。以上の構成においては、第1インパルス応答の全部の畳込み演算と第2インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。
本発明の第2の態様に係る残響付与装置は、音響信号のうち第1区間(例えば図5の区間S1)と当該第1区間の開始前とを含む区間(例えば図5の区間T1)に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、音響信号のうち第1区間の始点から当該第1区間の経過後の第2区間(例えば図5の区間S2)の終点までを含む区間(例えば図5の区間T2)に第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算手段と、音響信号のうち第2区間と当該第2区間の経過後とを含む区間(例えば図5の区間T4)に第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、第1残響信号から第2残響信号に遷移するように第1区間内で第1残響信号と第2残響信号とをクロスフェードする第1合成手段と、第2残響信号から第4残響信号に遷移するように第2区間内で第2残響信号と第4残響信号とをクロスフェードする第2合成手段とを具備する。
第2の態様に係る残響付与装置においては、第1演算手段による第1インパルス応答の畳込み演算と第2演算手段による第1インパルス応答の第1部分の畳込み演算とが音響信号の第1区間について実行され、第2演算手段による第1インパルス応答の第1部分の畳込み演算と第4演算手段による第2インパルス応答の畳込み演算とが音響信号の第2区間について実行される。以上の構成においては、第1インパルス応答の全部の畳込み演算と第2インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。
本発明の第3の態様に係る残響付与装置は、音響信号のうち第1区間(例えば図7の区間S1)と当該第1区間の開始前とを含む区間(例えば図7の区間T1)に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、音響信号のうち第1区間の始点から当該第1区間の経過後の第3区間(例えば図7の区間S3)の終点までを含む区間(例えば図7の区間T3)に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算手段と、音響信号のうち第3区間と当該第3区間の経過後とを含む区間(例えば図7の区間T4)に第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、第1残響信号から第3残響信号に遷移するように第1区間内で第1残響信号と第3残響信号とをクロスフェードする第1合成手段と、第3残響信号から第4残響信号に遷移するように第3区間内で第3残響信号と第4残響信号とをクロスフェードする第2合成手段とを具備する。
第3の態様に係る残響付与装置においては、第1演算手段による第1インパルス応答の畳込み演算と第3演算手段による第2インパルス応答の第1部分の畳込み演算とが音響信号の第1区間について実行され、第3演算手段による第2インパルス応答の第1部分の畳込み演算と第4演算手段による第2インパルス応答の畳込み演算とが音響信号の第3区間について実行される。以上の構成においては、第1インパルス応答の全部の畳込み演算と第2インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。
なお、以上の各態様における第1インパルス応答の第1部分は、第1インパルス応答のなかの任意の一部分である。ただし、インパルス応答のうち初期反射音を含む区間が特に残響音の印象を特徴づけるという傾向を考慮すると、第1インパルス応答のうち始点を含む所定長の区間が第1部分(例えば部分PA)として好適に選定される。第2インパルス応答についても同様であり、第2インパルス応答のうち始点を含む所定長の区間が第2部分(例えば部分NB)として好適である。
第1の態様または第2の態様に係る残響付与装置の具体例において、第1演算手段は、第1インパルス応答のうち第1部分以外の第2部分(例えば部分PB)を音響信号に畳込むことで残響信号を生成する第1畳込手段(例えば図9の畳込部312)と、第1畳込手段が生成した残響信号と第2演算手段が生成した第2残響信号とを加算することで第1残響信号を生成する第1加算手段(例えば図9の加算部314)とを含む。以上の態様においては、第1演算手段が第1インパルス応答の第2部分から生成した残響信号と第2演算手段が第1インパルス応答の第1部分から生成した第2残響信号とを加算することで第1残響信号が生成されるから、第1演算手段が第1インパルス応答の全部の畳込み演算を実行する構成と比較して、第1演算手段による演算量が軽減される。
第1の態様または第3の態様に係る残響付与装置の具体例において、第4演算手段は、第2インパルス応答のうち第1部分以外の第2部分(例えば部分NB)を音響信号に畳込むことで残響信号を生成する第2畳込手段(例えば図9の畳込部342)と、第2畳込手段が生成した残響信号と第3演算手段が生成した第3残響信号とを加算することで第4残響信号を生成する第2加算手段(例えば図9の加算部344)とを含む。以上の構成においては、第4演算手段が第2インパルス応答の第2部分から生成した残響信号と第3演算手段が第2インパルス応答の第1部分から生成した第3残響信号とを加算することで第4残響信号が生成されるから、第4演算手段が第2インパルス応答の全部の畳込み演算を実行する構成と比較して、第4演算手段による演算量が軽減される。
第1の態様から第3の態様に係る残響付与装置において、第1演算手段が、音響信号のうち第1区間の終点以前の区間(例えば図8の区間T1)のみから第1残響信号を生成する構成や、第4演算手段が、音響信号のうち第3区間の始点以後の区間(例えば図8の区間T4)のみから第4残響信号を生成する構成を採用すれば、第1演算手段や第4演算手段による演算量が軽減される。また、第1の態様または第2の態様における第2演算手段が、音響信号のうち第1区間の始点から第2区間の終点までの区間(例えば図8の区間T2)のみから第2残響信号を生成する構成や、第1の態様または第3の態様における第3演算手段が、音響信号のうち第2区間の始点から第3区間の終点までの区間(例えば図8の区間T3)のみから第3残響信号を生成する構成を採用すれば、第2演算手段や第3演算手段による演算量が軽減される。
また、以上の各態様に係る残響付与装置は、残響の付与に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。例えば第1の態様に係る残響付与装置を実現するためのプログラムは、音響信号のうち第1区間と当該第1区間の開始前とを含む区間に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算処理と、音響信号のうち第1区間の始点から当該第1区間の経過後の第2区間の終点までを含む区間に第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算処理と、音響信号のうち第2区間の始点から当該第2区間の経過後の第3区間の終点までを含む区間に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算処理と、音響信号のうち第3区間と当該第3区間の経過後とを含む区間に第2インパルス応答を畳込んだ第4残響信号を生成する第4演算処理と、第1残響信号から第2残響信号に遷移するように第1区間内で第1残響信号と第2残響信号とをクロスフェードする第1合成処理と、第2残響信号から第3残響信号に遷移するように第2区間内で第2残響信号と第3残響信号とをクロスフェードする第2合成処理と、第3残響信号から第4残響信号に遷移するように第3区間内で第3残響信号と第4残響信号とをクロスフェードする第3合成処理とをコンピュータに実行させる。第2の態様や第3の態様に係る残響付与装置についても同様に、コンピュータを残響付与装置として機能させるためのプログラムが特定される。本発明のプログラムによれば、以上の各態様に係る残響付与装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
<A:第1実施形態>
図1は、本発明の第1実施形態に係る残響付与装置のブロック図である。残響付与装置100には、音響(楽音や音声)の時間軸上の波形を表す音響信号VINが供給される。音響信号VINの供給元(図示略)は、例えば、周囲の音響に応じた音響信号VINを生成する収音機器や、記録媒体から音響信号VINを取得して出力する再生装置である。残響付与装置100は、音響信号VINに残響を付加した残響信号VOUTを生成および出力する。残響信号VOUTは、スピーカやヘッドホンなどの放音機器(図示略)に供給されることで音波として再生される。
図1は、本発明の第1実施形態に係る残響付与装置のブロック図である。残響付与装置100には、音響(楽音や音声)の時間軸上の波形を表す音響信号VINが供給される。音響信号VINの供給元(図示略)は、例えば、周囲の音響に応じた音響信号VINを生成する収音機器や、記録媒体から音響信号VINを取得して出力する再生装置である。残響付与装置100は、音響信号VINに残響を付加した残響信号VOUTを生成および出力する。残響信号VOUTは、スピーカやヘッドホンなどの放音機器(図示略)に供給されることで音波として再生される。
図1に示すように、残響付与装置100は、演算処理装置12と記憶装置14と入力装置16とで構成されるコンピュータシステムである。記憶装置14は、演算処理装置12が実行するプログラムや演算処理装置12が使用するデータを記憶する。半導体記憶装置や磁気記憶装置などの公知の記録媒体が記憶装置14として任意に採用される。記憶装置14は複数のインパルス応答H(H1,H2)を記憶する。各インパルス応答Hは、音響空間内でインパルス音を発生させたときの残響音の波形を表すサンプル系列(畳込み演算の係数列)である。音響的な特性(インパルス応答Hを採取した音響空間の特性)は各インパルス応答Hで相違する。
演算処理装置12は、記憶装置14に格納されたプログラムを実行することで各種の機能(畳込演算部22,波形合成部24)を実現する。本形態の演算処理装置12は、音響信号VINとインパルス応答Hとの畳込み演算を実行することで残響信号VOUTを生成する。音響信号VINに対する残響の付与(畳込み演算)に使用されるインパルス応答Hは、残響信号VOUTの生成中にインパルス応答H1からインパルス応答H2に変更される。したがって、残響信号VOUTの再生音の音響的な特性(周波数特性)は、インパルス応答H1に応じた特性からインパルス応答H2に応じた特性に変化する。なお、演算処理装置12の各要素を複数の集積回路に分散的に搭載した構成や、音響信号VINの処理に専用される電子回路(DSP)が各要素を実現する構成も採用される。
入力装置16は、残響付与装置100に対する指示の入力のために利用者が操作する操作子で構成される。例えば、利用者は、入力装置16を適宜に操作することで、記憶装置14に格納された複数のインパルス応答Hのなかから変更前のインパルス応答H1と変更後のインパルス応答H2とを選択する。さらに、利用者は、インパルス応答Hの変更(H1→H2)の指示(以下「変更指示」という)を入力装置16から入力する。
図1に示すように、演算処理装置12は、畳込演算部22および波形合成部24として機能する。畳込演算部22は、音響信号VINとインパルス応答Hとの畳込み演算を実行する。入力装置16に変更指示が付与されると、畳込演算部22は、変更前のインパルス応答H1と変更後のインパルス応答H2とを利用した畳込み演算で音響信号VINから複数の残響信号R(R1〜R4)を生成する。なお、変更指示が付与されない場合に演算処理装置12(畳込演算部22)が音響信号VINとインパルス応答Hとの畳込み演算で残響信号VOUTを生成する方法は公知の技術と同様であるから、以下の説明においては、変更指示が付与された場合の演算処理装置12の具体的な機能や作用を重点的に説明する。
図1の波形合成部24は、複数の残響信号R(R1〜R4)を時間軸に沿って連結することで残響信号VOUTを合成する。なお、畳込演算部22や波形合成部24による処理は周波数領域および時間領域の何れで実行されてもよい。畳込演算部22や波形合成部24による処理が周波数領域で実行される場合、音響信号VINやインパルス応答Hを周波数領域に変換する処理(例えばフーリエ変換)や時間領域の残響信号Rや残響信号VOUTを生成する処理(例えば逆フーリエ変換)が適切な時点で実行される。
図2は、畳込演算部22および波形合成部24の具体的な構成を示すブロック図である。図2に示すように、変更前のインパルス応答H1の始点から終点までの全区間P0は、時間軸に沿って部分PAと部分PBとに区分される。部分PAは、全区間P0の始点(インパルス応答H1の最初のサンプル)から所定の時間長にわたる区間であり、部分PBは、部分PAの終点から全区間P0の終点(インパルス応答H1の最後のサンプル)までの区間である。同様に、変更後のインパルス応答H2の始点から終点までの全区間N0は、始点を含む所定長の部分NAと部分NAに後続する部分NBとに区分される。例えば、初期反射音を豊富に含む区間が部分PAや部分NAとして選定され、後部残響音に相当する区間が部分PBや部分NBとして選定される。
図2に示すように、畳込演算部22は、演算部31と演算部32と演算部33と演算部34とを含んで構成される。演算部31は、音響信号VINにインパルス応答H1(部分PAと部分PBとで構成される全区間P0)を畳込むことで残響信号R1を生成する。一方、演算部32は、音響信号VINにインパルス応答H1の部分PAのみを畳込むことで残響信号R2を生成する。すなわち、演算部32による畳込み演算にインパルス応答H1の部分PBは使用されない。同様に、演算部33は、音響信号VINにインパルス応答H2の部分NAのみ(部分NBは使用しない)を畳込むことで残響信号R3を生成し、演算部34は、音響信号VINにインパルス応答H2(部分NAと部分NBとで構成される全区間N0)を畳込むことで残響信号R4を生成する。
図2に示すように、波形合成部24は、合成部41と合成部42と合成部43とを含んで構成される。合成部41は、演算部31が生成した残響信号R1と演算部32が生成した残響信号R2とを時間軸上で連結する。同様に、合成部42は残響信号R2と残響信号R3とを時間軸上で連結し、合成部43は残響信号R3と残響信号R4とを時間軸上で連結する。波形合成部24による連結後の信号が残響信号VOUTとして出力される。
図3は、畳込演算部22および波形合成部24の動作を説明するための概念図である。利用者が入力装置16に変更指示を付与すると、区間S1と区間S2と区間S3とが、例えば変更指示の時点を基準として音響信号VINに設定される。区間S2は区間S1の経過後の区間であり、区間S3は区間S2の経過後の区間である。変更指示の時点から各区間S(S1,S2,S3)の始点までの時間長や各区間Sの始点から終点までの時間長は、所定値(例えば利用者が入力装置16から指示した数値)に設定される。
最初に畳込演算部22の具体的な動作を説明する。図3に示すように、演算部31は、音響信号VINのうち区間S1と区間S1の開始前(区間S1の始点A1の手前)とを含む区間T1に対してインパルス応答H1(全区間P0)を畳込むことで残響信号R1を生成する。区間T1は、変更指示の付与前(例えば畳込演算部22の動作の開始時)から区間S1の経過後の時点tA2までの区間である。一方、演算部32は、音響信号VINのうち区間S1の始点A1から区間S2の終点B2までを含む区間T2に対してインパルス応答H1の部分PAを畳込むことで残響信号R2を生成する。区間T2は、区間S1の開始前の時点tA1から区間S2の経過後の時点tB2までの区間である。以上のように、演算部31による残響信号R1の生成(インパルス応答H1の畳込み)と演算部32による残響信号R2の生成(インパルス応答H1の部分PAの畳込み)とは、区間S1を含む時点tA1から時点tA2までの区間内で並列に実行される。したがって、残響信号R1と残響信号R2とは区間S1内で重複する。
また、図3に示すように、演算部33は、音響信号VINのうち区間S2の始点B1から区間S3の終点C2までを含む区間T3に対してインパルス応答H2の部分NAを畳込むことで残響信号R3を生成する。区間T3は、区間S2の開始前の時点tB1から区間S3の経過後の時点tC2までの区間である。したがって、図3に示すように、演算部32による残響信号R2の生成と演算部33による残響信号R3の生成(インパルス応答H2の部分NAの畳込み)とは、区間S2を含む時点tB1から時点tB2までの区間内で並列に実行される。すなわち、残響信号R2と残響信号R3とは区間S2内で重複する。
さらに、演算部34は、音響信号VINのうち区間S3と区間S3の経過後とを含む区間T4に対してインパルス応答H2(全区間N0)を畳込むことで残響信号R4を生成する。区間T4は、区間T3の開始前の時点tC1から区間S3の経過後にわたる区間である。したがって、図3に示すように、演算部33による残響信号R3の生成と演算部34による残響信号R4の生成(インパルス応答H2の畳込み)とは、区間S3を含む時点tC1から時点tC2までの区間内で並列に実行される。すなわち、残響信号R3と残響信号R4とは区間S3内で重複する。
次に、波形合成部24の具体的な動作を説明する。合成部41は、図3に示すように、残響信号R1から残響信号R2に円滑に遷移するように区間S1内で残響信号R1と残響信号R2とをクロスフェードする。すなわち、合成部41は、区間S1の始点A1から終点A2にかけて、残響信号R1の振幅を連続的に減少させる(例えば「1」から「0」に減少する係数を乗算する)とともに残響信号R2の振幅を連続的に増加させながら(例えば「0」から「1」に増加する係数を乗算する)、残響信号R1と残響信号R2とを加算する。
合成部41と同様に、合成部42は、残響信号R2から残響信号R3に円滑に遷移するように区間S2内で残響信号R2と残響信号R3とをクロスフェードし、合成部43は、残響信号R3から残響信号R4に円滑に遷移するように残響信号R3と残響信号R4とをクロスフェードする。以上のようにクロスフェードによって各残響信号Rを円滑に連結することで残響信号VOUTが生成されるから、残響信号VOUTの再生音は、区間S1や区間S2や区間S3における不連続感がない自然な印象の音響として受聴者に知覚される。
畳込演算部22および波形合成部24は以上のように動作するから、図3に示すように、残響信号VOUTは、区間S1の開始前の残響信号R1から、残響信号R2(時点A2〜時点B1)および残響信号R3(時点B2〜時点C1)への変化を経たうえで、区間S3の終点C2にて残響信号R4に変化する。すなわち、残響信号VOUTの生成に使用されるインパルス応答Hは、区間S1の始点A1から区間S3の終点C2にかけて、インパルス応答H1(全区間P0)からインパルス応答H1の部分PAとインパルス応答H2の部分NAとを経てインパルス応答H2(全区間N0)に段階的に変更される。図3に示すように、音響信号VINのうちインパルス応答H1の畳込みの対象となる区間T1とインパルス応答H2の畳込みの対象となる区間T4とは時間軸上で重複しない。
以上の形態においては、演算部31がインパルス応答H1(全区間P0)の畳込み演算を実行する時点tA1から時点tA2までの区間内において、演算部32はインパルス応答H1の部分PAのみを利用した畳込み演算を並列に実行する。同様に、演算部34がインパルス応答H2(全区間N0)の畳込み演算を実行する時点tC1から時点tC2までの区間内において、演算部33はインパルス応答H2の部分NAのみを利用した畳込み演算を並列に実行する。また、時点tB1から時点tB2までの区間においては、インパルス応答H1の部分PAの畳込み演算(演算部32)とインパルス応答H2の部分NAの畳込み演算(演算部33)とが並列に実行される。以上のように本形態においては、インパルス応答H1の全区間P0の畳込み演算とインパルス応答H2の全区間N0の畳込み演算とを音響信号VINの共通の区間に対して並列に実行する必要がないから、図10に例示した特許文献1の技術と比較して、インパルス応答Hの変更時(特に区間S1,区間S2,区間S3)における演算処理装置12の演算量が軽減されるという利点がある。
なお、区間S1の終点A2から区間S3の始点C1までの区間においては、インパルス応答Hの一部(部分PAまたは部分NA)のみの畳込み演算で残響信号VOUTが生成される。すなわち、インパルス応答H1やインパルス応答H2の後部残響音(部分PBおよび部分NB)は使用されない。しかし、部分PAや部分NAのみが使用される区間の残響信号VOUTは音響的な特性が変化する過程にあるから、インパルス応答Hの後部残響音が残響信号VOUTに付加されないとは言っても、聴感上の違和感は受聴者に殆ど知覚されない。
<B:第2実施形態>
次に、本発明の第2実施形態について説明する。なお、以下の各形態において第1実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
次に、本発明の第2実施形態について説明する。なお、以下の各形態において第1実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
図4は、畳込演算部22および波形合成部24のブロック図である。図4に示すように、本形態の畳込演算部22においては第1実施形態の演算部33が省略される。演算部34は、インパルス応答H2(全区間N0)を音響信号VINに畳込むことで残響信号R4を生成する。したがって、インパルス応答H2は部分NAと部分NBとに区分されない。
波形合成部24は合成部41と合成部42とで構成される。合成部41は、第1実施形態と同様に残響信号R1と残響信号R2とを合成(連結)する。合成部42は、演算部32が生成した残響信号R2と演算部34が生成した残響信号R4とを合成する。
図5は、畳込演算部22および波形合成部24の動作を説明するための概念図である。変更指示を契機として音響信号VINには区間S1と区間S2とが設定される。図5に示すように、演算部31が音響信号VINの区間T1とインパルス応答H1(全区間P0)との畳込み演算で残響信号R1を生成する動作や、演算部32が音響信号VINの区間T2とインパルス応答H1の部分PAとの畳込み演算で残響信号R2を生成する動作は第1実施形態と同様である。
一方、演算部34は、音響信号VINのうち区間S2と区間S2の経過後とを含む区間T4にインパルス応答H2(全区間N0)を畳込むことで残響信号R4を生成する。区間T4は、区間S2の開始前の時点tB1から区間S2の経過後にわたる区間である。以上のように演算部32による残響信号R2の生成と演算部34による残響信号R4の生成とは、時点tB1から時点tB2までの区間内で並列に実行されるから、残響信号R2と残響信号R4とは区間S2内で重複する。
図5に示すように、合成部41は、第1実施形態と同様に、区間S1内のクロスフェードで残響信号R1と残響信号R2とを連結する。一方、合成部42は、残響信号R2から残響信号R4に円滑に遷移するように区間S2内で残響信号R2と残響信号R4とをクロスフェードする。したがって、残響信号VOUTの生成に使用されるインパルス応答Hは、区間S1の始点A1から区間S2の終点B2にかけて、インパルス応答H1(全区間P0)からインパルス応答H1の部分PAを経てインパルス応答H2(全区間N0)に段階的に変更される。図5に示すように、音響信号VINのうちインパルス応答H1が畳込まれる区間T1とインパルス応答H2が畳込まれる区間T4とは時間軸上で重複しない。
以上の形態において、演算部31によるインパルス応答H1(全区間P0)の畳込み演算や演算部34によるインパルス応答H2(全区間N0)の畳込み演算と並列に実行されるのは、演算部32によるインパルス応答H1の部分PAの畳込み演算であるから、インパルス応答H1の全区間P0の畳込み演算とインパルス応答H2の全区間N0の畳込み演算とを並列に実行する必要はない。したがって、第1実施形態と同様の効果が実現される。
<C:第3実施形態>
図6は、本発明の第3実施形態における畳込演算部22および波形合成部24のブロック図である。図6に示すように、本形態の畳込演算部22においては第1実施形態の演算部32が省略される。また、インパルス応答H1は部分PAと部分PBとに区分されない。一方、波形合成部24は、残響信号R1に残響信号R3を連結する合成部41と、残響信号R3に残響信号R4を連結する合成部42とで構成される。
図6は、本発明の第3実施形態における畳込演算部22および波形合成部24のブロック図である。図6に示すように、本形態の畳込演算部22においては第1実施形態の演算部32が省略される。また、インパルス応答H1は部分PAと部分PBとに区分されない。一方、波形合成部24は、残響信号R1に残響信号R3を連結する合成部41と、残響信号R3に残響信号R4を連結する合成部42とで構成される。
図7は、畳込演算部22および波形合成部24の動作を説明するための概念図である。変更指示を契機として音響信号VINには区間S1と区間S3とが設定される。図7に示すように、演算部31が音響信号VINの区間T1とインパルス応答H1(全区間P0)とから残響信号R1を生成する動作や、演算部34が音響信号VINの区間T4とインパルス応答H2(全区間N0)とから残響信号R4を生成する動作は第1実施形態と同様である。
演算部33は、音響信号VINのうち区間S1と区間S3とを含む区間T3(区間S1の開始前の時点tA1から区間S3の経過後の時点tC2までの区間)にインパルス応答H2の部分NAを畳込むことで残響信号R3を生成する。以上のように、時点tA1から時点tC2までの区間(区間S1)内では、演算部31による残響信号R1の生成と演算部33による残響信号R3の生成とが並列に実行されるから、残響信号R1と残響信号R3とは区間S1内で重複する。
図7に示すように、合成部41は、残響信号R1から残響信号R3に円滑に遷移するように区間S1内で残響信号R1と残響信号R3とをクロスフェードする。一方、合成部42は、区間S3内のクロスフェードで残響信号R3と残響信号R4とを連結する。したがって、残響信号VOUTの生成に使用されるインパルス応答Hは、区間S1の始点A1から区間S3の終点C2にかけて、インパルス応答H1(全区間P0)からインパルス応答H2の部分NAを経てインパルス応答H2(全区間N0)に段階的に変更される。図7に示すように、音響信号VINのうちインパルス応答H1が畳込まれる区間T1とインパルス応答H2が畳込まれる区間T4とは時間軸上で重複しない。
以上のように、インパルス応答H1(全区間P0)やインパルス応答H2(全区間N0)の畳込み演算と並列に実行されるのは、演算部33によるインパルス応答H2の部分NAの畳込み演算であるから、インパルス応答H1の全区間P0の畳込み演算とインパルス応答H2の全区間N0の畳込み演算とを並列に実行する必要はない。したがって、第1実施形態と同様の効果が実現される。
<D:第4実施形態>
図8は、本発明の第4実施形態の動作を説明するための概念図である。図8に示すように、波形合成部24によるクロスフェードの対象となる各区間S(S1〜S3)の始点や終点を端点として音響信号VINの各区間T(T1〜T4)が設定される。例えば、演算部31は、音響信号VINのうち区間S1の終点A2を終点(図3における時点tA2)とする区間T1のみを対象としたインパルス応答H1の畳込み演算で残響信号R1を生成する。すなわち、音響信号VINのうち区間S1(時点A2)の経過後の区間についてはインパルス応答H1(全区間P0)の畳込み演算は実行されない。同様に、演算部34は、音響信号VINのうち区間S3の始点C1から開始する区間T4のみを対象としたインパルス応答H2の畳込み演算で残響信号R4を生成する。
図8は、本発明の第4実施形態の動作を説明するための概念図である。図8に示すように、波形合成部24によるクロスフェードの対象となる各区間S(S1〜S3)の始点や終点を端点として音響信号VINの各区間T(T1〜T4)が設定される。例えば、演算部31は、音響信号VINのうち区間S1の終点A2を終点(図3における時点tA2)とする区間T1のみを対象としたインパルス応答H1の畳込み演算で残響信号R1を生成する。すなわち、音響信号VINのうち区間S1(時点A2)の経過後の区間についてはインパルス応答H1(全区間P0)の畳込み演算は実行されない。同様に、演算部34は、音響信号VINのうち区間S3の始点C1から開始する区間T4のみを対象としたインパルス応答H2の畳込み演算で残響信号R4を生成する。
また、演算部32は、音響信号VINのうち区間S1の始点A1から区間S2の終点B2までの区間のみを対象としてインパルス応答H1の部分PAの畳込み演算を実行することで残響信号R2を生成する。すなわち、音響信号VINのうち区間S1(時点A1)の開始前や区間S2(時点B2)の経過後の区間については部分PAの畳込み演算は実行されない。同様に、演算部33は、音響信号VINのうち区間S2の始点B1から区間S3の終点C2までの区間のみを対象としてインパルス応答H2の部分NAの畳込み演算を実行することで残響信号R3を生成する。
以上の形態においては、音響信号VINのうち波形合成部24による合成に必要な区間のみを対象として畳込演算部22による畳込み演算が実行されるから、波形合成部24によるフェードアウトの完了後の区間(例えば図3における時点A2〜時点tA2,時点B2〜時点tB2,時点C2〜時点tC2)やフェードインの開始前の区間(例えば図3における時点tA1〜時点A1,時点tB1〜時点B1,時点tC1〜時点C1)についても畳込み演算を実行する第1実施形態と比較して、畳込演算部22による演算量が軽減されるという利点がある。
なお、以上においては第1実施形態を変形した態様を例示したが、音響信号VINのうち残響信号VOUTの生成に必要な区間のみを対象として畳込演算部22による畳込み演算を実行する本形態の構成は、第2実施形態や第3実施形態にも同様に適用される。
<E:第5実施形態>
図9は、本発明の第5実施形態おける畳込演算部22および波形合成部24のブロック図である。図9に示すように、畳込演算部22の演算部31は、畳込部312と加算部314とで構成される。畳込部312は、インパルス応答H1の部分PBのみを音響信号VINに畳込むことで残響信号r1を生成する。加算部314は、演算部32が生成した残響信号R2と畳込部312が生成した残響信号r1とを加算することで残響信号R1を生成する。残響信号R2は音響信号VINとインパルス応答H1の部分PAとの畳込み演算で生成されるから、残響信号R1は、第1実施形態と同様に、部分PAと部分PBとで構成されるインパルス応答H1(全区間P0)を音響信号VINに畳込んだ信号に相当する。
図9は、本発明の第5実施形態おける畳込演算部22および波形合成部24のブロック図である。図9に示すように、畳込演算部22の演算部31は、畳込部312と加算部314とで構成される。畳込部312は、インパルス応答H1の部分PBのみを音響信号VINに畳込むことで残響信号r1を生成する。加算部314は、演算部32が生成した残響信号R2と畳込部312が生成した残響信号r1とを加算することで残響信号R1を生成する。残響信号R2は音響信号VINとインパルス応答H1の部分PAとの畳込み演算で生成されるから、残響信号R1は、第1実施形態と同様に、部分PAと部分PBとで構成されるインパルス応答H1(全区間P0)を音響信号VINに畳込んだ信号に相当する。
演算部31と同様に、演算部34は、畳込部342と加算部344とで構成される。畳込部342は、音響信号VINにインパルス応答H2の部分NBのみを畳込むことで残響信号r4を生成する。加算部344は、演算部33がインパルス応答H2の部分NAから生成した残響信号R3に残響信号r4を加算することで残響信号R4を生成する。したがって、残響信号R4は、第1実施形態と同様に、インパルス応答H2の全区間N0を音響信号VINに畳込んだ信号に相当する。
以上の形態においては、演算部31での畳込み演算の対象がインパルス応答H1の部分PBに縮小され、演算部34での畳込み演算の対象がインパルス応答H2の部分NBに縮小される。したがって、演算部31や演算部34による畳込み演算にインパルス応答(H1,H2)の全部が使用される第1実施形態と比較して、演算部31や演算部34の演算量が軽減されるという利点がある。
なお、以上においては第1実施形態を変形した態様を例示したが、演算部31が畳込部312と加算部314とを含む構成は第2実施形態にも同様に適用され、演算部34が畳込部342と加算部344とを含む構成は第3実施形態にも同様に適用される。また、第4実施形態にも第5実施形態は適用される。
<F:変形例>
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から2以上の態様を任意に選択して組合せてもよい。
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から2以上の態様を任意に選択して組合せてもよい。
(1)変形例1
以上の各形態においては、フェードアウトやフェードインの対象となる残響信号R(R1〜R4)の振幅を直線的かつ連続的に増減させたが、各残響信号Rの振幅を曲線的(非線形)に増加または減少させるクロスフェードや、各残響信号Rの振幅を段階的に増加または減少させるクロスフェードも採用される。
以上の各形態においては、フェードアウトやフェードインの対象となる残響信号R(R1〜R4)の振幅を直線的かつ連続的に増減させたが、各残響信号Rの振幅を曲線的(非線形)に増加または減少させるクロスフェードや、各残響信号Rの振幅を段階的に増加または減少させるクロスフェードも採用される。
(2)変形例2
以上の構成においては利用者による変更指示を契機としてインパルス応答Hの変更を実行したが、インパルス応答Hを変更するための契機は本発明において任意である。例えば、インパルス応答Hの変更の時点と変更後のインパルス応答H2とを時系列に指定するデータを記憶装置14から順次に取得してインパルス応答Hの変更に利用する構成も好適である。
以上の構成においては利用者による変更指示を契機としてインパルス応答Hの変更を実行したが、インパルス応答Hを変更するための契機は本発明において任意である。例えば、インパルス応答Hの変更の時点と変更後のインパルス応答H2とを時系列に指定するデータを記憶装置14から順次に取得してインパルス応答Hの変更に利用する構成も好適である。
(3)変形例3
以上の各形態においては、インパルス応答H(H1,H2)の始点から所定長にわたる区間を部分PAや部分NAとしたが、部分PAや部分NAの選定の条件は適宜に変更される。例えば、インパルス応答H(H1,H2)の始点から遅延した時点を始点として部分PAや部分NAを抽出した構成も採用される。すなわち、演算部32が使用する部分PAや演算部33が使用する部分NAはインパルス応答H(H1,H2)の一部であれば足り、部分PAまたは部分NAの位置や時間長は本発明において任意である。
以上の各形態においては、インパルス応答H(H1,H2)の始点から所定長にわたる区間を部分PAや部分NAとしたが、部分PAや部分NAの選定の条件は適宜に変更される。例えば、インパルス応答H(H1,H2)の始点から遅延した時点を始点として部分PAや部分NAを抽出した構成も採用される。すなわち、演算部32が使用する部分PAや演算部33が使用する部分NAはインパルス応答H(H1,H2)の一部であれば足り、部分PAまたは部分NAの位置や時間長は本発明において任意である。
100……残響付与装置、12……演算処理装置、14……記憶装置、16……入力装置、22……畳込演算部、24……波形合成部、31,32,33,34……演算部、41,42,43……合成部、312,342……畳込部、314,344……加算部、VIN……音響信号、VOUT……残響信号、R(R1,R2,R3,R4)……残響信号、H……インパルス応答、H1……変更前のインパルス応答、H2……変更後のインパルス応答、PA,PB……変更前のインパルス応答の部分、NA,NB……変更後のインパルス応答の部分。
Claims (10)
- 音響信号のうち第1区間と当該第1区間の開始前とを含む区間に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、
前記音響信号のうち前記第1区間の始点から当該第1区間の経過後の第2区間の終点までを含む区間に前記第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算手段と、
前記音響信号のうち前記第2区間の始点から当該第2区間の経過後の第3区間の終点までを含む区間に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算手段と、
前記音響信号のうち前記第3区間と当該第3区間の経過後とを含む区間に前記第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、
前記第1残響信号から前記第2残響信号に遷移するように前記第1区間内で前記第1残響信号と前記第2残響信号とをクロスフェードする第1合成手段と、
前記第2残響信号から前記第3残響信号に遷移するように前記第2区間内で前記第2残響信号と前記第3残響信号とをクロスフェードする第2合成手段と、
前記第3残響信号から前記第4残響信号に遷移するように前記第3区間内で前記第3残響信号と前記第4残響信号とをクロスフェードする第3合成手段と
を具備する残響付与装置。 - 音響信号のうち第1区間と当該第1区間の開始前とを含む区間に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、
前記音響信号のうち前記第1区間の始点から当該第1区間の経過後の第2区間の終点までを含む区間に前記第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算手段と、
前記音響信号のうち前記第2区間と当該第2区間の経過後とを含む区間に第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、
前記第1残響信号から前記第2残響信号に遷移するように前記第1区間内で前記第1残響信号と前記第2残響信号とをクロスフェードする第1合成手段と、
前記第2残響信号から前記第4残響信号に遷移するように前記第2区間内で前記第2残響信号と前記第4残響信号とをクロスフェードする第2合成手段と
を具備する残響付与装置。 - 音響信号のうち第1区間と当該第1区間の開始前とを含む区間に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算手段と、
前記音響信号のうち前記第1区間の始点から当該第1区間の経過後の第3区間の終点までを含む区間に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算手段と、
前記音響信号のうち前記第3区間と当該第3区間の経過後とを含む区間に前記第2インパルス応答を畳込んだ第4残響信号を生成する第4演算手段と、
前記第1残響信号から前記第3残響信号に遷移するように前記第1区間内で前記第1残響信号と前記第3残響信号とをクロスフェードする第1合成手段と、
前記第3残響信号から前記第4残響信号に遷移するように前記第3区間内で前記第3残響信号と前記第4残響信号とをクロスフェードする第2合成手段と
を具備する残響付与装置。 - 前記第1演算手段は、
前記第1インパルス応答のうち前記第1部分以外の第2部分を前記音響信号に畳込むことで残響信号を生成する第1畳込手段と、
前記第1畳込手段が生成した残響信号と前記第2演算手段が生成した前記第2残響信号とを加算することで前記第1残響信号を生成する第1加算手段とを含む
請求項1または請求項2の残響付与装置。 - 前記第4演算手段は、
前記第2インパルス応答のうち前記第1部分以外の第2部分を前記音響信号に畳込むことで残響信号を生成する第2畳込手段と、
前記第2畳込手段が生成した残響信号と前記第3演算手段が生成した前記第3残響信号とを加算することで前記第4残響信号を生成する第2加算手段とを含む
請求項1または請求項3の残響付与装置。 - 前記第1演算手段は、前記音響信号のうち前記第1区間の終点以前の区間のみから前記第1残響信号を生成する
請求項1から請求項3の何れかの残響付与装置。 - 前記第2演算手段は、前記音響信号のうち前記第1区間の始点から前記第2区間の終点までの区間のみから前記第2残響信号を生成する
請求項1または請求項2の残響付与装置。 - 前記第3演算手段は、前記音響信号のうち前記第2区間の始点から前記第3区間の終点までの区間のみから前記第3残響信号を生成する
請求項1または請求項3の残響付与装置。 - 前記第4演算手段は、前記音響信号のうち前記第3区間の始点以後の区間のみから前記第4残響信号を生成する
請求項1から請求項3の何れかの残響付与装置。 - 音響信号のうち第1区間と当該第1区間の開始前とを含む区間に第1インパルス応答を畳込んだ第1残響信号を生成する第1演算処理と、
前記音響信号のうち前記第1区間の始点から当該第1区間の経過後の第2区間の終点までを含む区間に前記第1インパルス応答の第1部分を畳込んだ第2残響信号を生成する第2演算処理と、
前記音響信号のうち前記第2区間の始点から当該第2区間の経過後の第3区間の終点までを含む区間に第2インパルス応答の第1部分を畳込んだ第3残響信号を生成する第3演算処理と、
前記音響信号のうち前記第3区間と当該第3区間の経過後とを含む区間に前記第2インパルス応答を畳込んだ第4残響信号を生成する第4演算処理と、
前記第1残響信号から前記第2残響信号に遷移するように前記第1区間内で前記第1残響信号と前記第2残響信号とをクロスフェードする第1合成処理と、
前記第2残響信号から前記第3残響信号に遷移するように前記第2区間内で前記第2残響信号と前記第3残響信号とをクロスフェードする第2合成処理と、
前記第3残響信号から前記第4残響信号に遷移するように前記第3区間内で前記第3残響信号と前記第4残響信号とをクロスフェードする第3合成処理と
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184660A JP5169566B2 (ja) | 2008-07-16 | 2008-07-16 | 残響付与装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184660A JP5169566B2 (ja) | 2008-07-16 | 2008-07-16 | 残響付与装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010026044A JP2010026044A (ja) | 2010-02-04 |
JP5169566B2 true JP5169566B2 (ja) | 2013-03-27 |
Family
ID=41731969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008184660A Expired - Fee Related JP5169566B2 (ja) | 2008-07-16 | 2008-07-16 | 残響付与装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5169566B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022045086A (ja) * | 2020-09-08 | 2022-03-18 | 株式会社スクウェア・エニックス | 残響を求めるためのシステム |
JP2023120129A (ja) * | 2022-02-17 | 2023-08-29 | ヤマハ株式会社 | 情報処理方法、情報処理システムおよびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0769690B2 (ja) * | 1988-02-03 | 1995-07-31 | ヤマハ株式会社 | 効果付与装置 |
JP2616194B2 (ja) * | 1990-09-21 | 1997-06-04 | ヤマハ株式会社 | 実時間音場制御装置 |
JP3722335B2 (ja) * | 1998-02-17 | 2005-11-30 | ヤマハ株式会社 | 残響付加装置 |
JP3786036B2 (ja) * | 2002-03-12 | 2006-06-14 | ヤマハ株式会社 | 残響付与装置、残響付与方法、プログラムおよび記録媒体 |
JP4127094B2 (ja) * | 2003-03-26 | 2008-07-30 | ヤマハ株式会社 | 残響音生成装置およびプログラム |
JP2005345979A (ja) * | 2004-06-07 | 2005-12-15 | Nippon Hoso Kyokai <Nhk> | 残響信号付加装置 |
-
2008
- 2008-07-16 JP JP2008184660A patent/JP5169566B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010026044A (ja) | 2010-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7612281B2 (en) | Reverberation effect adding device | |
CN103137136B (zh) | 声音处理装置 | |
JP2010249940A5 (ja) | ||
JP6511775B2 (ja) | 残響音付加装置 | |
WO2006070768A1 (ja) | オーディオ波形処理装置、方式およびプログラム | |
JP4127094B2 (ja) | 残響音生成装置およびプログラム | |
JP4702392B2 (ja) | 共鳴音発生装置および電子楽器 | |
Välimäki et al. | Creating endless sounds | |
JP4416244B2 (ja) | 音程変換装置 | |
JP2819533B2 (ja) | 楽音信号発生装置 | |
JP6724828B2 (ja) | フィルタ演算処理装置、フィルタ演算方法、及び効果付与装置 | |
JP5169566B2 (ja) | 残響付与装置およびプログラム | |
JP5104553B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
JP5651945B2 (ja) | 音響処理装置 | |
JP5434120B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
WO2022202341A1 (ja) | 音編集装置、音編集方法および音編集プログラム | |
JP5169584B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
JP7147804B2 (ja) | 効果付与装置、方法、およびプログラム | |
JP5169533B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
JP4868042B2 (ja) | データ変換装置およびデータ変換プログラム | |
JP4548516B2 (ja) | Firフィルタ装置、音響装置およびfirフィルタプログラム | |
JP5310064B2 (ja) | インパルス応答加工装置、残響付与装置およびプログラム | |
JP5092902B2 (ja) | Firフィルタ係数算出装置、firフィルタ装置、および、firフィルタ係数算出プログラム | |
JP5035388B2 (ja) | 共鳴音発生装置および電子楽器 | |
JPS5936273B2 (ja) | 素片編集型音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
LAPS | Cancellation because of no payment of annual fees |