JP4359499B2 - オーディオ信号の編集 - Google Patents

オーディオ信号の編集 Download PDF

Info

Publication number
JP4359499B2
JP4359499B2 JP2003504390A JP2003504390A JP4359499B2 JP 4359499 B2 JP4359499 B2 JP 4359499B2 JP 2003504390 A JP2003504390 A JP 2003504390A JP 2003504390 A JP2003504390 A JP 2003504390A JP 4359499 B2 JP4359499 B2 JP 4359499B2
Authority
JP
Japan
Prior art keywords
audio signal
signal
parameter
transient
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003504390A
Other languages
English (en)
Other versions
JP2004538502A (ja
Inventor
アルノルダス ダブリュー ジェイ オーメン
デ ケルクホフ レオン エム ヴァン
Original Assignee
アイピージー エレクトロニクス 503 リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイピージー エレクトロニクス 503 リミテッド filed Critical アイピージー エレクトロニクス 503 リミテッド
Publication of JP2004538502A publication Critical patent/JP2004538502A/ja
Application granted granted Critical
Publication of JP4359499B2 publication Critical patent/JP4359499B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、オーディオ信号の編集に関する。
【0002】
【従来の技術】
一般に変換コーダにおいて、入力されるオーディオ信号は、各々がヘッダ及び1つ以上のセグメントを含む1つ以上のフレームを有するビットストリームに符号化される。エンコーダは信号を所与のサンプリング周波数で得られるサンプルのブロックに分割し、これらブロックは、所与のセグメントについて信号のスペクトル特性を識別するために周波数領域に変換される。結果として生じる係数は、最高精度で伝送されるのではなく、より低い精度の代わりに、ワード長の節減、よって圧縮が達成されるように量子化される。デコーダは、逆変換を実行して、オリジナルに対してより高い、シェーピングされたノイズフロアを有する種類の信号を生じる。
【0003】
例えば、オリジナルの信号をスプライスし他の信号を含ませるか又は単にオリジナルの信号の一部を除去することによりオーディオ信号を編集することは、多くの場合望ましい。オーディオ信号が圧縮フォーマットで表される場合には、編集された信号に損失の大きな再圧縮が実行される前にまず、オリジナルのオーディオ信号が他の時間領域信号とスプライスされることができるようにこのオリジナルのオーディオ信号を時間領域に復元することは望ましくない。これは一般的に、オーディオ信号のオリジナルの一部におけるより低い品質という結果を生じる。このため、ビットストリーム圧縮データの編集は、圧縮フォーマットと関連したフレームを基準として通常行われ、編集位置はフレーム境界に設けられる。このため、オリジナルの信号品質は新規な信号の挿入によって影響を受けない。
【0004】
従って、編集の精度は、典型的に約100ミリ秒の解像度を有するフレームサイズに関係する。(前にあるフレームヘッダのため)より高いビットレート要件を有する単一のセグメントフレームが用いられる場合であっても、得られる精度はせいぜいセグメントのサイズ(解像度約10ミリ秒)である。
【0005】
よって、細かいグリッド編集を可能にするためには、フレームは適切に短くなくてはならない。短いフレームの欠点は、例えばフレームヘッダに関わる、前に存在する過剰なフレーム、及び、連続したフレーム間の冗長度が最大限度に利用されることができないためより高いビットレートをもたらすという事実である。
【0006】
【発明が解決しようとする課題】
よって、効率的な符号化のためには大きいフレームが所望であるのに対し、編集性に関しては短いフレームが所望である。残念なことに、これらの見地は対立するものである。
【0007】
【課題を解決するための手段】
2000年3月15日出願の欧州特許出願第00200939.7号(代理人参照番号:PH-NL000120)において説明される種類の正弦波コーダにおいて、ダイナミックレンジの急激な変化の位置であるいわゆる過渡位置を規定することが可能である。典型的に、過渡位置で、ダイナミックレンジの急激な変化が観察され、過渡波形として合成される。
【0008】
適応的フレーム化が使用される場合、信号の残りの正弦波成分及びノイズ成分の合成のためのセグメント化が過渡波形の位置から算出される。
【0009】
本発明によれば、符号化されたオーディオストリームによって表されるオリジナルのオーディオ信号を編集する方法であって、前記符号化されたオーディオストリームは複数のフレームを有し、前記フレームの各々はヘッダ及び1つ以上のセグメントを含み、前記セグメントの各々は前記オリジナルのオーディオ信号を表すパラメータを含んでいる方法において、前記オリジナルのオーディオ信号の時間的瞬間に対応する編集位置を決定するステップと、前記時間的瞬間が組み込まれている期間に亘って前記オリジナルのオーディオ信号を表す目標フレームに、前記時間的瞬間における過渡を表すパラメータと前記パラメータが編集位置を表す指示子とを挿入するステップと、編集されたオーディオ信号を表すと共に前記目標フレームを含む、符号化されたオーディオストリームを生成するステップと、を有する方法が提供される。
【0010】
好ましい実施例において、正弦波符号化に関連した編集について、比較的長いフレームを高いサブフレーム精度で編集する方法が開示される。このような高精度の編集方法を提供するために、前もって符号化されていた信号において編集位置が所望される位置に、いわゆる過渡位置が適用されることができる。この追加は、例えばオーディオ編集アプリケーションによって何らかの後処理として行われる。過渡位置を編集位置として使用する利点は、従来技術のシステムにおいては、編集位置は、例えば100ミリ秒毎に発生するフレーム境界に制限されるのに対し、信号が、原理的にはサンプル解像精度で過渡位置において突然終了又は開始することができるということである。
【0011】
それどころか、本発明は編集位置を規定するのに過渡位置を「濫用する」。これらの位置では過渡波形は生成されないため、これらの編集過渡位置は事実上一種の疑似過渡状態である。
【0012】
本発明は、従来技術の適応的フレーム化とは以下の点で異なる。即ち、適応的フレーム化においてはフレーム化が過渡位置に従い決定される(従ってフレームの細分割は2つの連続した過渡位置間で行われる)という点である。本発明は、所与のフレーム化が(編集位置で)所望であり、過渡位置が該所望のフレーム化として規定されるという点で異なる。実際は、本発明は適応的フレーム化と共にでも又は共にでなくても動作することができる。
【0013】
本発明の実施例が、ここで、添付の図面を参照して説明される。
【0014】
【発明の実施の形態】
本発明の好ましい実施例(図1)において、編集されるべきオーディオ信号は、まず最初に、2000年3月15日出願の欧州特許出願第00200939.7号(代理人参照番号:PH-NL000120)において説明される種類の正弦波コーダによって生成される。以前の場合において、オーディオコーダ1は、特定のサンプリング周波数で入力オーディオ信号をサンプリングし、オーディオ信号のデジタル表現x(t)を生じさせる。これにより、サンプリングレートに依存する時間的尺度tが生じる。コーダ1は、次に、サンプリングされた入力信号を過渡信号成分、持続決定的成分及び持続確率的成分の3つの成分に分ける。オーディオコーダ1は、過渡コーダ11、正弦波コーダ13及びノイズコーダ14を有する。オーディオコーダは、随意に利得圧縮機構(GC)12を有する。
【0015】
この場合、過渡符号化は持続符号化の前に実行される。本実施例において、過渡信号成分は持続コーダにおいてより非効率的に符号化されると実験によって示されているので、これは有利である。もし持続コーダが過渡信号成分を符号化するために使用されると、多くの符号化努力が必要となる。例えば、過渡信号成分を持続正弦波のみで符号化することが困難であることは想像することができるであろう。従って、過渡信号成分を、符号化されるべきオーディオ信号から符号化前に除去することは、有利である。上記過渡コーダにおいて抽出される過渡開始位置は、持続コーダにおいて適応的セグメント化(適応的フレーム化)に使用されてよいことも理解されるであろう。
【0016】
しかしながら、本発明は、欧州特許出願第00200939.7号に開示される過渡符号化の特定の使用に制限されてはおらず、これは、説明の目的のみのために提供される。
【0017】
過渡コーダ11は、過渡検出器(TD)110、過渡解析器(TA)111及び過渡合成器(TS)112を有する。まず、信号x(t)が過渡検出器110に入る。この検出器110は、過渡信号成分が存在するかということと、その位置とを推定する。この情報は、過渡解析器111に供給され、更に、信号により誘起された適応的セグメント化を得るために、正弦波コーダ13及びノイズコーダ14においても使用されてよい。過渡信号成分の位置が決定されたら、過渡解析器111は、該過渡信号成分(の主要部分)を抽出するよう試みる。該解析器は形状関数を、好ましくは推定された開始位置で始まる信号セグメントと整合し、該形状関数の下の内容を、例えば(少)数の正弦波成分を使用することにより決定する。この情報は過渡コードCTに含まれ、過渡コードCTを生成することに関するより詳細な情報は欧州特許出願第00200939.7号において提供される。いずれにせよ、例えば、過渡解析器が形状関数のようなメイクスナ(Meixner)を使用する場合、過渡コードCTが、過渡正弦波成分における周波数、振幅及び位相データと同様に、過渡が開始する位置と、最初のアタックレートを実質的に表すパラメータと、ディケイレートを実質的に表すパラメータと、を有することが分かるであろう。
【0018】
コーダ1によって生じるビットストリームが、該ビットストリームを生成するのに用いられるサンプリング周波数とは独立してデコーダによって合成されることになっている場合、開始位置は、例えば、フレーム中のサンプル数よりむしろ時間値として伝送されるべきであり、正弦波周波数は、絶対値として又は絶対値を表す識別子を使用して伝送されるべきであって、変換サンプリング周波数からのみ導き出せる値又はこれに比例する値として伝送されるべきではない。他の従来技術のシステムにおいては、後者の選択肢が、離散値であり、符号化及び圧縮が直観的により容易であるため、通常選択される。しかしこれは、デコーダが、オーディオ信号を再生するためにサンプリング周波数を再生することが可能であることを必要とする。
【0019】
欧州特許出願第00200939.7号に、過渡信号成分が振幅包絡線におけるステップ状の変化である場合、過渡形状関数は更にステップ指示を含んでよいことが開示されている。また本発明はどちらの実施態様にも限られていないが、ステップ状の変化の位置は、サンプリング周波数に関係しているサンプル番号よりむしろ時間値として符号化されてもよい。
【0020】
過渡コードCTは、過渡合成器112に供給される。合成された過渡信号成分は減算器16において入力信号x(t)から減じられ、信号x1を生じる。GC 12が省略されるとき、x1 = x2である。信号x2は、正弦波コーダ13に供給され、ここで正弦波解析器(SA)130により解析され、該SA130が、(決定的)正弦波成分を決定する。結果として生じる情報は正弦波コードCSに含まれる。典型的な正弦波コードCSの生成を示しているより詳細な例は、PCT特許出願第WO00/79579-A1号(代理人参照番号:PHN 017502)において提供される。あるいは、基本実施態様は、1986年の「IEEE Trans. Acoust., Speech, Signal Process.」43の744-754ページのR. McAulay及びT. Quartieriによる「Speech analysis/synthesis based on sinusoidal representation」、又は1996年の「Technical note MPEG95/0414r, Int. Organisation for Standardisation ISO/IEC JTC1/SC29/WG11」のB. Edler, H. Purnhagen及びC. Ferekidisによる「Technical description of the MPEG-4 audio-coding proposal from the University of Hannover and Deutsche Bundespost Telekom AG (revised)」に開示される。
【0021】
しかし、要するに、好ましい実施例の正弦波コーダは、入力信号x2を、1つのフレームセグメントから次までリンクされる正弦波成分のトラックとして符号化する。トラックは、最初に、与えられたセグメントにおいて開始する正弦波の開始周波数、開始振幅及び開始位相によって表される(誕生)。その後ではトラックは、後続するセグメントにおいて、周波数差、振幅差及び場合によっては位相差によって表され(継続)、これは、トラックが終了するセグメント(死亡)まで続く。実際問題として、位相差を符号化することにはほとんど利得がないと決定されてもよい。従って、位相情報は、絶対値として符号化されてよい。あるいは、位相情報は継続のために符号化される必要は全くなく、位相情報は連続位相再構築を使用して再生してもよい。
【0022】
また、ビットストリームがサンプリング周波数に独立にされることになっている場合、開始周波数は、符号化信号がサンプリング周波数から独立していることを保証するために、正弦波コードCSにおいて絶対値又は絶対周波数を表す識別子として符号化される。
【0023】
正弦波信号成分は、正弦波合成器(SS)131によって正弦波コードCSから再構築される。この信号は入力x2から正弦波コーダ13まで減算器17において減じられ、(大きい)過渡信号成分及び(主要な)決定的正弦波成分を欠いた残存信号x3を生じる。
【0024】
残存信号x3は主にノイズを有するとみなされ、好ましい実施例のノイズ解析器14はこのノイズを表すノイズコードCNを生じる。従来は、例えば、2000年5月17日出願のPCT特許出願番号PCT/EP00/04599(代理人番号:PH NL000287)に記載のように、ノイズのスペクトラムは、等化矩形帯域幅(ERB)スケールによる組み合わせられたAR(自己回帰)MA(移動平均)フィルタパラメータ(pi,qi)を有するノイズコーダによって形成される。図2のデコーダにおいて、主にノイズのスペクトラムに近似している周波数応答を有するフィルタであるフィルタパラメータはノイズ合成器NS 33に供給される。NS 33は、ホワイトノイズ信号をARMAフィルタリングパラメータ(pi,qi)によりフィルタすることによって、再構築された(合成)ノイズyNを生成し、続いてこれを合成された過渡信号yT及び正弦波信号ySに加える。
【0025】
しかし、ARMAフィルタリングパラメータ(pi,qi)はまた、ノイズ解析器のサンプリング周波数に依存しており、符号化ビットストリームがサンプリング周波数から独立しているべきであるのであれば、これらのパラメータは、符号化される前に線スペクトル周波数(LSF)(別名線スペクトル対(LSP))に変換される。これらのLSFパラメータは絶対周波数グリッド又はERBスケール若しくはバーク(Bark)スケールと関係するグリッドで表されてもよい。LSPについての詳細な情報は1984年のICASSPの1.10.1ページのF. K. Soong 及び B. H. Juangによる「Line Spectrum Pair (LSP) and speech data compression」に記載されている。いずれにせよ、デコーダにおいて必要とされる、この場合はエンコーダサンプリング周波数に依存した1つの型の線形予測フィルタ型係数(pi,qi)から、サンプリング周波数とは独立なLSFへの変換及びこれの逆の変換は周知であって、ここでは更には議論されない。しかし、デコーダにおいてLSFをフィルタ係数(p'i,q'i)に変換することは、ノイズ合成器33がホワイトノイズサンプルを生成する周波数を参照して行われてよく、これによって、デコーダがノイズ信号yNを、該ノイズ信号が元々サンプリングされた態様とは独立して生成することを可能にするということは理解されるであろう。
【0026】
正弦波コーダ13の状況と類似して、ノイズ解析器14はまた、新規な分析ブロックを開始するための位置として、過渡信号成分の開始位置を使用してもよいことが理解されるであろう。しかし、正弦波解析器130及びノイズ解析器14のセグメントの大きさは、必ずしも等しい必要はない。
【0027】
最後に、マルチプレクサ15で、コードCT、CS及びCNを含むオーディオストリームASが構成される。オーディオストリームASは、例えばデータバス、アンテナシステム、記憶媒体その他に供給される。
【0028】
図3を参照すると、本発明のエディタ4は、例えば、好ましい実施例のコーダ1によって生成される1つ以上のオーディオストリームを処理するよう構成される。本発明の一実施例において、エディタ4はオーサリング型アプリケーションソフトウェアを有し、該ソフトウェアは、編集された信号を生成するためにそれぞれの編集位置が挿入されることになっている、1つ以上の記憶されたオリジナルのオーディオ信号のそれぞれの位置又は時間的瞬間をユーザが選択することを可能にする。このようなエディタ4は欧州特許出願第00200939.7号において説明される型のデコーダ2を含んでもよいので、ユーザは1つ又は複数の編集位置を選択する前にオリジナルのオーディオ信号を聞くことができ、該信号は、画像の復号された信号が見られるように画像成分すらおそらく含む。それでもなお、本発明の好ましい実施例は対話式エディタに関して説明されるが、本発明は、ユーザ対話により駆動される、記憶されたオーディオ信号の編集に限られていない。従ってエディタは、例えば、オーディオ信号が流れ出すネットワーク装置上で動作しているデーモンソフトウェアであってもよい。このようなエディタは、編集された信号を更に中継する前に所定の位置で1つ以上のオリジナルのオーディオ信号を自動的に切るか又はスプライスするように構成されてもよい。
【0029】
いかなる場合でもエディタは、編集位置の時を知って、編集位置よりも前に開始し編集位置よりも後に終了する期間を表しているオリジナルの信号の目標フレームを決定する。
【0030】
前記1つ以上のオリジナルのビットストリームにおいて決定される編集位置の各々について、エディタは、該編集位置に対応する時点を示している位置を有するステップ過渡コードをそれぞれの編集された信号ビットストリームの目標フレームに挿入するように構成される。
【0031】
図4を参照すると、編集されたビットストリームのフレームiにおいて作成される終了編集位置(EEP)及びフレームjにおいて作成される開始編集位置(SEP)が示される。従って、例えば、フレームj以下において符号化される信号は、フレームi内のセグメントにおいて発生している時間でスプライスされたオリジナルの信号に挿入されている。結果として、フレームiの過渡位置より前且つフレームjの過渡位置より後の内容だけが合成されることが、従って、所望である。出力はフレームの中間サンプルから得られるべきでなく、従って、第1の実施例で、フレームi及びフレームjが連結される場合、結果として生じる信号は短いミュートを含む。
【0032】
エディタは、各フレームに対して、トラックにおける過渡位置を示す指示子をヘッダ(H)(斜線で示される)に配置し、これにより、これらトラックは後述するようにデコ―ドされるとき、終了編集位置の過渡位置周辺でフェードアウト又は開始編集位置のこの過渡位置周辺でフェードインする。過渡パラメータ自体又はステップ過渡と関連する追加のパラメータは、好適なフェードイン・フェードアウト型を説明するために、すなわち、それがミュート、余弦波関数又は他のものであるかどうかを説明するために随意に使用されてよい。このようなパラメータに対処する方法、すなわち、これがフェードであるか、いかなる与えられた型のフェードイン・フェードアウトを適用するか、更に、このフェージングが如何に発生するべきかを決定することはデコーダ次第である。デコーダは、更に異なるオプションをこの機能に対してサポートしてもよい。従って、過渡位置はサンプル精度解像度によって規定されてもよいので、オーディオ信号の編集はサンプル精度で行われてもよい。従って、終了編集位置の前のオーディオ信号を表しているトラックは開始編集位置の後のオーディオ信号を表すトラックとは独立しており、開始編集位置及び終了編集位置を表す過渡が、それぞれのフレームにおけるフレーム境界を規定することが理解されるであろう。
【0033】
図2は、本発明による信号をデコ―ドするためのオーディオプレーヤ3を示す。例えば、図1によるエンコーダによって発生し、場合によってはエディタ4によって後処理されたオーディオストリームAS'は、データバス、アンテナシステム、記憶媒体その他から得られる。欧州特許出願第00200939.7号において開示されているように、オーディオストリームASはデマルチプレクサ30において非多重化され、コードCT、CS及びCNが得られる。これらのコードは、それぞれ過渡合成器31、正弦波合成器32及びノイズ合成器33に供給される。過渡信号成分は過渡合成器31において過渡コードCTから算出される。該過渡コードが形状関数を示す場合、該形状は受信されたパラメータに基づいて算出される。更に、形状内容は、正弦波成分の周波数及び振幅に基づいて算出される。総過渡信号yTは、すべての過渡の合計である。
【0034】
適応的フレーム化が用いられる場合、正弦波合成SS 32及びノイズ合成NS 33のためのセグメント化が過渡位置から算出される。正弦波コードCSは、所与のセグメントの正弦波の合計として記述される信号ySを生成するのに用いられる。ノイズコードCNは、ノイズ信号yNを生成するのに用いられる。これを行うため、フレームセグメントの線スペクトル周波数は、ホワイトノイズがノイズ合成器によって生成されるサンプリング周波数のためのARMAフィルタリングパラメータ(p'i,q'i)に最初に変換され、これらはオーディオ信号のノイズ成分を生成するためにホワイトノイズ値と組み合わせられる。いずれにせよ、後続するフレームセグメントは、例えば重なり加算法により加算される。
【0035】
合計信号y(t)は、正弦波信号ySとノイズ信号yNとの和のあらゆる振幅伸張(g)による積と、過渡信号yTとの和を有する。オーディオプレーヤは、各信号の和を取るために2つの加算器36及び37を有する。上記合計信号は出力ユニット35に供給され、該ユニットは例えばスピーカである。
【0036】
関連出願にて開示したように、過渡コードCTがステップを示す場合、過渡は算出されない。しかし、好ましい実施例のオーディオプレーヤは、フレームヘッダデコーダ38を更に含む。該デコーダ38は、前記フレームのセグメントの1つが開始編集位置又は終了編集位置の内の1つを含むかどうかを検知するように構成される。ヘッダが図4のフレームiのように終了編集位置(EEP)を示す場合、デコーダは、過渡、正弦波及びノイズ合成器31,32,33のそれぞれに、ステップ過渡の位置に対応するサンプル番号又は時間の何れかの後の出力は、随意にフェードアウト間隔を採用してゼロにセットされるべきであるとの信号を送る。
【0037】
ヘッダ(H)が図4のフレームjのように開始編集位置(SEP)を示す場合、デコーダは、過渡、正弦波及びノイズ合成器31,32,33のそれぞれに、ステップ過渡の位置に対応するサンプル番号又は時間の何れかの前の出力は、随意にフェードイン間隔を採用してゼロにセットされるべきであるとの信号を送る。これは、特に正弦波合成器の場合有利である。なぜならば、正弦波合成器は、フレームの開始からトラックを、トラックの誕生からその継続時を通じて通常の計算周波数、振幅及び位相の情報として合成し続け、ステップ過渡の位置までその出力を単にゼロに設定することができるからである。この時、該正弦波合成器は、自身の計算値を出力し始め、その幾つかはステップ過渡の前に開始するオリジナルの信号の継続であってもよい。従って、図4に示されるようなフレームを含んでいるオーディオ信号がデコ―ドされるとき、終了編集位置から開始編集位置までの時間において実行される短いミュートが得られる。
【0038】
これが問題として認められる場合、プレーヤ3は、いかなるオーディオ信号においても推定される最大の合計ミュート長に対して、入力されるオーディオストリームをキャッシュするように構成されてもよい。このことは、必要であれば、オーディオストリームをデコ―ドするときにプレーヤが先を読み取ることができるようにし、これにより、終了編集位置が検出されたら、該プレーヤは、フレームの終了までスキップし、開始編集位置まで次のフレームを通してのトラック値を算出し、そして、随意に適当なクロスオーバーフェードを適用して、開始編集位置で信号の直後に連結された合成された信号を出力し始めることができるようになる。
【0039】
他の代替解決策において、フレームjのようなフレームの開始編集位置を含んでいるセグメントまで正弦波トラック値を算出する必要があることは、望ましいと見られないかもしれない。この場合、開始編集位置と同じセグメントの継続トラックに対し、エディタは、このようなトラックに対する絶対周波数、振幅及び位相を算出し、このようにして、ビットストリーム中の継続トラックを誕生トラックコードで置換するするように構成されてもよい。よって、フレームの前のセグメントのトラックのためのいかなる継続又は誕生コードも除去する又はゼロにしてよく、ビットレートに関する要件及びオーディオプレーヤ処理を僅かに節約することができる。
【0040】
いずれにせよ、原則として、いかなるコード体系の構文も上記したサンプル精度編集の柔軟性を提供するために延長される可能性があるということが分かるであろう。
【0041】
更に、本発明を実行する際の状況によって、上記した好ましい実施例の多くの変形例が可能である。従って、例えば信号が広範囲に編集されることになっている場合、編集位置過渡情報を含むための、記憶された信号の繰り返しの更新は、ビットストリームに関連する大きいデータ量を取り扱う際にかなりの資源を必要とする。好適なエディタにおいて、ビットストリームは編集位置が決定されるたびには修正されず、編集位置のリストは、編集されている1つ又は複数のビットストリームに関連してエディタによって維持される。一旦ユーザが信号の編集を完了すると、過渡は編集位置のリストに従って挿入され、編集されたビットストリームは一度記憶に書き込まれる。
【0042】
他の変形例において、過渡を規定している別々のパラメータ、及び、過渡が編集位置であることを示す指示子の使用が避けられてもよい。これは、両者ともが時間的瞬間で過渡を規定しているパラメータを一体的に有し、該パラメータが編集位置又は特に開始又は終了編集位置であることを示す単一の又は対の編集位置過渡を規定することによりなされる。このような単一の型の編集位置過渡が用いられる所で、これらの過渡は対にされ、これにより、デコーダは、第1のこのような過渡を検出するときに、この位置の後に無効な信号を生じ、このような対の第2の過渡が検知されたときにのみ、信号の出力を開始するようにしてもよい。
【0043】
この場合及び好ましい実施例の両方において、デコーダが、終了編集位置又は第1の編集位置の後のフレームが開始編集位置を含むと推定するようにプログラムされてもよいことはいうまでもない。従って、信号が損なわれ、デコーダがフレームの終了編集位置の後の開始編集位置を検出しない場合、デコーダは、次のフレームの開始から信号を出力し始め、破損によって生じる損害を最小化することができる。
【0044】
図3は、図1で示すオーディオコーダ1、図2で示すオーディオプレーヤ3及び上記のエディタを有する本発明によるオーディオシステムを示す。このようなシステムは、編集、再生及び録画の機能を提供する。オーディオストリームASは無線接続、データバス又は記憶媒体であってよい通信チャネル2を通じてオーディオコーダからオーディオプレーヤ又はエディタまで供給される。通信チャネル2が記憶媒体である場合、該記憶媒体はシステムに固定されてもよく、又は、取り外し可能なディスク若しくはソニー株式会社のメモリースティックTM等の固体記憶装置であってよい。通信チャネル2は、オーディオシステムの一部であってもよいが、多くの場合オーディオシステムの外部にある。
【0045】
本発明が、専用のハードウェア、DSP(デジタルシグナルプロセッサ)上で実行されるソフトウェア又は汎用コンピュータで実行されてもよいことは分かるであろう。本発明は、本発明によるエンコーディング方法を実行するためのコンピュータプログラムを担持しているCD-ROM又はDVD-ROM等の有形の媒体で実施されてもよい。本発明はまた、インターネットのようなデータ網を通じて伝送される信号又は放送サービスによって伝送される信号として実施されてもよい。
【0046】
本発明は、例えばソリッドステートオーディオ、インターネットオーディオ配給又はあらゆる圧縮された音楽の配給等の分野においてアプリケーションを得る。本発明の動作はまた、2001年4月18日に出願の欧州特許出願第01201405.6号(代理人参照番号:PHNL010251)において説明される互換スクランブルスキームと互換することがわかるであろう。
【0047】
上述の実施例は本発明を制限するのではなく説明しているのであって、当業者は添付の請求項の範囲から逸脱することなく多くの代替実施例を設計することができることに注意されたい。請求項において、括弧内に配置されたいかなる引用符号も当該請求項を制限するように解釈されてはならない。「有する(comprising)」なる用語は、請求項に記載されたもの以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの個別素子を有するハードウェアにより、及び適切にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙している装置請求項において、複数のこれらの手段を、ハードウェアの全く同一のアイテムによって具体化することもできる。特定の手段が相互に異なる従属請求項において記載されているという事実のみでは、これらの手段の組合せが有利に用いられることができないということを示すことにはならない。
【0048】
要約すると、本発明の好ましい実施例は正弦波コーディングとの関連での編集について高いサブフレーム精度を有する比較的長いフレームを編集する方法を提供する。高精度編集のためのこのような方法を提供するため、前に符号化された信号(AS)において編集位置(EEP(SEP))が所望される所でいわゆる過渡位置が適用されてもよい。この加算は、例えばオーディオ編集アプリケーションによって何らかの後処理として行われる。編集位置として過渡位置を使用する利点は、従来技術システムで、編集位置は例えば100ミリ秒に一度発生するフレーム境界に限られている一方で、原理的にサンプル解像度の精度で、信号が過渡位置において突然終了又は開始することができることである。
【図面の簡単な説明】
【図1】 図1は、2000年3月15日出願の欧州特許出願第00200939.7号(代理人参照番号:PHNL000120)において説明される種類のオーディオコーダの実施例を示す。
【図2】 図2は、生成されたオーディオ信号を再生するように構成された本発明によるオーディオプレーヤの実施例を示す。
【図3】 図3は、オーディオコーダ、図2のオーディオプレーヤ及び本発明によるエディタを有するシステムを示す。
【図4】 図4は、本発明によって処理されるビットストリームの一部を示す。

Claims (21)

  1. 符号化されたオーディオストリームによって表されるオリジナルのオーディオ信号を編集する方法であって、前記符号化されたオーディオストリームは複数のフレームを有し、前記フレームの各々はヘッダ及び1つ以上のセグメントを含み、前記セグメントの各々は前記オリジナルのオーディオ信号を表すパラメータを含み、これらのパラメータが、前記オーディオ信号の過渡信号成分を表す過渡パラメータと、前記オーディオ信号の持続的信号成分を表す正弦波パラメータと、前記オーディオ信号のノイズ成分を表すノイズパラメータとを含む方法において、
    前記オリジナルのオーディオ信号中の時間的瞬間に対応する編集位置を決定するステップと、
    前記時間的瞬間を含む期間中の前記オリジナルのオーディオ信号を表す目標フレームの前記セグメント中に、前記時間的瞬間における前記過渡パラメータを挿入し、前記目標フレームの前記ヘッダ中に、前記過渡パラメータが前記編集位置を表すことを示す指示子を挿入するステップと、
    編集されたオーディオ信号を表すと共に前記目標フレームを含む符号化されたオーディオストリームを生成するステップと、
    を有する方法。
  2. 請求項1に記載の方法であって、前記指示子は開始編集位置又は終了編集位置の内の1つを示す方法。
  3. 請求項1に記載の方法であって、前記過渡パラメータは、前記編集されたオーディオ信号の振幅のステップ状の変化を示す方法。
  4. 請求項1に記載の方法であって、前記オリジナルのオーディオ信号を表すパラメータは、前記オーディオ信号中のノイズ成分を表すノイズ成分の目標スペクトラムを近似した周波数応答を有するフィルタのフィルタパラメータを含む方法。
  5. 請求項1に記載の方法であって、前記オリジナルのオーディオ信号を表すパラメータは、前記符号化されたオーディオストリームを生成するために使用される第1のサンプリング周波数から独立したパラメータを含み、前記独立したパラメータは、前記オーディオ信号のノイズ成分を表すノイズ成分の目標スペクトラムを近似した周波数応答を有するフィルタのフィルタパラメータから導出される方法。
  6. 請求項5に記載の方法であって、前記フィルタパラメータは、自己回帰パラメータ及び移動平均パラメータであり、前記独立したパラメータは線スペクトル周波数を表す方法。
  7. 請求項6に記載の方法であって、前記独立したパラメータは、絶対周波数、バークスケール又はERBスケールの1つで表される方法。
  8. 請求項1に記載の方法であって、前記オリジナルのオーディオ信号を表すパラメータは、前記オーディオ信号中の過渡信号成分のそれぞれの位置を表すパラメータを含み、前記パラメータは形状パラメータ及び位置パラメータを有する形状関数を規定する方法。
  9. 請求項8に記載の方法であって、前記位置パラメータは前記オリジナルのオーディオ信号中の前記過渡信号成分の絶対時間位置を表す方法。
  10. 請求項1に記載の方法であって、前記オリジナルのオーディオ信号を表すパラメータは、前記オーディオ信号の持続的な信号成分を表すパラメータを含み、前記パラメータは、後続する信号セグメント中に存在するリンクされた信号成分を表すトラックを含むと共に前のリンクされた信号成分のパラメータに基づいてトラックを延長する方法。
  11. 請求項10に記載の方法であって、トラック中の第1信号成分のパラメータは、前記リンクされた信号成分の絶対周波数を表すパラメータを含む方法。
  12. 請求項1に記載の方法であって、前記編集されたビットストリームはデコーダによって使用されるべき推奨される最小帯域幅を有する方法。
  13. オーディオストリームを復号する方法であって、
    編集されたオーディオ信号を表す符号化されたオーディオストリームを読み取るステップであって、前記オーディオストリームは複数のフレームを有し、前記フレームの各々はヘッダ及び1つ以上のセグメントを含み、前記セグメントの各々は前記編集されたオーディオ信号を表すパラメータを含み、これらのパラメータが、前記オーディオ信号の過渡信号成分を表す過渡パラメータと、前記オーディオ信号の持続的信号成分を表す正弦波パラメータと、前記オーディオ信号のノイズ成分を表すノイズパラメータとを含むステップと、
    所与の期間中の前記編集されたオーディオ信号を表す前記フレームであって、前記期間内の時間的瞬間における前記過渡パラメータを前記セグメント中に含み、前記過渡パラメータが編集位置を表すことを示す指示子を前記ヘッダ中に含む前記フレームに応答し、前記指示子が示す前記編集位置が終了編集位置である場合は、前記期間中の前記過渡パラメータの前の部分中に無効な出力信号を生成し、前記過渡パラメータの後の部分中に、前記編集されたオーディオ信号を表すパラメータを使用して前記オーディオ信号を合成し、前記指示子が示す前記編集位置が開始編集位置である場合は、前記期間中の前記過渡パラメータの前の部分中に、前記編集されたオーディオ信号を表すパラメータを使用して前記オーディオ信号を合成し、前記期間中の前記過渡パラメータの後の部分中に無効な出力信号を生成するステップと
    を有する方法。
  14. 請求項13に記載の方法であって、前記無効な出力信号を生成するステップにおいて、前記編集終了位置に応答して、前記信号を前記時間的瞬間の付近でフェードアウトさせる方法。
  15. 請求項13に記載の方法であって、前記無効な出力信号を生成するステップにおいて、前記開始編集位置に応答して、前記信号を前記時間的瞬間の付近でフェードインさせる方法。
  16. 請求項13に記載の方法であって、前記無効な出力信号を生成するステップは、前記無効な出力信号をミュート信号として生成することを含む方法。
  17. 請求項13に記載の方法であって、前記無効な出力信号を生成するステップは、編集位置の対の第1編集位置で終了する前記オーディオ信号と、前記編集位置の対の第2編集位置で開始する前記オーディオ信号とを連結するステップを含む方法。
  18. 請求項17に記載の方法であって、前記連結するステップは、前記第1編集位置で終了する前記オーディオ信号と前記第2編集位置で開始する前記オーディオ信号とのクロスオーバーフェードを生成することを含む方法。
  19. 符号化されたオーディオストリームによって表されるオリジナルのオーディオ信号を編集するオーディオエディタであって、前記符号化されたオーディオストリームは複数のフレームを有し、前記フレームの各々はヘッダ及び1つ以上のセグメントを含み、前記セグメントの各々は前記オリジナルのオーディオ信号を表すパラメータを含み、これらのパラメータが、前記オーディオ信号の過渡信号成分を表す過渡パラメータと、前記オーディオ信号の持続的信号成分を表す正弦波パラメータと、前記オーディオ信号のノイズ成分を表すノイズパラメータとを含むオーディオエディタにおいて、
    前記オリジナルのオーディオ信号中の時間的瞬間に対応する編集位置を決定する手段と、
    前記時間的瞬間を含む期間中の前記オリジナルのオーディオ信号を表す目標フレームに、前記時間的瞬間における前記過渡パラメータを挿入し、前記目標フレームのヘッダ中に、前記過渡パラメータが前記編集位置を表すことを示す指示子を挿入する手段と、
    編集されたオーディオ信号を表すと共に前記目標フレームを含む、符号化されたオーディオストリームを生成する手段と
    を有するオーディオエディタ。
  20. 編集されたオーディオ信号を表す符号化されたオーディオストリームを読み取る手段であって、前記ストリームは複数のフレームを有し、前記フレームの各々はヘッダ及び1つ以上のセグメントを含み、前記セグメントの各々は前記編集されたオーディオ信号を表すパラメータを含み、これらのパラメータが、前記オーディオ信号の過渡信号成分を表す過渡パラメータと、前記オーディオ信号の持続的信号成分を表す正弦波パラメータと、前記オーディオ信号のノイズ成分を表すノイズパラメータとを含む手段と、
    所与の期間中の前記編集されたオーディオ信号を表す前記フレームであって、前記期間内の時間的瞬間における前記過渡パラメータを前記セグメント中に含み、前記過渡パラメータが編集位置を表すことを示す指示子を前記ヘッダ中に含む前記フレームに応答し、前記指示子が示す前記編集位置が終了編集位置である場合は、前記期間中の前記過渡パラメータの前の部分中に無効な出力信号を生成し、前記過渡パラメータの後の部分中に、前記編集されたオーディオ信号を表すパラメータを使用して前記オーディオ信号を合成し、前記指示子が示す前記編集位置が開始編集位置である場合は、前記期間中の前記過渡パラメータの前の部分中に、前記編集されたオーディオ信号を表すパラメータを使用して前記オーディオ信号を合成し、前記期間中の前記過渡パラメータの後の部分中に無効な出力信号を生成する手段と
    を有するオーディオプレーヤ。
  21. 請求項19に記載のオーディオエディタ及び請求項20に記載のオーディオプレーヤを有するオーディオシステム。
JP2003504390A 2001-06-08 2002-06-05 オーディオ信号の編集 Expired - Fee Related JP4359499B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202195 2001-06-08
PCT/IB2002/002148 WO2002101725A1 (en) 2001-06-08 2002-06-05 Editing of audio signals

Publications (2)

Publication Number Publication Date
JP2004538502A JP2004538502A (ja) 2004-12-24
JP4359499B2 true JP4359499B2 (ja) 2009-11-04

Family

ID=8180437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003504390A Expired - Fee Related JP4359499B2 (ja) 2001-06-08 2002-06-05 オーディオ信号の編集

Country Status (10)

Country Link
US (1) US20040162721A1 (ja)
EP (1) EP1399917B1 (ja)
JP (1) JP4359499B2 (ja)
KR (1) KR100852613B1 (ja)
CN (1) CN1237507C (ja)
AT (1) ATE305164T1 (ja)
BR (1) BR0205527A (ja)
DE (1) DE60206269T2 (ja)
ES (1) ES2248549T3 (ja)
WO (1) WO2002101725A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100935961B1 (ko) 2001-11-14 2010-01-08 파나소닉 주식회사 부호화 장치 및 복호화 장치
JP2005533271A (ja) * 2002-07-16 2005-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
EP1649453B1 (en) * 2003-07-18 2009-03-11 Koninklijke Philips Electronics N.V. Low bit-rate audio encoding
JP2005210199A (ja) * 2004-01-20 2005-08-04 Alps Electric Co Ltd 無線ネットワークにおける端末相互間の接続方法
US8065139B2 (en) * 2004-06-21 2011-11-22 Koninklijke Philips Electronics N.V. Method of audio encoding
JP4649901B2 (ja) * 2004-07-15 2011-03-16 ヤマハ株式会社 曲の符号化伝送のための方法および装置
DE102006049154B4 (de) * 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101080421B1 (ko) * 2007-03-16 2011-11-04 삼성전자주식회사 정현파 오디오 코딩 방법 및 장치
CN101094469A (zh) * 2007-07-17 2007-12-26 华为技术有限公司 移动终端提示信息的生成方法和装置
KR20090008611A (ko) * 2007-07-18 2009-01-22 삼성전자주식회사 오디오 신호의 인코딩 방법 및 장치
KR101380170B1 (ko) * 2007-08-31 2014-04-02 삼성전자주식회사 미디어 신호 인코딩/디코딩 방법 및 장치
CN101388213B (zh) * 2008-07-03 2012-02-22 天津大学 一种预回声控制方法
WO2015105748A1 (en) * 2014-01-09 2015-07-16 Dolby Laboratories Licensing Corporation Spatial error metrics of audio content
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
CN105161094A (zh) * 2015-06-26 2015-12-16 徐信 一种语音音频切分手动调整切分点的***及方法
WO2017064264A1 (en) * 2015-10-15 2017-04-20 Huawei Technologies Co., Ltd. Method and appratus for sinusoidal encoding and decoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832442A (en) * 1995-06-23 1998-11-03 Electronics Research & Service Organization High-effeciency algorithms using minimum mean absolute error splicing for pitch and rate modification of audio signals
JPH09135419A (ja) * 1995-11-08 1997-05-20 Nippon Telegr & Teleph Corp <Ntt> 映像・音声符号化情報の編集方法
US5995471A (en) * 1996-10-07 1999-11-30 Sony Corporation Editing device and editing method
US6782365B1 (en) * 1996-12-20 2004-08-24 Qwest Communications International Inc. Graphic interface system and product for editing encoded audio data
US5864820A (en) * 1996-12-20 1999-01-26 U S West, Inc. Method, system and product for mixing of encoded audio signals
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
US5899969A (en) * 1997-10-17 1999-05-04 Dolby Laboratories Licensing Corporation Frame-based audio coding with gain-control words
JP3539615B2 (ja) * 1998-03-09 2004-07-07 ソニー株式会社 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法
US6266644B1 (en) * 1998-09-26 2001-07-24 Liquid Audio, Inc. Audio encoding apparatus and methods
KR100780561B1 (ko) * 2000-03-15 2007-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 라게르 함수를 이용한 오디오 코딩 장치 및 방법
JP3859432B2 (ja) * 2000-06-23 2006-12-20 シャープ株式会社 マルチメディアデータ編集装置

Also Published As

Publication number Publication date
EP1399917A1 (en) 2004-03-24
KR100852613B1 (ko) 2008-08-18
CN1237507C (zh) 2006-01-18
WO2002101725A1 (en) 2002-12-19
DE60206269T2 (de) 2006-06-29
ES2248549T3 (es) 2006-03-16
ATE305164T1 (de) 2005-10-15
DE60206269D1 (de) 2006-02-02
CN1514997A (zh) 2004-07-21
EP1399917B1 (en) 2005-09-21
BR0205527A (pt) 2003-07-08
KR20030029813A (ko) 2003-04-16
US20040162721A1 (en) 2004-08-19
JP2004538502A (ja) 2004-12-24

Similar Documents

Publication Publication Date Title
JP4359499B2 (ja) オーディオ信号の編集
JP3592473B2 (ja) 周波数領域内のlpc予測による時間領域内での知覚ノイズ整形
CN101868821B (zh) 用于处理信号的方法和装置
KR101455915B1 (ko) 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더
KR100462615B1 (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
CA2378991A1 (en) Scalable coding method for high quality audio
JPWO2005081229A1 (ja) オーディオエンコーダ及びオーディオデコーダ
US7197454B2 (en) Audio coding
KR20100089772A (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
US20060015328A1 (en) Sinusoidal audio coding
EP1932239A4 (en) METHOD AND APPARATUS FOR ENCODING / DECODING
JP4022504B2 (ja) 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置
US6463405B1 (en) Audiophile encoding of digital audio data using 2-bit polarity/magnitude indicator and 8-bit scale factor for each subband
EP1522063B1 (en) Sinusoidal audio coding
KR100300887B1 (ko) 디지털 오디오 데이터의 역방향 디코딩 방법
JP2003330497A (ja) オーディオ信号の符号化方法及び装置、符号化及び復号化システム、並びに符号化を実行するプログラム及び当該プログラムを記録した記録媒体
JP4862136B2 (ja) 音声信号処理装置
JPH08305393A (ja) 再生装置
KR20050017088A (ko) 사인 곡선 오디오 부호화
KR20000045610A (ko) 오디오의 에러 프레임 추정 장치 및 그 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081106

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090810

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees