JP2002041098A - 周波数間引き装置、周波数間引き方法及び記録媒体 - Google Patents
周波数間引き装置、周波数間引き方法及び記録媒体Info
- Publication number
- JP2002041098A JP2002041098A JP2000220742A JP2000220742A JP2002041098A JP 2002041098 A JP2002041098 A JP 2002041098A JP 2000220742 A JP2000220742 A JP 2000220742A JP 2000220742 A JP2000220742 A JP 2000220742A JP 2002041098 A JP2002041098 A JP 2002041098A
- Authority
- JP
- Japan
- Prior art keywords
- band
- spectrum
- signal
- frequency
- harmonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 20
- 238000001228 spectrum Methods 0.000 claims abstract description 130
- 230000005236 sound signal Effects 0.000 claims abstract description 20
- 238000012217 deletion Methods 0.000 claims abstract description 9
- 230000037430 deletion Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000000873 masking effect Effects 0.000 abstract description 17
- 230000003595 spectral effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 230000006837 decompression Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010183 spectrum analysis Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B14/00—Transmission systems not characterised by the medium used for transmission
- H04B14/02—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation
- H04B14/04—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation using pulse code modulation
- H04B14/046—Systems or methods for reducing noise or bandwidth
- H04B14/048—Non linear compression or expansion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Nonlinear Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
を高音質を保ちながら圧縮するための周波数間引き装置
等を提供することである。 【解決手段】 PCM信号は、アナライザ11により、
このPCM信号のスペクトルへと変換される。周波数バ
ンドマスキング部12は、このスペクトルを数等分して
得られる帯域のうち、自己より低周波側の帯域との間で
スペクトルの分布に所定程度以上の相関がない帯域以外
の帯域を高調波バンドとして特定する。そして、高調波
バンドのうちからスペクトルを削除する対象の削除バン
ドを決定し、削除バンド内のスペクトル成分が削除され
たスペクトルを表す信号をシンセサイザ13に供給する
(すなわち周波数の間引きを行う)。シンセサイザ13
は、周波数の間引きが行われたスペクトルが表す信号を
生成する。
Description
周波数間引き装置及び周波数間引き方法に関する。
による音楽などの配信が近年盛んになっている。これら
の手法による音楽などの配信を行う場合、帯域が過度に
広くなることによるデータ量の増大や占有帯域幅の広が
りを避けるため、一般に、音楽を表すデータは、MP3
(MPEG1 audio layer 3)形式やAAC(Advanced Audi
o Coding)形式などの音声圧縮形式で圧縮された上で配
信されている。
高レベルのスペクトル成分に周波数が近接する低レベル
のスペクトル成分が人間には聞き取られにくい、という
現象を利用して音声圧縮を行う形式である。
トラヒックが増大すると、放送や通信に利用可能な占有
帯域幅や回線容量を低下させる必要が生じる。この結
果、上述の形式による音声圧縮を行うだけでは、データ
の配信にかかる時間が長くなったり、データの配信にか
かる時間を一定時間内に収めるためにデータの品質を著
しく低下させる必要が生じたりする、という問題が生じ
る。
のであり、信号を高率で圧縮するための周波数間引き装
置及び周波数間引き方法を提供することを目的とする。
また、この発明は、オーディオ信号を高音質を保ちなが
ら圧縮するための周波数間引き装置及び周波数間引き方
法を提供することを目的とする。
く、この発明の第1の観点に係る周波数間引き装置は、
間引き処理される対象である被処理信号のスペクトルを
表すスペクトル信号を生成するスペクトル分布生成手段
と、前記スペクトル信号に基づき、前記スペクトルを含
む帯域のうちから、自己より低周波側の他の帯域との間
で当該スペクトルの成分の分布に互いに所定程度以上の
強い相関関係がない帯域を除く帯域を、当該スペクトル
のうちの高調波成分を含む高調波帯域として特定する高
調波抽出手段と、前記高調波抽出手段が特定した高調波
帯域に含まれる前記スペクトルの成分の一部を除去する
間引き手段と、を備える、ことを特徴とする。
いに所定程度以上の相関関係がある帯域の一方は高調波
帯域として特定され、高調波帯域と特定された帯域内の
スペクトルが除去される。このため、必ずしも高レベル
のスペクトル成分に周波数が近接するスペクトル成分で
ない成分も除去され、被処理信号が高率で圧縮される。
また、このような周波数間引き装置によれば、被処理信
号の基本波成分は除去されないので、オーディオ信号が
高音質を保ちながら圧縮される。
れる前記スペクトルの成分のうち特定の削除用帯域に含
まれる成分を除去し、前記削除用帯域に低周波数側で隣
接し、当該削除用帯域と実質的に同一の帯域幅を占める
帯域に含まれる成分を除去の対象から除外する、もので
あってもよい。この場合、削除用帯域のスペクトルは、
たとえば削除用帯域に低周波数側で隣接し削除用帯域と
実質的に同一の帯域幅を占める帯域に含まれる成分の分
布に基づいて補間され得るので、オーディオ信号の高音
質な圧縮に好適である。
号によりPCM(Pulse Code Modulation)変調を行っ
て得られるPCM信号より構成されていてもよい。
数間引き方法は、間引き処理される対象である被処理信
号のスペクトルを表すスペクトル信号を生成し、前記ス
ペクトル信号に基づき、前記スペクトルを含む帯域のう
ちから、自己より低周波側の他の帯域との間で当該スペ
クトルの成分の分布に互いに所定程度以上の強い相関関
係がない帯域を除く帯域を、当該スペクトルのうちの高
調波成分を含む高調波帯域として特定し、特定された前
記高調波帯域に含まれる前記スペクトルの成分の一部を
除去する、ことを特徴とする。
いに所定程度以上の相関関係がある帯域の一方は高調波
帯域として特定され、高調波帯域と特定された帯域内の
スペクトルが除去される。このため、必ずしも高レベル
のスペクトル成分に周波数が近接するスペクトル成分で
ない成分も除去され、被処理信号が高率で圧縮される。
また、このような周波数間引き方法によれば、被処理信
号の基本波成分は除去されないので、オーディオ信号が
高音質を保ちながら圧縮される。
ピュータ読み取り可能な記録媒体は、コンピュータを、
間引き処理される対象である被処理信号のスペクトルを
表すスペクトル信号を生成するスペクトル分布生成手段
と、前記スペクトル信号に基づき、前記スペクトルを含
む帯域のうちから、自己より低周波側の他の帯域との間
で当該スペクトルの成分の分布に互いに所定程度以上の
強い相関関係がない帯域を除く帯域を、当該スペクトル
のうちの高調波成分を含む高調波帯域として特定する高
調波抽出手段と、前記高調波抽出手段が抽出した高調波
帯域に含まれる前記スペクトルの成分の一部を除去する
間引き手段と、して機能させるためのプログラムを記録
したことを特徴とする。
ムを実行するコンピュータは、互いに所定程度以上の相
関関係がある帯域の一方を高調波帯域として特定し、高
調波帯域と特定した帯域内のスペクトルを除去する。こ
のため、必ずしも高レベルのスペクトル成分に周波数が
近接するスペクトル成分でない成分も除去され、被処理
信号が高率で圧縮される。また、このようなコンピュー
タは被処理信号の基本波成分を除去しないので、オーデ
ィオ信号が高音質を保ちながら圧縮される。
明の実施の形態に係る周波数間引き装置を、音声信号処
理装置を例として説明する。図1は、この発明の実施の
形態に係る音声信号処理装置の構成を示す図である。図
示するように、この音声信号処理装置は、周波数間引き
部1と、音声圧縮部2と、音声伸長部3と、周波数補間
部4とより構成されている。
アナライザ11と、周波数バンドマスキング部12と、
シンセサイザ13とより構成されている。
個の遅延部111−0〜111−(n−1)と、(n+
1)個のサンプラー112−0〜112−nと、フィル
タバンク113とより構成されている。(ただし、nは
1以上の任意の整数とする。)
は、各自に供給された信号を、この信号の周期1周期分
遅らせて出力する。遅延部111−k(kは0以上(n
−1)以下の任意の整数)が出力する信号はサンプラー
112−kに供給される。また、遅延部111−j(j
は0以上(n−2)以下の任意の整数)は、遅延部11
1−(j+1)が出力する信号を供給される。遅延部1
11−(n−1)には、周波数間引き部1により周波数
の間引きを受ける対象のPCM(Pulse Code Mudulatio
n)信号が供給される。
1−(n−1)に供給されたPCM信号を、このPCM
信号の(n−k)周期分遅らせた信号を出力する。な
お、上述のPCM信号は、音声等を電圧あるいは電流の
変化として表すオーディオ信号を用い、PCM変調を行
うことにより得られる信号である。
自に供給された信号を、周波数の間引きを受ける対象の
PCM信号の周波数の(n+1)分の1の周波数でサン
プリングし、サンプリング結果を表す信号を、フィルタ
バンク113へと供給する。
遅延部111−kが出力する信号が供給される。サンプ
ラー112−nには、周波数間引き部1により周波数の
補間を受ける対象のPCM信号が、遅延部111−(n
−1)に供給されるのと実質的に同時に供給される。
l Signal Processor)やCPU(Central Processing U
nit)等より構成されている。フィルタバンク113
は、上述の通りサンプラー112−1〜112−nが出
力する信号の供給を受ける。
ェーズフィルタ、DCT(DiscreteCosine Transfor
m)、LOT(Lapped Orthogonal Transform)、MLT
(Modulated Lapped Transform)あるいはELT(Exte
nded Lapped Transform)等の手法を用い、自己に供給
されたこの信号のスペクトル分布を表す1番目〜(n+
1)番目までの(n+1)個の信号を生成する。そし
て、生成したこれら(n+1)個の信号を、周波数バン
ドマスキング部12へと供給する。
(pは1から(n+1)までの整数)の信号は、サンプ
ラー112−0〜112−nが出力する信号のスペクト
ル分布を(n+1)等分して得られる互いに帯域幅が等
しい帯域のうち、周波数がp番目に低い帯域内のスペク
トル分布を表す信号であるものとする。
やCPU等より構成されている。周波数バンドマスキン
グ部12は、上述の(n+1)個の各帯域内のスペクト
ル分布を表す(n+1)個の信号をアナライザ11(よ
り具体的には、フィルタバンク113)より供給される
と、例えば、以下(1)〜(6)として述べる処理を行
う。
波数バンドマスキング部12はまず、フィルタバンク1
13から供給された信号が表す各帯域のうちの2つを特
定し、各々の帯域内のスペクトル成分の二乗平均値を求
める。(なお、高調波バンドは、周波数の間引きを受け
る対象のPCM信号のうちの高調波成分を含む帯域であ
る。また、以下では、周波数の間引きを受ける対象のP
CM信号のうちの基本波成分を含む帯域を「基本波バン
ド」と呼ぶ。)
(以下、「第1の帯域」及び「第2の帯域」と呼ぶ)内
の各スペクトル成分の二乗平均値を用いて、これらの帯
域のうち一方の帯域内のスペクトル成分の値の規格化を
行う。具体的には、例えば、第1の帯域内のスペクトル
の二乗平均値に対する第2の帯域内のスペクトル成分の
二乗平均値の比の値を求め、第2の帯域内の各スペクト
ル成分の値にこの比の値を各々乗じて得られる積を求め
る。得られた積の集合が、規格化された後の第2の帯域
内のスペクトル分布を表す。
の帯域内のスペクトル分布との相関係数を、最小二乗法
等の手法を用いて求める。ただし、周波数バンドマスキ
ング部12は、第1及び第2の両帯域のうち周波数が低
い方の帯域内の各スペクトルの周波数を、その元来の値
に、両帯域の最低周波数の差の絶対値を加算した周波数
であるものとして扱い、相関係数を求めるものとする。
は、第1及び第2の帯域としてとり得るすべての組み合
わせについて上述(1)〜(3)の処理を行うことによ
り相関係数を求める。そして、求めた各相関係数に基づ
いて、基本波バンド及び高調波バンドを特定する。具体
的には、例えば、周波数バンドマスキング部12は、フ
ィルタバンク113より供給された信号が表す帯域のう
ち、当該帯域より最低周波数が低いいずれの帯域との組
み合わせについても相関係数が所定値以下であった帯域
を、基本波バンドとして特定する。そして、基本波バン
ド以外のすべての帯域を、高調波バンドとして特定す
る。
ド)を特定すると、周波数バンドマスキング部12は、
高調波バンドのうちから、スペクトルを削除する対象で
ある帯域、すなわち、削除バンドを決定する。削除バン
ドを決定する基準は任意である。従って、周波数バンド
マスキング部12は、例えば、高調波バンドとして特定
された帯域のうち最低周波数が低い方(又は高い方)か
ら所定個数目の帯域を削除バンドとしてもよい。また、
高調波バンドとして特定された帯域のうち最低周波数が
低い方(又は高い方)から偶数番目(又は奇数番目)の
帯域を削除バンドとするようにしてもよい。また、高調
波バンドとして特定された帯域のうち最低周波数が低い
方(又は高い方)からみて所定個数目から数えてα個
(αは2以上の整数)おきに、連続したβ個(βはαよ
り小さい正の整数)の帯域を削除バンドとするようにし
てもよい。
部12は、フィルタバンク113より供給された上述の
(n+1)個の信号のうち、削除バンド内のスペクトル
分布を表すもの以外の信号を、シンセサイザ13へと供
給する。従って、周波数バンドマスキング部12からシ
ンセサイザ13へは、周波数の間引きを受ける対象のP
CM信号のスペクトルのうちから削除バンドのスペクト
ル成分を除去して得られるスペクトルの分布(間引き後
のスペクトル分布)を表す信号が供給される。
たPCM信号のスペクトル分布(間引き前のスペクトル
分布)の例を示す図であり、(b)及び(c)は、
(a)に示すスペクトル分布を有するPCM信号に周波
数の間引きを施した結果得られる、間引き後のスペクト
ル分布の例を示す図である。図4(b)は、アナライザ
11に供給されたPCM信号の11個の帯域(帯域B1
〜帯域B11)のうち帯域B3〜帯域B11が高調波バ
ンドであると特定され、高調波バンドとして特定された
帯域のうち最低周波数が低い方から偶数番目の帯域が削
除バンドとされた場合の、間引き後のスペクトル分布を
示す図である。図4(c)は、帯域B1〜帯域B11の
うち帯域B3〜帯域B11が高調波バンドであると特定
され、高調波バンドとして特定された帯域のうち最低周
波数が低い方からみて3番目の帯域から数えて4個おき
に、連続した2個の帯域が削除バンドとされた場合の、
間引き後のスペクトル分布を示す図である。
クトル分布のうち削除バンドにあたる部分は高調波バン
ドに属する。従って、削除バンドでない他の帯域(例え
ば、削除バンドに低周波側で隣接し、削除バンドと実質
的に同一の帯域幅を占める帯域)のスペクトル分布に相
当するスペクトルを補間することにより、間引き前のオ
ーディオ信号のスペクトルに近いスペクトルが得られ
る。
フィルタバンク131と、(n+1)個のサンプラー1
32−0〜132−nと、n個の遅延部133−0〜1
33−(n−1)と、加算器134−0〜134−(n
−1)とより構成されている。
等より構成されており、上述の通り、周波数バンドマス
キング部12が出力する、間引き後のスペクトル分布を
表す信号を供給される。そして、フィルタバンク131
は、ポリフェーズフィルタ、DCT、LOT、MLTあ
るいはELT等の手法を用い、自己に供給された信号が
表すスペクトル分布を有する信号を(n+1)点で等間
隔にサンプリングした値を表す(n+1)個の信号を生
成する。そして、生成したこれら(n+1)個の信号の
うちp番目(pは1から(n+1)までの整数)の信号
を、サンプラー132−(p−1)へと供給する。
の信号が表す値のサンプリング間隔は、アナライザ11
のサンプラー112−1〜112−nのサンプリング間
隔に実質的に等しいものとする。また、フィルタバンク
131が生成するp番目の信号は、フィルタバンク13
1に供給された信号が表すスペクトル分布を有する信号
を(n+1)点で等間隔にサンプリングした値のうち、
サンプリングの時刻がp番目に早い値を表すものとす
る。
自に供給された信号を、当該信号の(n+1)倍の周波
数の信号へと変換し、変換結果を表すPCM信号を出力
するものである。サンプラー132−(p−1)には、
上述の通り、フィルタバンク131が出力するp番目の
信号が供給される。そして、サンプラー132−(s−
1)は、自己が出力する信号を、加算器134−(p−
1)へと供給する(sは1からnまでの整数)。サンプ
ラー132−nは、自己が出力する信号を遅延部133
−(n−1)へと供給する。
は、各自に供給された信号を、この信号の周期1周期分
遅らせて出力する。遅延部133−k(kは0以上(n
−1)以下の任意の整数)が出力する信号は加算器13
4−kに供給される。また、遅延部133−j(jは0
以上(n−2)以下の任意の整数)は、加算器134−
(j+1)が出力する信号を供給される。遅延部133
−(n−1)には、上述の通りサンプラー132−nが
出力する信号が供給される。
は、各自に供給された2個の信号の和を表す信号を出力
する。加算器134−kには、サンプラー132−k
と、遅延部133−kとから信号が供給される。そし
て、加算器134−m(mは1以上(n−1)以下の整
数)が出力する信号は遅延部133−(m−1)に供給
される。加算器134−0が出力する信号は、周波数間
引き部1の出力信号として、音声圧縮部2へと供給され
る。
は、サンプラー132−0、132−1、・・・、13
2−(n−1)及び132−nが出力した信号を、アナ
ライザ11に供給されたPCM信号の周期と実質的に同
一の周期で順次出力したものに相当し、そのスペクトル
分布が間引き後のスペクトル分布に相当するPCM信号
である。
え、また、記録媒体(例えば、CD−R等)へのデータ
の記録及び記録媒体からのデータの読み出しを行う記録
媒体ドライバを備えている。音声圧縮部2は、周波数間
引き部1より出力信号を供給されると、この出力信号が
表すデータを、MP3やAAC(Advanced Audio Codin
g)その他任意の手法により圧縮する。そして、圧縮に
より得られたデータを、記録媒体ドライバにセットされ
た外部の記録媒体に記録する。音声圧縮部2は、記録媒
体ドライバに代えて、あるいは記録媒体ドライバと共
に、外部の通信回線に接続されたモデムやターミナルア
ダプタ等より構成される通信制御装置を備えていてもよ
い。この場合、音声圧縮部2は、周波数間引き部1の出
力信号が表すデータを圧縮して得られたデータを、通信
回線を介して外部へと伝送してもよい。
え、また、記録媒体ドライバを備えている。音声伸長部
3は、PCM信号をMP3やAAC等の手法により圧縮
したものを表す信号を、記録媒体ドライバにセットされ
た外部の記録媒体より読み出す。そして、読み出したデ
ータをMP3やAAC等の手法により伸長し、伸長によ
り得られたデータを表すPCM信号を生成して、周波数
補間部4へと供給する。音声伸長部3は、記録媒体ドラ
イバに代えて、あるいは記録媒体ドライバと共に、通信
制御装置を備えていてもよい。この場合、音声伸長部3
は、PCM信号をMP3やAAC等の手法により圧縮し
たものを表す信号が通信回線を介して外部より自己へと
供給されたとき、そして、供給されたデータを受信して
伸長し、伸長により得られたデータを表すPCM信号を
周波数補間部4へと供給するようにしてもよい。
ナライザ41と、スペクトル記憶部42と、スペクトル
解析部43と、周波数補間処理部44と、シンセサイザ
45とより構成されている。このうち、アナライザ41
は、周波数間引き部1のアナライザ11と実質的に同一
の構成を有しており、シンセサイザ45は、周波数間引
き部1のシンセサイザ13と実質的に同一の構成を有し
ている。
対象として音声伸長部3から供給されたPCM信号のス
ペクトル分布を表す1番目〜(n+1)番目までの(n
+1)個の信号を生成し、生成したこれら(n+1)個
の信号を、スペクトル記憶部42、スペクトル解析部4
3及び周波数補間処理部44へと供給する。
(pは1から(n+1)までの整数)の信号は、音声伸
長部3から供給されたPCM信号(つまり、周波数の補
間を受ける対象のPCM信号)のスペクトル分布を(n
+1)等分して得られる互いに帯域幅が等しい帯域のう
ち、周波数がp番目に低い帯域内のスペクトル分布を表
す信号であるものとする。
Access Memory)等より構成されており、アナライザ4
1より供給される(n+1)個の信号を記憶する。そし
て、周波数補間処理部44の指示に従って、自己が記憶
している信号を周波数補間処理部44へと供給する。
等より構成されている。スペクトル解析部43は、上述
の(n+1)個の各帯域内のスペクトル分布を表す(n
+1)個の信号をアナライザ41より供給されると、ア
ナライザ41から供給された信号が表す各帯域のうち、
実質的にスペクトルが含まれない帯域(すなわち、削除
バンド)を特定する。そして、特定した削除バンドを補
完すべきバンド(補間用バンド)を、アナライザ41か
ら供給された信号が表す各帯域のうち削除バンド以外の
バンドから選択し、選択結果を周波数補間処理部44に
通知する。
る。例えば、特定した削除バンドに低周波数側で隣接す
る帯域に削除バンドでない帯域がある場合、スペクトル
解析部43は、図7に示すように、特定した削除バンド
に低周波数側で隣接するこの帯域を、補間用バンドとし
て決定してもよい。
等より構成されている。周波数補間処理部44は、上述
の(n+1)個の各帯域内のスペクトル分布を表す(n
+1)個の信号をアナライザ41より供給されると、各
帯域内のスペクトル分布の包絡線をなす関数を特定す
る。そして、スペクトル解析部43より補間用バンドの
選択結果を通知されると、選択結果が示す補間用バンド
を、包絡線をなす関数に基づいてスケーリングすること
により、削除バンドに補完すべき信号成分のスペクトル
分布を求める。
えば、スペクトル解析部43より通知された選択結果が
示す補間用バンド内のスペクトル成分の二乗平均値を求
め、一方で、自己が特定した包絡線をなす関数に基づ
き、削除バンド内のスペクトル成分の二乗平均値の推定
値を求める。そして、補間用バンド内のスペクトル成分
の二乗平均値に対する、削除バンド内のスペクトル成分
の二乗平均値の推定値の比の値を求め、補間用バンド内
の各スペクトル成分の値にこの比の値を各々乗じて得ら
れる積を求める。得られた積の集合が、削除バンドに補
完すべき信号成分のスペクトル分布を表す。
ンドに補完すべき信号成分のスペクトル分布を、補間後
の削除バンド内のスペクトル分布を表すものとして扱う
ことにより、補間後の削除バンド内のスペクトル分布を
表す信号を生成する。そして、生成した信号をシンセサ
イザ45へと供給する。従って、周波数補間処理部44
からシンセサイザ45へは、音声伸長部3から周波数補
間部4へ供給されたPCM信号のスペクトルに補間後の
削除バンドのスペクトル成分が加算されて得られるスペ
クトルの分布(補間後のスペクトル分布)を表す信号が
供給される。
ンドに補間すべきスペクトル分布を、補間後の削除バン
ド内のスペクトル分布として扱う場合、スケーリングさ
れた補間用バンド内の各スペクトルの周波数が、その元
来の値に、削除バンド及び補間用バンドの最低周波数同
士の差の絶対値を加算した値であるものとして扱うもの
とする。
4が出力する、補間後のスペクトル分布を表す信号を供
給されると、スペクトル分布が補間後のスペクトル分布
に相当するPCM信号を出力する。シンセサイザ45が
出力するPCM信号は、換言すれば、補間後のスペクト
ル分布を有する信号を(n+1)点で等間隔にサンプリ
ングしてアナライザ41に供給されたPCM信号の周期
と実質的に同一の周期で順次出力したものに相当するP
CM信号である。
ライザ41に供給したPCM信号のスペクトル分布(補
間前のスペクトル分布)の例を示す図であり、(b)
は、(a)に示すスペクトル分布を有するPCM信号に
周波数の補間を施した結果得られる、補間後のスペクト
ル分布の例を示す図である。図7(a)に示すように、
音声伸長部3がアナライザ41に供給したPCM信号の
11個の帯域(帯域B1〜帯域B11)のうち帯域B
4、B6、B8及びB10が削除バンドである場合にお
いて、削除バンドに低周波数側で隣接する帯域を補間用
バンドとした場合、補間後のスペクトル分布は、図7
(b)に示すように、削除バンドである帯域B4、B
6、B8及びB10に、帯域B3、B5、B7及びB9
のスペクトル分布と実質的に同一の分布を有するスペク
トルが加えられたものとなる。
より、周波数の間引きを受ける前のPCM信号のスペク
トルに近いスペクトルが得られる。従って、シンセサイ
ザ45が出力するPCM信号を用いてオーディオ信号を
復元することにより、オーディオ信号が高音質で復元さ
れる。特に、帯域B3〜B11が、周波数の間引きを受
ける前のPCM信号の基本波成分を含まない帯域である
場合、補間後のスペクトル分布は、周波数の間引きを受
ける前のPCM信号のスペクトルに特に近いものとな
る。
のものに限られない。例えば、この音声信号処理装置は
音声圧縮部2や音声伸長部3を必ずしも備えている必要
はない。また、周波数間引き部1が周波数の間引きを行
う対象の信号や、周波数補間部4が周波数の補間を行う
対象の信号は、PCM信号である必要はなく、オーディ
オ信号を変調して得られる変調波である必要もない。
1)及び133−0〜133−(n−1)や、サンプラ
ー112−0〜112−n及び132−0〜132−n
や、加算器134−0〜134−(n−1)の機能を、
DSPやCPUが行ってもよい。また、周波数バンドマ
スキング部12は、相関係数に代えて、2個の帯域のス
ペクトルの相関を表す任意の数値を、両帯域スペクトル
分布に基づいて求め、高調波バンド(及び基本波バン
ド)の決定に用いてもよい。
号(PCM信号)に含まれる削除バンドの範囲は、時間
の経過につれ変動してもよい。従って、例えば図8
(a)〜(c)及び図9(a)に示すように、周波数間
引き部1が出力する信号は、削除バンドが帯域B4、B
6、B8及びB10である状態と、削除バンドが帯域B
5、B7、B9及びB11である状態とを、期間#1、
期間#2、期間#3、・・・の順で一定時間毎に交互に
繰り返すものであってもよい。また、削除バンドの範囲
は無作為に変動してもよい。従って、例えば、特定の期
間#1〜#8における削除バンドの範囲が図9(b)に
示す通りになっていてもよい。
M信号に含まれる削除バンドの範囲も、時間の経過につ
れ変動してもよい。従って、例えば図8(a)〜(c)
及び図9(a)に示すように、周波数補間部4に供給さ
れるPCM信号は、削除バンドが帯域B4、B6、B8
及びB10である状態と、削除バンドが帯域B5、B
7、B9及びB11である状態とを、期間#1、期間#
2、期間#3、・・・の順で一定時間毎に交互に繰り返
すものであってもよい。また、周波数補間部4に供給さ
れるPCM信号に含まれる削除バンドの範囲は無作為に
変動してもよい。従って、例えば、特定の期間#1〜#
8において周波数補間部4に供給されるPCM信号に含
まれる削除バンドの範囲が、図9(b)に示す通りにな
っていてもよい。
ンドを、周波数補間部4に供給されたPCM信号の過去
のスペクトルのうちから選択するようにしてもよい。具
体的には、例えば、削除バンドの範囲が図8(a)〜
(c)や図9(a)に示すように変動する場合、期間#
2における削除バンドである帯域B5、B7、B9及び
B11を補間するための補間用バンドとして、期間#1
における帯域B5、B7、B9及びB11を選択し、期
間#3における帯域B4、B6、B8及びB10を補間
するための補間用バンドとして、期間#2における帯域
B4、B6、B8及びB10を選択するようにしてもよ
い。
図10(a)〜(c)に示すように、期間#2における
削除バンドである帯域B5、B7、B9及びB11は、
期間#1における帯域B5、B7、B9及びB11のス
ペクトルを用いて補間される。また、期間#3における
帯域B4、B6、B8及びB10は、期間#2における
帯域B4、B6、B8及びB10のスペクトルを用いて
補間される。
る場合は、各々の期間における削除バンドを補間するた
めの補間用バンドとして、当該削除バンドと同一の帯域
が削除バンドでなくなるような過去の任意の期間におけ
る当該帯域を選択するようにしてもよい。
間部4に供給されたPCM信号の過去のスペクトルのう
ちから補間用バンドを選択する場合、周波数補間処理部
44は、補間用バンドのスペクトル分布を表す情報を、
スペクトル記憶部42より読み出して、削除バンドの補
間のために用いるようにすればよい。この場合、スペク
トル記憶部42は、スペクトル解析部43が選択した補
間用バンドのスペクトルを確実に記憶する程度に大きな
記憶容量を有していることが望ましい。
ンドを、周波数補間部4に供給されたPCM信号の将来
のスペクトルのうちから選択するようにしてもよい。具
体的には、例えば、削除バンドの範囲が図8(a)〜
(c)や図9(a)に示すように変動する場合、期間#
1における削除バンドである帯域B4、B6、B8及び
B10を補間するための補間用バンドとして、期間#2
における帯域B4、B6、B8及びB10を選択するよ
うにしてもよい。このように補間用バンドを選択したと
き、周波数補間処理部44は、例えば、期間#2におけ
るスペクトルを表す信号がアナライザ41から供給され
た時点で、スペクトル記憶部42より、期間#1におけ
るスペクトルを表す信号を読み出す。そして、読み出し
た信号を、アナライザ41から供給された期間#2のス
ペクトルを表す信号を用いて補間するものとする。この
結果、図10(a)及び(b)に示すように、期間#1
における削除バンドである帯域B4、B6、B8及びB
10は、期間#2における帯域B4、B6、B8及びB
10のスペクトルを用いて補間される。
削除バンドの範囲が無作為に変動する場合、各々の期間
における削除バンドを補間するための補間用バンドとし
て、当該削除バンドと同一の帯域が削除バンドでなくな
るような将来の任意の期間における当該帯域を選択する
ようにしてもよい。
が、この発明にかかる周波数間引き装置は、専用のシス
テムによらず、通常のコンピュータシステムを用いて実
現可能である。例えば、パーソナルコンピュータやマイ
クロコンピュータに上述のアナライザ11、周波数バン
ドマスキング部12及びシンセサイザ13の動作を実行
するためのプログラムを格納した媒体(CD−ROM、
MO、フロッピー(登録商標)ディスク等)から該プロ
グラムをインストールすることにより、上述の処理を実
行する周波数間引き部1を構成することができる。
S)に該プログラムを掲示し、これを通信回線を介して
配信してもよく、また、該プログラムを表す信号により
搬送波を変調し、得られた変調波を伝送し、この変調波
を受信した装置が変調波を復調して該プログラムを復元
するようにしてもよい。そして、このプログラムを起動
し、OSの制御下に、他のアプリケーションプログラム
と同様に実行することにより、上述の処理を実行するこ
とができる。
あるいは、OSが本願発明の1つの構成要素の一部を構
成するような場合には、記録媒体には、その部分をのぞ
いたプログラムを格納してもよい。この場合も、この発
明では、その記録媒体には、コンピュータが実行する各
機能又はステップを実行するためのプログラムが格納さ
れているものとする。
ば、信号を高率で圧縮するための周波数間引き装置及び
周波数間引き方法が実現される。また、この発明によれ
ば、オーディオ信号を高音質を保ちながら圧縮するため
の周波数間引き装置及び周波数間引き方法が実現され
る。
の構成を示す図である。
す図であり、(b)及び(c)は、間引き後のスペクト
ル分布の例を示す図である。
図であり、(b)は、補間後のスペクトル分布の例を示
す図である。
つれて変動するPCM信号のスペクトルを示す図であ
る。
につれて変動する様子を示す図である。
につれて変動するPCM信号が周波数の補間を受ける様
子を説明する図である。
−(n−1) 遅延部 112−0〜112−n、132−0〜132−n サ
ンプラー 113、131 フィルタバンク 12 周波数バンドマスキング部 13、45 シンセサイザ 134−0〜134−(n−1) 加算器 2 音声圧縮部 3 音声伸長部 4 周波数補間部 42 スペクトル記憶部 43 スペクトル解析部 44 周波数補間処理部
Claims (5)
- 【請求項1】間引き処理される対象である被処理信号の
スペクトルを表すスペクトル信号を生成するスペクトル
分布生成手段と、 前記スペクトル信号に基づき、前記スペクトルを含む帯
域のうちから、自己より低周波側の他の帯域との間で当
該スペクトルの成分の分布に互いに所定程度以上の強い
相関関係がない帯域を除く帯域を、当該スペクトルのう
ちの高調波成分を含む高調波帯域として特定する高調波
抽出手段と、 前記高調波抽出手段が特定した高調波帯域に含まれる前
記スペクトルの成分の一部を除去する間引き手段と、を
備える、 ことを特徴とする周波数間引き装置。 - 【請求項2】前記間引き手段は、前記高調波帯域に含ま
れる前記スペクトルの成分のうち特定の削除用帯域に含
まれる成分を除去し、前記削除用帯域に低周波数側で隣
接し、当該削除用帯域と実質的に同一の帯域幅を占める
帯域に含まれる成分を除去の対象から除外する、 ことを特徴とする請求項1に記載の周波数間引き装置。 - 【請求項3】前記被処理信号は、オーディオ信号により
PCM(Pulse Code Modulation)変調を行って得られ
るPCM信号より構成されている、 ことを特徴とする請求項1又は2に記載の周波数間引き
装置。 - 【請求項4】間引き処理される対象である被処理信号の
スペクトルを表すスペクトル信号を生成し、 前記スペクトル信号に基づき、前記スペクトルを含む帯
域のうちから、自己より低周波側の他の帯域との間で当
該スペクトルの成分の分布に互いに所定程度以上の強い
相関関係がない帯域を除く帯域を、当該スペクトルのう
ちの高調波成分を含む高調波帯域として特定し、 特定された前記高調波帯域に含まれる前記スペクトルの
成分の一部を除去する、 ことを特徴とする周波数間引き方法。 - 【請求項5】コンピュータを、 間引き処理される対象である被処理信号のスペクトルを
表すスペクトル信号を生成するスペクトル分布生成手段
と、 前記スペクトル信号に基づき、前記スペクトルを含む帯
域のうちから、自己より低周波側の他の帯域との間で当
該スペクトルの成分の分布に互いに所定程度以上の強い
相関関係がない帯域を除く帯域を、当該スペクトルのう
ちの高調波成分を含む高調波帯域として特定する高調波
抽出手段と、 前記高調波抽出手段が抽出した高調波帯域に含まれる前
記スペクトルの成分の一部を除去する間引き手段と、 して機能させるためのプログラムを記録したコンピュー
タ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000220742A JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
AU2001264294A AU2001264294A1 (en) | 2000-07-21 | 2001-06-15 | Frequency thinning device and method for compressing information by thinning outfrequency components of signal |
PCT/JP2001/005124 WO2002009091A1 (fr) | 2000-07-21 | 2001-06-15 | Dispositif d'amincissement de frequence et procede servant a comprimer des informations par amincissement de composantes de frequence du signal |
US10/333,471 US7184961B2 (en) | 2000-07-21 | 2001-06-15 | Frequency thinning device and method for compressing information by thinning out frequency components of signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000220742A JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002041098A true JP2002041098A (ja) | 2002-02-08 |
JP3576935B2 JP3576935B2 (ja) | 2004-10-13 |
Family
ID=18715291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000220742A Expired - Fee Related JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7184961B2 (ja) |
JP (1) | JP3576935B2 (ja) |
AU (1) | AU2001264294A1 (ja) |
WO (1) | WO2002009091A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005532580A (ja) * | 2002-07-08 | 2005-10-27 | テー−モビーレ ドイチェラント ゲーエムベーハー | 優先順位を定めるピクセル伝送方法に従ってオーディオ信号を伝送する方法 |
JP2008076636A (ja) * | 2006-09-20 | 2008-04-03 | Fujitsu Ltd | オーディオ信号補間方法及びオーディオ信号補間装置 |
JP2013007944A (ja) * | 2011-06-27 | 2013-01-10 | Sony Corp | 信号処理装置、信号処理方法、及び、プログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2255534B1 (en) * | 2008-03-20 | 2017-12-20 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding using bandwidth extension in portable terminal |
JP5511848B2 (ja) * | 2009-12-28 | 2014-06-04 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
WO2011121782A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士通株式会社 | 帯域拡張装置および帯域拡張方法 |
US9557358B2 (en) * | 2011-04-20 | 2017-01-31 | Tektronix, Inc. | Minimal reconfiguration spectrum stitching with overlapped bands |
US9264094B2 (en) * | 2011-06-09 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Voice coding device, voice decoding device, voice coding method and voice decoding method |
WO2021115912A1 (en) | 2019-12-09 | 2021-06-17 | Basf Se | Formulations comprising a hydrophobically modified polyethyleneimine and one or more enzymes |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6442938A (en) * | 1987-08-10 | 1989-02-15 | Nec Corp | Broad band high efficiency coding system using coder side channel band and its coding system |
JPS6442938U (ja) | 1987-09-09 | 1989-03-15 | ||
US5127054A (en) * | 1988-04-29 | 1992-06-30 | Motorola, Inc. | Speech quality improvement for voice coders and synthesizers |
EP0388043B1 (en) * | 1989-02-28 | 1995-12-06 | Canon Kabushiki Kaisha | System for processing a quantized vector |
JP2916160B2 (ja) * | 1989-03-09 | 1999-07-05 | 富士通株式会社 | 時間切替型帯域分割音声符号化方式および装置 |
JP3297751B2 (ja) | 1992-03-18 | 2002-07-02 | ソニー株式会社 | データ数変換方法、符号化装置及び復号化装置 |
JPH06289898A (ja) * | 1993-03-30 | 1994-10-18 | Sony Corp | 音声信号処理装置 |
US5623577A (en) * | 1993-07-16 | 1997-04-22 | Dolby Laboratories Licensing Corporation | Computationally efficient adaptive bit allocation for encoding method and apparatus with allowance for decoder spectral distortions |
JPH07273656A (ja) * | 1994-03-29 | 1995-10-20 | Sony Corp | 信号処理方法及び装置 |
DE69616139T2 (de) * | 1995-04-25 | 2002-03-14 | Matsushita Electric Industrial Co., Ltd. | System zum Einstellen der Tonqualität |
JPH10294668A (ja) * | 1997-04-22 | 1998-11-04 | Matsushita Electric Ind Co Ltd | オーディオ符号化データ復号化方法、オーディオ符号化データ復号化装置、及び記録媒体 |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
JP2000036755A (ja) * | 1998-05-15 | 2000-02-02 | Sony Corp | 符号変換方法及び装置、並びにプログラム供給媒体 |
JP2001083995A (ja) * | 1999-09-13 | 2001-03-30 | Matsushita Electric Ind Co Ltd | サブバンド符号化・復号方法 |
-
2000
- 2000-07-21 JP JP2000220742A patent/JP3576935B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-15 US US10/333,471 patent/US7184961B2/en not_active Expired - Lifetime
- 2001-06-15 AU AU2001264294A patent/AU2001264294A1/en not_active Abandoned
- 2001-06-15 WO PCT/JP2001/005124 patent/WO2002009091A1/ja active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005532580A (ja) * | 2002-07-08 | 2005-10-27 | テー−モビーレ ドイチェラント ゲーエムベーハー | 優先順位を定めるピクセル伝送方法に従ってオーディオ信号を伝送する方法 |
JP2008076636A (ja) * | 2006-09-20 | 2008-04-03 | Fujitsu Ltd | オーディオ信号補間方法及びオーディオ信号補間装置 |
JP2013007944A (ja) * | 2011-06-27 | 2013-01-10 | Sony Corp | 信号処理装置、信号処理方法、及び、プログラム |
US9324334B2 (en) | 2011-06-27 | 2016-04-26 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2002009091A1 (fr) | 2002-01-31 |
US7184961B2 (en) | 2007-02-27 |
JP3576935B2 (ja) | 2004-10-13 |
AU2001264294A1 (en) | 2002-02-05 |
US20030167164A1 (en) | 2003-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3576936B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
JP2904472B2 (ja) | ディジタル・オーディオ信号を効率的に圧縮するための方法、データ処理システムおよび装置 | |
EP1351401B1 (en) | Audio signal decoding device and audio signal encoding device | |
US7676361B2 (en) | Apparatus, method and program for voice signal interpolation | |
EP0657873B1 (en) | Speech signal bandwidth compression and expansion apparatus, and bandwidth compressing speech signal transmission method, and reproducing method | |
WO2002080146A1 (en) | Audio compression | |
JP3538122B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
WO2001097212A1 (fr) | Dispositif et procédé d'interpolation de fréquence | |
JP3576941B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
US20030220801A1 (en) | Audio compression method and apparatus | |
JP3576935B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
US20020169601A1 (en) | Encoding device, decoding device, and broadcast system | |
JP3576942B2 (ja) | 周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体 | |
KR100601748B1 (ko) | 디지털 음성 데이터의 부호화 방법 및 복호화 방법 | |
JP3576951B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
JP4645869B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
JP4256189B2 (ja) | 音声信号圧縮装置、音声信号圧縮方法及びプログラム | |
JP4538705B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
JP3624884B2 (ja) | 音声データ処理装置 | |
JP2000357969A (ja) | オーディオ信号の符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |