JP3227291B2 - Data encoding device - Google Patents

Data encoding device

Info

Publication number
JP3227291B2
JP3227291B2 JP31612993A JP31612993A JP3227291B2 JP 3227291 B2 JP3227291 B2 JP 3227291B2 JP 31612993 A JP31612993 A JP 31612993A JP 31612993 A JP31612993 A JP 31612993A JP 3227291 B2 JP3227291 B2 JP 3227291B2
Authority
JP
Japan
Prior art keywords
data
compression
encoding device
human
masking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31612993A
Other languages
Japanese (ja)
Other versions
JPH07170194A (en
Inventor
大一 澤辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP31612993A priority Critical patent/JP3227291B2/en
Publication of JPH07170194A publication Critical patent/JPH07170194A/en
Application granted granted Critical
Publication of JP3227291B2 publication Critical patent/JP3227291B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は、データ符号化装置に
関するもので、特に、人間の視覚特性や聴覚特性等の感
覚特性を利用したデータ圧縮に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data encoding apparatus and, more particularly, to data compression utilizing sensory characteristics such as human visual characteristics and auditory characteristics.

【0002】[0002]

【従来の技術】ディジタルオーディオの分野では、ま
ず、CD、DAT等といったものがあった。これらの機
器は、物理的データをそのまま記録するものである。し
かし、実際人間がこの物理的データ全部を認識している
わけではない。また、人間の耳はすべての周波数の音に
対して均一な感度を持っているわけでもなく、感度の良
い周波数もあれば感度の悪い周波数もあり、それぞれの
周波数で、聴こえなくなる音のレベルを最小可聴限と呼
ぶ。これは、標準的な人の聴覚特性では、4kHz近傍
がもっとも感度が良く、図14のような曲線になる。ま
た、任意の周波数の音が耳に入力された場合、その音の
自分自身の周波数を含む近傍の周波数の音を聴こえなく
するこの効果をマスキングと呼ぶ。これは図15の曲線
のようになる。この曲線をマスキングカーブと呼び、こ
の曲線よりも小さな音は聴こえない。この2つの作用に
より図16のような曲線よりも小さな音は聴こえなくな
るので、この部分のデータ成分は人間によって、存在し
てもしなくても認識できない。この曲線のことを最小可
聴限を考慮に入れたマスキングカーブと呼ぶ。この認識
できないデータ成分は削除しても何ら影響はでない性質
を利用してデータ成分を削除することで、高い圧縮率で
データ圧縮が可能である。この様なデータ圧縮を行う装
置として、MPEG(Moving Pictures
ExpertGroup)/AUDIO、MD(Mi
ni Disk)、DCC(Digital Comp
act Cassette)等がある。
2. Description of the Related Art In the field of digital audio, first, there have been CDs, DATs and the like. These devices record physical data as it is. However, humans do not actually recognize all of this physical data. Also, the human ear does not have a uniform sensitivity to sounds of all frequencies, and some have high sensitivity and some have low sensitivity. Called the minimum audibility. In the standard human auditory characteristics, the sensitivity is highest near 4 kHz, and the curve is as shown in FIG. In addition, when a sound of an arbitrary frequency is input to the ear, this effect that makes it impossible to hear a sound of a nearby frequency including the own frequency of the sound is called masking. This results in the curve in FIG. This curve is called a masking curve, and sounds smaller than this curve cannot be heard. Due to these two actions, a sound smaller than the curve as shown in FIG. 16 cannot be heard, so that the data component of this portion cannot be recognized by a human, whether or not it exists. This curve is called a masking curve taking the minimum audibility into consideration. Data compression is possible at a high compression ratio by deleting the data component using the property that there is no effect even if the data component that cannot be recognized is deleted. An apparatus for performing such data compression is MPEG (Moving Pictures).
ExpertGroup) / AUDIO, MD (Mi
ni Disk), DCC (Digital Comp)
act cassette).

【0003】[0003]

【発明が解決しようとする課題】しかし、従来の方法で
は、単一の感覚特性モデルを基に圧縮を行っているが、
人間の感覚のバラツキは非常に大きい。例えば、最小可
聴限を考えてみると、すべての人間の最小可聴限が図1
4の曲線で表されるわけではない。図17のように低い
周波数に対して感度の良い人間もいれば、高い周波数に
対して感度の良い人間もいるし、マスキングに関しても
図18のようにモデルとしているマスキングカーブと異
なった特性をもっている人間もいるので、図19のよう
に異なった最小可聴限を考慮に入れたマスキングカーブ
を持つ人もいることになる。そのため、この例で取り上
げた聴感特性を持つ人間は、図19で最小可聴限を考慮
したマスキングの値がモデルよりも小さな値をとる部分
において元の音と圧縮伸長した音との差を感知する。そ
して、高い圧縮率を実現しようとした時、モデルとした
感覚特性を持つ人間に差が判るか判らないかの境界あた
りで圧縮を行なうことになるため、より差を感知しやす
くなる。また、この感知できるかできないかと言うこと
については、心理的な側面もある。つまり、感覚器官そ
のものは感知できるような差であったとしても、人間が
その差に気がつかないという状況が生じ得る。これは、
音楽などで聞いている人間が低中域に精神を集中してい
る時に、高域で本来気がつくはずのノイズなどの異音が
生じているにも関わらず聞きのがす現象のことである。
また、実際に音楽データを単位時間あたりの圧縮率を一
定に保ったままあるいは、圧縮率の下限を定めて圧縮し
ようとすれば、削除が可能なデータ成分だけではなく削
除すると削除したことがわかるようなデータ成分をも削
除する必要が生じることもある。このような時には、音
楽性や、高域部の伸びが欲しい、中低域のザラつきがな
い方がいい等といった個人の嗜好などを重視した方が、
聴く人にとっては、聴きやすいものになる。というの
は、普通音楽を聞く場合に原音と比較しながら聴くとい
うことはあまりないため、再生音が聴きやすい方が良い
からである。ところで、この個人の嗜好はバラツキが大
きいため、一つの感覚特性に基づいて圧縮を行うことは
できない。
However, in the conventional method, compression is performed based on a single sensory characteristic model.
The variation in human senses is very large. For example, considering the minimum audibility, the minimum audibility of all humans is shown in FIG.
4 is not represented by the curve. Some humans are sensitive to low frequencies as shown in FIG. 17, others are sensitive to high frequencies, and the masking has a characteristic different from the masking curve modeled as shown in FIG. 18. Since there are human beings, there are those who have masking curves taking into account different minimum audibility limits as shown in FIG. Therefore, the human having the auditory sensation characteristic taken in this example senses the difference between the original sound and the compressed and decompressed sound in a portion where the masking value taking into account the minimum audibility in FIG. 19 is smaller than the model. . When an attempt is made to achieve a high compression ratio, the compression is performed around the boundary of whether the difference can be recognized by a human having the modeled sensory characteristics, and the difference is more easily perceived. There is also a psychological aspect to whether or not this can be perceived. That is, even if the difference is such that the sensory organ itself can be perceived, a situation may occur in which a human does not notice the difference. this is,
When a person listening to music or the like concentrates his or her mind in the low-mid range, it is a phenomenon that is heard in spite of noise and other abnormal sounds that should be noticed in the high range.
Also, if you try to compress the music data while keeping the compression rate per unit time constant or by setting the lower limit of the compression rate, you can see that not only the data component that can be deleted but also that it is deleted Such data components may need to be deleted. In such a case, it is better to focus on individual tastes such as musicality, growth in the high frequency region, no roughening in the low and mid frequencies, etc.
For those who listen, it becomes easier to listen. This is because when listening to ordinary music, it is rare to listen to the original sound while comparing it with the original sound. By the way, since personal preferences vary widely, compression cannot be performed based on one sensory characteristic.

【0004】このようなアルゴリズムでは、再生状況に
よって、削除できるデータ成分が異なってくる。たとえ
ば、再生音場に定常的なノイズがあれば、そのノイズに
マスクされる音の成分は人間の耳には聴こえないので、
このようなデータ成分は削除できる。さらに、再生音場
によっては、反響、共鳴等の影響により、各周波数成分
の信号に変化が生じる。このように、再生時の信号成分
の大きさが変化するとマスクされるデータ成分が異なっ
てくる。信号成分と最小可聴限を考慮したマスキングの
値が異なると、すでに感覚特性に基づいているとは言い
難くなり、再生音として必要なデータ成分を削除してし
まうと言うことが生じる。また、再生時の信号成分の大
きさの変更は、聴く人の嗜好で低域周波数信号を大きく
したり、中域周波数信号を小さくしたりすることによっ
ても変化する。
In such an algorithm, the data components that can be deleted differ depending on the reproduction situation. For example, if there is stationary noise in the playback sound field, the sound components masked by the noise will not be heard by the human ear,
Such data components can be deleted. Further, depending on the reproduced sound field, the signal of each frequency component changes due to the influence of reverberation, resonance, and the like. As described above, when the magnitude of the signal component at the time of reproduction changes, the data component to be masked changes. If the signal component and the masking value in consideration of the minimum audibility limit are different, it is difficult to say that the signal component is already based on the sensory characteristic, and the data component necessary for the reproduced sound may be deleted. Further, the change in the magnitude of the signal component at the time of reproduction also changes by increasing the low-frequency signal or decreasing the middle-frequency signal depending on the taste of the listener.

【0005】[0005]

【課題を解決するための手段】本発明は、ディジタルデ
ータを人間の感覚特性に基づいて認識できないデータ成
分を削除することによって圧縮を行なうデータ符号化装
置に於いて、感覚特性に基づいてデータ成分を削除する
機能を有する複数の圧縮手段と、個別の具体的な使用者
の感覚特性を抽出する抽出手段と、該抽出手段により抽
出された結果に基づいて上記複数の圧縮手段のうちから
上記個別の具体的な使用者の感覚特性に合致する圧縮手
段を選択する選択手段とを備えたことを特徴とするデー
タ符号化装置を提供する。
SUMMARY OF THE INVENTION The present invention provides a digital
Data that cannot be recognized based on human sensory characteristics.
A data encoding device that performs compression by deleting minutes
Data components based on sensory characteristics
Multiple compression means with functions and individual specific users
Extraction means for extracting the sensory characteristics of
Based on the issued result, one of the plurality of compression means
Compressed hands that match the individual specific user sensory characteristics above
Data selecting means for selecting a step.
A coding device is provided.

【0006】本発明は、ディジタルデータを人間の感覚
特性に基づいて認識できないデータ成分を削除すること
によって圧縮を行なうデータ符号化装置に於いて、感覚
特性に基づいてデータ成分を削除する機能を有する複数
の圧縮手段と、個別の具体的な再生状況を解析する解析
手段と、該解析手段により解析された結果に基づいて上
記複数の圧縮手段のうちから上記個別の具体的な再生状
況に合致する圧縮手段を選択する選択手段とを備えたこ
とを特徴とするデータ符号化装置を提供する。
According to the present invention, digital data is transmitted to a human sense.
Deleting data components that cannot be recognized based on their characteristics
In a data encoding device that performs compression by
Multiple with function to delete data components based on characteristics
Analysis means to analyze specific compression conditions and individual playback conditions
Means based on the result analyzed by the analyzing means.
The above-mentioned individual concrete reproduction state is selected from the plurality of compression means.
Selection means for selecting a compression means that matches the situation.
And a data encoding device characterized by the following.

【0007】本発明は、ディジタルデータを人間の感覚
特性に基づいて認識できないデータ成分を削除すること
によって圧縮を行なうデータ符号化装置に於いて、感覚
特性に基づいてデータ成分を削除する機能を有する複数
の圧縮手段と、個別の具体的な使用者の嗜好を抽出する
抽出手段と、該抽出手段により抽出された結果に基づい
て上記複数の圧縮手段のうちから上記個別の具体的な使
用者の嗜好に合致する圧縮手段を選択する選択手段とを
備えたことを特徴とするデータ符号化装置を提供する。
According to the present invention, digital data is transmitted to a human sense.
Deleting data components that cannot be recognized based on their characteristics
In a data encoding device that performs compression by
Multiple with function to delete data components based on characteristics
Extraction means and individual specific user preferences
Extraction means, based on the result extracted by the extraction means
The individual specific use of the plurality of compression means.
Selection means for selecting compression means that matches the user's preference.
There is provided a data encoding device characterized by comprising:

【0008】[0008]

【0009】[0009]

【作用】本発明の符号化装置は、それぞれ異なった感覚
特性に基づく複数の圧縮方法を切替えることが可能とな
っており、それら圧縮方法のうちから1つを選択を行う
選択装置を持っている。入力のディジタル信号は、選択
装置で選択された圧縮方法に従って圧縮され、圧縮デー
タを生成する。これによって、圧縮の際に削除するデー
タ成分を変更することが可能となるので、個々人の聴覚
特性、嗜好の差異や再生状況の差異等による削除可能な
データ成分の変化に対応することが可能となる。
The encoding apparatus according to the present invention can switch between a plurality of compression methods based on different sensory characteristics, and has a selection device for selecting one of the compression methods. . The input digital signal is compressed according to the compression method selected by the selection device to generate compressed data. This makes it possible to change the data component to be deleted at the time of compression, so that it is possible to cope with a change in the data component that can be deleted due to the auditory characteristics of individuals, differences in tastes, differences in playback status, and the like. Become.

【0010】[0010]

【実施例】実施例1 本発明になる人間の感覚特性に基づくディジタルデータ
の符号化装置を音楽圧縮に応用した実施例を図面と共に
詳細に説明する。図1に、符号化装置の構成を示す。図
2に、図1の圧縮装置の構成を示す。図3に、圧縮装置
に対する伸長装置の構成を示す。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 An embodiment in which a digital data encoding device based on human sensory characteristics according to the present invention is applied to music compression will be described in detail with reference to the drawings. FIG. 1 shows the configuration of the encoding device. FIG. 2 shows the configuration of the compression device of FIG. FIG. 3 shows the configuration of the decompression device with respect to the compression device.

【0011】図1において、ディジタル音楽データは、
選択装置1に送られる。選択装置1では、複数の圧縮装
置2のうちどの圧縮装置1〜nを使用するかの選択が行
われ、ディジタル音楽データを選択した圧縮装置1〜n
のいづれかに転送する。それぞれの圧縮装置は、単体で
も圧縮が可能な前述の図2に示すような装置である。次
に、図2を用いて、この圧縮装置の動作を説明する。デ
ィジタル音楽データをサブバンド解析部3で、周波数サ
ブバンドデータを生成する。スケールファクタ計算部4
では、各サブバンドのデータの大きさから各サブバンド
のスケールファクタを算定する。マスキング計算部5で
は、サブバンドのデータと圧縮装置がモデルとした人間
の聴感特性に基づいて最小可聴限を考慮に入れたマスキ
ングの値を計算する。必要ビット数計算部6では、サブ
バンドデータとマスキングの値から、モデルとした人間
が圧縮伸長した音と原音とが区別できないようにするた
めには、各サブバンドに必要なビット数を計算する。こ
のビット数のことを必要ビット数と呼ぶ。ビット配分部
7では、各サブバンドの必要ビット数とシステム上の総
ビット数制限等から、モデルとした人の聴感特性に適す
るように実際に各サブバンドに割り当てるビット数を決
定する。量子化部8では、サブバンドデータ、スケール
ファクタ、割り当てビット数から各サブバンドデータの
量子化を行ない、圧縮データを作成する。そして、圧縮
データを図3のような伸長装置を用い伸長する。図3に
おいて、圧縮データは逆量子化部9で、各サブバンドデ
ータに戻される。そのサブバンドデータを、サブバンド
合成部10で合成し、再生音を生成する。尚、ここでの
サブバンドの圧縮装置の詳細については、特開平4ー2
50723に詳述されている。
In FIG. 1, digital music data is
It is sent to the selection device 1. The selection device 1 selects which one of the plurality of compression devices 2 to use from among the plurality of compression devices 2, and selects the compression device 1 to n from which digital music data is selected.
Transfer to any of Each of the compression devices is a device as shown in FIG. Next, the operation of the compression device will be described with reference to FIG. The digital music data is generated by the sub-band analyzer 3 to generate frequency sub-band data. Scale factor calculator 4
Then, the scale factor of each subband is calculated from the data size of each subband. The masking calculation unit 5 calculates a masking value in consideration of the minimum audibility based on the sub-band data and the human hearing characteristics modeled by the compression device. The necessary number of bits calculation unit 6 calculates the number of bits required for each subband so that the modeled human cannot distinguish between the original sound and the compressed and expanded sound from the subband data and the masking value. . This number of bits is called a necessary number of bits. The bit allocation unit 7 determines the number of bits actually allocated to each subband based on the required number of bits of each subband and the total number of bits on the system, etc., so as to be suitable for the model's human hearing characteristics. The quantization unit 8 quantizes each sub-band data from the sub-band data, the scale factor, and the number of bits to be allocated, and creates compressed data. Then, the compressed data is decompressed using a decompression device as shown in FIG. In FIG. 3, the compressed data is returned to each sub-band data by the inverse quantization unit 9. The sub-band data is synthesized by the sub-band synthesizing unit 10 to generate a reproduced sound. The details of the sub-band compression device are described in Japanese Patent Laid-Open No. 4-2.
50723.

【0012】従来技術で述べたように、人間の聴覚特性
は、最小可聴限やマスキングによって表され圧縮装置に
はモデルの最小可聴限やマスキング等のデータを持って
おり、それに基づいて圧縮を行っている。この符号化装
置は、複数の圧縮装置はそれぞれ異なった聴覚特性に基
づいている。ここで、説明のために、A氏という人を例
にとることにする。まず最小可聴限について述べる。A
氏の最小可聴限のカーブが図4の周波数特性を持つとす
る。この時、符号化装置が図5の(a)〜(d)の様な
異なる最小可聴限の特性の圧縮装置を持つとする。ここ
では、説明の簡単のため4種類のみを記す。この(a)
〜(d)の最小可聴限のカーブのうちから、A氏のカー
ブに近いものを選ぶ。同様に、マスキングカーブについ
ても適切なものを選択する。そうすると、図6のように
A氏の最小可聴限を考慮したマスキングカーブに近い最
小可聴限を考慮したマスキングカーブに基づいた圧縮装
置を用いて圧縮を行うことになる。つまり、同じ入力デ
ータに対して、それぞれの圧縮装置はモデルとする聴感
特性が異なっているため、それぞれの圧縮装置が作成す
る圧縮データも異なることになる。この圧縮データを図
3のような伸長装置を用いて伸長したデータは、使用し
た圧縮装置によって異なる。ここで、伸長したデータを
聴く人が自分の聴感特性に近い聴感特性モデルに基づく
圧縮装置を用いて圧縮を行なえば、削除されたデータ成
分と聴く人にとって聴こえないデータ成分が一致するこ
とになり、聴く人にとって非常に元データと識別しにく
い圧縮伸長音を得ることができる。
As described in the prior art, the human auditory characteristics are represented by the minimum audibility and masking, and the compression device has data such as the minimum audibility and masking of the model, and performs compression based on the data. ing. In this encoding device, the plurality of compression devices are based on different auditory characteristics. Here, for the sake of explanation, a person named Mr. A will be taken as an example. First, the minimum audible limit will be described. A
It is assumed that his minimum audible curve has the frequency characteristic shown in FIG. At this time, it is assumed that the encoding device has a compression device having different minimum audible characteristics as shown in FIGS. Here, only four types are described for simplicity of explanation. This (a)
A curve close to Mr. A's curve is selected from the minimum audible curves of (d). Similarly, an appropriate masking curve is selected. Then, as shown in FIG. 6, compression is performed using a compression device based on a masking curve that considers the minimum audibility that is close to the masking curve that considers Mr. A's minimum audibility. That is, for the same input data, since each compression device has a different auditory characteristic as a model, the compression data created by each compression device is also different. Data obtained by decompressing this compressed data using a decompression device as shown in FIG. 3 differs depending on the compression device used. Here, if a person who listens to the decompressed data performs compression using a compression device based on a perceptual characteristic model close to his / her own perceptual characteristic, the deleted data component and the data component that cannot be heard by the listener will match. Thus, it is possible to obtain a compressed / expanded sound that is very difficult for a listener to distinguish from the original data.

【0013】ここでは、音楽の圧縮について述べたが、
音楽を画像に置き換えても同様の効果を持つ符号化装置
を作る事ができる。
Here, music compression has been described.
Even if music is replaced with an image, an encoding device having the same effect can be produced.

【0014】実施例2 実施例1に於いては、いくつかの感覚特性等を表現する
ために複数の圧縮装置を用いたが、これらの圧縮装置間
で共通の部分が存在し、それを共通化することによりコ
ンパクトな符号化装置を構成することができる。この装
置に関する実施例を図面と共に詳細に説明する。図7
に、本実施例での符号化装置の構成を示す。
Second Embodiment In the first embodiment, a plurality of compression devices are used in order to express some sensory characteristics and the like. Thus, a compact encoding device can be configured. An embodiment relating to this apparatus will be described in detail with reference to the drawings. FIG.
The configuration of the encoding device according to the present embodiment is shown below.

【0015】図7において、デジタル音楽データは、符
号化装置のサブバンド解析部11に入力される。サブバ
ンド解析部11では、デジタル音楽データからサブバン
ドデータを生成する。スケールファクタ計算部12では
各サブバンドのデータの大きさからスケールファクタを
算定する。選択装置13では、複数のマスキング計算部
14のうちからどれを使用するかを選択し、サブバンド
データを選択したマスキング計算部に転送する。選択さ
れたマスキング計算部では、サブバンドデータ符号化装
置がモデルとしている聴覚特性から、マスキング値を計
算する。ここでは、図を簡単化するためにマスキング計
算部を3つ描いているが、このマスキング計算部は必要
な数だけ存在する。必要ビット長計算部15では、サブ
バンドデータとマスキングの値から各サブバンドデータ
がどの程度ビット数があれば、人間の聴感上問題無いか
を計算する。このビット数を必要ビット数という。ビッ
ト配分部16では、必要ビット数とシステム上の総ビッ
ト数制限等から実際に各サブバンドに割り当てるビット
数を決定する。量子化部17では、サブバンドデータ、
スケールファクタ、割り当てビット数から各サブバンド
データの量子化を行ない圧縮データを作成する。ところ
で、マスキング計算部14が複数あるが、同じ入力デー
タに対して、それぞれのマスキング計算部は異なった聴
感特性を基にして最小可聴限を考慮したマスキングの値
を計算するため、実際に選択されたマスキング計算部が
モデルとしている聴感特性に基づいてデータ成分の削除
が行われることになる。これによって、実施例1で複数
の圧縮装置を用いた時と同じように、同じ入力に対して
複数の最小可聴限を考慮したマスキングカーブを実現す
ることができる。この圧縮データを伸長したデータを聴
く人の聴感特性に近い聴感特性をモデルとしたマスキン
グ計算部を用いて圧縮を行なえば削除されたデータ成分
と聴く人にとって聴こえないデータ成分が良く一致する
ことになり、聴く人にとって非常に元データと識別しに
くい圧縮伸長音を得ることができる。
In FIG. 7, digital music data is input to a sub-band analyzer 11 of the encoding device. The sub-band analyzer 11 generates sub-band data from the digital music data. The scale factor calculator 12 calculates the scale factor from the size of the data of each subband. The selection device 13 selects which of the plurality of masking calculation units 14 to use, and transfers the sub-band data to the selected masking calculation unit. The selected masking calculation unit calculates a masking value from the auditory characteristics modeled by the subband data encoding device. Here, three masking calculation units are illustrated for the sake of simplicity, but there are as many masking calculation units as necessary. The required bit length calculation unit 15 calculates from the subband data and the masking value how many bits of each subband data will cause no problem in human hearing. This number of bits is called the required number of bits. The bit allocation unit 16 determines the number of bits to be actually allocated to each subband from the required number of bits and the total number of bits on the system. In the quantization unit 17, subband data,
Each sub-band data is quantized from the scale factor and the number of allocated bits to create compressed data. By the way, there are a plurality of masking calculation units 14, but for the same input data, each masking calculation unit is actually selected to calculate a masking value in consideration of the minimum audibility based on different auditory characteristics. The data component is deleted based on the audibility characteristics used as a model by the masking calculation unit. This makes it possible to realize a masking curve in consideration of a plurality of minimum audible limits for the same input, as in the case where a plurality of compression devices are used in the first embodiment. If compression is performed using a masking calculation unit that models the audibility characteristics of the listener who listens to the data obtained by expanding the compressed data, the deleted data components and the data components that cannot be heard by the listener match well. That is, it is possible to obtain a compressed / expanded sound that is very difficult for a listener to distinguish from the original data.

【0016】ここでは、マスキング計算部のみを選択す
るようにしたが、他の部分を選択するようにしても良い
し、また、各装置で演算で使用する変数の値を修正する
という方法を使う事も可能である。また、音楽の圧縮に
ついてのべたが、音楽を画像等に置き換えても同様の効
果を持つ符号化装置を作る事ができる。
Here, only the masking calculation section is selected. However, another section may be selected, or a method of correcting the value of a variable used in calculation in each device is used. Things are also possible. In addition, as for the compression of music, an encoding apparatus having the same effect can be produced even if music is replaced with an image or the like.

【0017】実施例3 実施例1、実施例2においては、選択装置の選択を手動
で行なっていたが、この選択は圧縮の基礎となっている
感覚特性のモデルが人間の感覚の曖昧さを含んでいるた
め難しい。そこで人間の感覚特性を抽出し、自動的に選
択する装置を付加することによって、効果のある圧縮を
選択することのできる装置を構成できる。図8に、付加
装置を含む本実施例での符号化装置の構成を示す。図9
に、感覚特性抽出装置を示す。また、実施例1、実施例
2と同様に音楽を対象にして説明を行う。
Third Embodiment In the first and second embodiments, the selection device is manually selected. However, this selection is based on the fact that the model of the sensory characteristic on which the compression is based has the ambiguity of the human sense. Difficult because it contains. Therefore, a device capable of selecting an effective compression can be configured by adding a device for automatically extracting a human sensory characteristic and automatically selecting the same. FIG. 8 shows a configuration of an encoding device according to the present embodiment including an additional device. FIG.
Fig. 2 shows a sensory characteristic extracting device. Further, the description will be given for music as in the first and second embodiments.

【0018】個々の人間18は、感覚器官の特性や心理
的情報等の圧縮の基になる感覚特性の情報を持ってい
る。この個々人の感覚特性の情報を感覚特性抽出装置1
9で抽出する。この感覚特性抽出装置のを図9に示す。
この装置では正弦波音源生成器22で様々な正弦波等の
テスト用データを作成、あるいは蓄積データから選択使
用する。そのテスト音を音響装置23を用いて対象とな
る人間24に聴かせる。人間24はこのテスト音がどの
ように聞こえるかを入力装置25に入力する。このデー
タを基に最小可聴限データ作成部26で、最小可聴限を
考慮したマスキングデータを作成する。ここで、テスト
音を周波数の正弦波とし、それぞれの周波数で、どの程
度の大きさの音まで聴こえるかを調べれば、最小可聴限
の値を調べることができる。また2つの周波数のことな
る正弦波をテスト音とすることによっておおよそのマス
キングの値を調べることができる。そして、その最小可
聴限やマスキング等の抽出された情報を基に最適圧縮装
置選択装置20で、切替え装置付符号化器21が持って
いる圧縮方法のうち最適なものを選択する。この選択方
法の例としては、聴く人間とそれぞれの圧縮装置がモデ
ルとしている感覚特性の最小可聴限やマスキングのそれ
ぞれの周波数における誤差の緩和がもっとも小さいもの
を選ぶことで選択を行う。切替え装置付符号化器は、実
施例1、実施例2等に示した符号化装置で、最適圧縮装
置選択装置が選択した圧縮に基づいて入力のデジタル音
楽データの圧縮を行ない、圧縮データを出力する。
Each human 18 has information on sensory characteristics which are the basis of compression, such as characteristics of sensory organs and psychological information. The information of the individual's sensory characteristics is used to extract the sensory characteristic extracting device 1.
Extract at 9. FIG. 9 shows this sensory characteristic extracting device.
In this apparatus, the sine wave sound source generator 22 creates test data such as various sine waves or selects and uses the data from accumulated data. The target person 24 listens to the test sound using the acoustic device 23. The human 24 inputs to the input device 25 how this test sound is heard. Based on this data, the minimum audible data creating unit 26 creates masking data considering the minimum audibility. Here, the test sound is a sine wave of frequency, and by examining how much sound can be heard at each frequency, the minimum audible value can be checked. By using a sine wave having two different frequencies as a test sound, an approximate masking value can be checked. Then, based on the extracted information such as the minimum audibility and the masking, the optimum compression device selection device 20 selects the optimum compression method among the compression methods of the encoder 21 with the switching device. As an example of this selection method, the selection is performed by selecting the one that has the smallest audibility of the sensory characteristics and the least error mitigation at each frequency of masking, which are modeled by the listening person and each compression device. The encoder with the switching device is the encoding device shown in the first or second embodiment, and performs compression of input digital music data based on the compression selected by the optimal compression device selecting device, and outputs compressed data. I do.

【0019】ここでは、音楽の圧縮について述べたが、
音楽を画像等に置き換えても同様の効果を持つ符号化装
置を作る事ができる。
Here, music compression has been described.
Even if music is replaced with an image or the like, an encoding device having the same effect can be produced.

【0020】実施例4 本発明になる人間の感覚特性に基づくディジタルデータ
の符号化装置に、再生状況を考慮に入れた装置を付加し
た装置を音楽の圧縮に応用した実施例を図面と共に詳細
に説明する。図10に、本実施例での符号化装置の構成
を示す。
Embodiment 4 An embodiment in which an apparatus in which a device taking into account the reproduction situation is added to a digital data encoding device based on human sensory characteristics according to the present invention and applied to music compression will be described in detail with reference to the drawings. explain. FIG. 10 shows a configuration of an encoding device according to the present embodiment.

【0021】図10において、テスト音生成装置27で
は、再生状況を調べるための様々な周波数の正弦波等の
テスト音を生成する。このテスト音を音響装置28を用
いて空間音波に変換する。この空間音波を音場29に伝
送する。この音場29では、聴く人間再生状況を表すも
ので、部屋でスピーカーシステムを用いる場合、部屋の
空間的広がりや形状、壁材による反響、外部からのノイ
ズ等の要素について考える必要がある。ヘッドホンを用
いるならば、ヘッドホンの形状、耳や顔の形状、外部か
らのノイズ等の要素に加え、他人がいる所で使うことも
考えられるので、音の漏洩についても留意する必要があ
る。また、聴く音はこの音場の状況だけではなく音響装
置そのものの特性にも影響される。そこで、音場解析部
30では、音響装置の物理的特性と従来ホールの設計な
どで用いられている音線法、鏡像法、有限要素法等を用
いた解析結果から再生状況をデータ化する。また、テス
ト音がどのような音に聴こえるかを実際にマイクロフォ
ン31で音を拾う。最適圧縮装置選択部32では、マイ
クロフォン31で拾った音と元のテスト音の違いと、音
場解析部30のデータから物理的に聴こえ難くなる音あ
るいは聴こえなくなる音、逆に強調される音等を調べ、
切替え装置付符号化装置33の持つ圧縮装置のうちもっ
とも適したものを選択する。この選択方法の例として
は、再生状況で物理的に聴こえないデータ成分があるな
らば、最小可聴限の値を、再生状況を考慮せずに選択し
た最小可聴限の値と聴こえないデータ成分の値のうち大
きい方を選択して作成した最小可聴限のデータに近い最
小可聴限のデータを持つ圧縮装置を選択する等といった
方法がある。切替え装置付符号化装置33は、実施例
1、実施例2に示した符号化装置で、最適圧縮装置選択
装置が選択した圧縮に基づいて入力のデジタル音楽デー
タの圧縮を行ない、圧縮データを出力する。
In FIG. 10, a test sound generation device 27 generates test sounds such as sine waves of various frequencies for checking a reproduction state. The test sound is converted into a spatial sound wave using the acoustic device 28. This spatial sound wave is transmitted to the sound field 29. The sound field 29 represents the state of human reproduction when listening. When a speaker system is used in a room, it is necessary to consider factors such as the spatial spread and shape of the room, the reverberation due to wall materials, and external noise. If headphones are used, in addition to factors such as the shape of the headphones, the shape of the ears and the face, and noise from the outside, it is also conceivable that the headphones are used where others exist, so it is necessary to pay attention to sound leakage. Further, the sound to be heard is affected not only by the state of the sound field but also by the characteristics of the acoustic device itself. Therefore, the sound field analysis unit 30 converts the reproduction state into data based on the physical characteristics of the acoustic device and the analysis results using a sound ray method, a mirror image method, a finite element method, and the like used in the design of a conventional hall. In addition, the microphone 31 actually picks up the sound as to what kind of sound the test sound sounds. In the optimum compression device selection unit 32, the difference between the sound picked up by the microphone 31 and the original test sound, the sound that is physically hard to hear or the sound that cannot be heard from the data of the sound field analysis unit 30, and the sound emphasized conversely Examine
The most suitable compression device is selected from the compression devices of the encoding device 33 with the switching device. As an example of this selection method, if there is a data component that is not physically audible in the reproduction situation, the value of the minimum audibility is determined by the value of the minimum audibility selected without considering the reproduction situation and the value of the inaudible data component. There is a method of selecting a compression device having the minimum audible data close to the minimum audible data created by selecting the larger one of the values. The encoding device with switching device 33 is the encoding device shown in the first and second embodiments, and compresses the input digital music data based on the compression selected by the optimal compression device selecting device, and outputs the compressed data. I do.

【0022】ここで、再生音場に図11のような定常ノ
イズが発生しているとすると、その定常ノイズによって
マスクされる部分が生じる。そのため、図11のマスキ
ングカーブよりも小さな音は聴こえなくなる。これは、
聴覚特性で聴こえないものとは別に考えることができる
ので、図12のように最小可聴限を考慮したマスキング
カーブよりもこの定常ノイズによるマスキングカーブの
方が大きい部分では、さらに削除しても良いデータ成分
が生じる。また、再生音場における共鳴や音響装置など
で、人為的に各周波数の信号の大きさを変更した時、各
周波数の信号成分の大きさが変化する。ところで、圧縮
に用いるマスキングカーブというのは信号に応じて変化
するため、図13のようにカーブが変わってしまう。こ
れを考慮せずに圧縮伸長してしまうと、圧縮時のマスキ
ングカーブと再生時のマスキングカーブとずれているた
め、再生時に必要なデータ成分が圧縮時に削除されてし
まう。このとき、この変更されたマスキングカーブに近
い特性を持つ圧縮装置を選択して、圧縮を行ってやれば
再生時に必要なデータ成分が削除されることがなくな
る。
Here, if it is assumed that stationary noise is generated in the reproduced sound field as shown in FIG. 11, a portion masked by the stationary noise occurs. Therefore, sounds smaller than the masking curve in FIG. 11 cannot be heard. this is,
Since it can be considered separately from those which cannot be heard due to the auditory characteristics, in the portion where the masking curve due to the stationary noise is larger than the masking curve considering the minimum audibility as shown in FIG. Ingredients form. Further, when the magnitude of the signal of each frequency is artificially changed by resonance in a reproduction sound field, an acoustic device, or the like, the magnitude of the signal component of each frequency changes. By the way, since the masking curve used for compression changes according to the signal, the curve changes as shown in FIG. If the compression and decompression are performed without taking this into account, the masking curve at the time of compression and the masking curve at the time of reproduction are shifted, so that data components required at the time of reproduction are deleted at the time of compression. At this time, if a compression device having characteristics close to the changed masking curve is selected and compression is performed, data components required for reproduction will not be deleted.

【0023】ここでは、音楽の圧縮について述べたが、
音楽を画像等に置き換えても同様の効果を持つ符号化装
置を作る事ができる。
Here, music compression has been described.
Even if music is replaced with an image or the like, an encoding device having the same effect can be produced.

【0024】[0024]

【発明の効果】本発明によれば、圧縮装置を選択するこ
とによって、圧縮率を下げることなく、人間の感覚の個
体差を吸収することができる。これにより、現在の人間
の感覚特性を利用した圧縮方法では、元のデータと圧縮
伸長されたデータとを比較して違和感を感じている人間
の個体数を減らすことができる。
According to the present invention, by selecting a compression device, individual differences in human sensation can be absorbed without lowering the compression ratio. As a result, in the current compression method using human sensory characteristics, the number of individuals who feel uncomfortable can be reduced by comparing the original data with the compressed and expanded data.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実施例1に係る符号化装置の構成を示す図であ
る。
FIG. 1 is a diagram illustrating a configuration of an encoding device according to a first embodiment.

【図2】実施例1に係る圧縮装置の構成を示す図であ
る。
FIG. 2 is a diagram illustrating a configuration of a compression device according to the first embodiment.

【図3】実施例1に係る伸長装置の構成を示す図であ
る。
FIG. 3 is a diagram illustrating a configuration of a decompression device according to the first embodiment.

【図4】実施例1に係る人間A氏の最小可聴限特性を示
す図である。
FIG. 4 is a diagram illustrating a minimum audible limit characteristic of the person A according to the first embodiment.

【図5】実施例1に係る圧縮装置が持つ最小可聴限のモ
デル例を示す図である。
FIG. 5 is a diagram illustrating an example of a minimum audible model of the compression device according to the first embodiment;

【図6】実施例1において最終的に選択されたモデルの
最小可聴限を考慮に入れたマスキングカーブと人間A氏
の最小可聴限を考慮に入れたマスキングカーブを示す図
である。
FIG. 6 is a diagram showing a masking curve taking into account the minimum audibility of the model finally selected in Example 1 and a masking curve taking into account the minimum audibility of human A;

【図7】実施例2に係る符号化装置の構成を示す図であ
る。
FIG. 7 is a diagram illustrating a configuration of an encoding device according to a second embodiment.

【図8】実施例3に係る符号化装置の構成を示す図であ
る。
FIG. 8 is a diagram illustrating a configuration of an encoding device according to a third embodiment.

【図9】実施例3に係る感覚特性抽出装置の構成を示す
図である。
FIG. 9 is a diagram illustrating a configuration of a sensory characteristic extracting device according to a third embodiment.

【図10】実施例4に係る符号化装置の構成を示す図で
ある。
FIG. 10 is a diagram illustrating a configuration of an encoding device according to a fourth embodiment.

【図11】音場における定常ノイズの一例とそれに基づ
くマスキングカーブの一例を示す図である。
FIG. 11 is a diagram showing an example of stationary noise in a sound field and an example of a masking curve based on the stationary noise.

【図12】ノイズのある音場におけるマスキングカーブ
と最小可聴限を考慮に入れたマスキングカーブの一例を
示す図である。
FIG. 12 is a diagram showing an example of a masking curve in a sound field having noise and a masking curve taking a minimum audibility into consideration.

【図13】信号が変化した時の最小可聴限を考慮に入れ
たマスキングカーブの変化を表すマスキングカーブの一
例を示す図である。
FIG. 13 is a diagram showing an example of a masking curve representing a change in a masking curve in consideration of a minimum audibility when a signal changes.

【図14】最小可聴限を示す図である。FIG. 14 is a diagram showing a minimum audible limit.

【図15】マスキングカーブを示す図である。FIG. 15 is a diagram showing a masking curve.

【図16】最小可聴限を考慮に入れたマスキングカーブ
を示す図である。
FIG. 16 is a diagram showing a masking curve taking the minimum audibility into consideration.

【図17】最小可聴限の特性の変動の一例を示す図であ
る。
FIG. 17 is a diagram illustrating an example of a change in minimum audible characteristic.

【図18】モデルのマスキングカーブと聴く人のマスキ
ングカーブの一例を示す図である。
FIG. 18 is a diagram illustrating an example of a masking curve of a model and a masking curve of a listener.

【図19】モデルの最小可聴限を考慮に入れたマスキン
グカーブと聴く人のマスキングカーブの一例を示す図で
ある。
FIG. 19 is a diagram showing an example of a masking curve taking a minimum audibility limit of a model into consideration and a masking curve of a listener.

【符号の説明】[Explanation of symbols]

1 選択装置 2 圧縮装置 3 サブバンド解析部 4 スケールファクタ計算部 5 マスキング計算部 6 必要ビット長計算部 7 ビット配分部 8 量子化部 9 逆量子化部 10 サブバンド合成部 REFERENCE SIGNS LIST 1 selection device 2 compression device 3 sub-band analysis unit 4 scale factor calculation unit 5 masking calculation unit 6 required bit length calculation unit 7 bit allocation unit 8 quantization unit 9 inverse quantization unit 10 sub-band synthesis unit

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−7023(JP,A) 特開 昭63−200633(JP,A) 特開 平2−34038(JP,A) 特開 平3−80713(JP,A) 特開 平2−108119(JP,A) 特開 平3−116197(JP,A) 特開 平1−221100(JP,A) 実開 平2−35362(JP,U) 実開 昭62−127175(JP,U) (58)調査した分野(Int.Cl.7,DB名) H03M 7/30 G10L 19/00 G11B 20/10 341 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-63-7223 (JP, A) JP-A-63-200633 (JP, A) JP-A-2-34038 (JP, A) JP-A-3-3 80713 (JP, A) JP-A-2-108119 (JP, A) JP-A-3-116197 (JP, A) JP-A-1-221100 (JP, A) JP-A-2-35362 (JP, U) 62-127175 (JP, U) (58) Fields investigated (Int. Cl. 7 , DB name) H03M 7/30 G10L 19/00 G11B 20/10 341

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 ディジタルデータを人間の感覚特性に基
づいて認識できないデータ成分を削除することによって
縮を行なうデータ符号化装置に於いて、 感覚特性に基づいてデータ成分を削除する機能を有する
複数の圧縮手段と、個別の具体的な 使用者の感覚特性を抽出する抽出手段
と、 該抽出手段により抽出された結果に基づいて上記複数の
圧縮手段のうちから上記個別の具体的な使用者の感覚特
性に合致する圧縮手段を選択する選択手段とを備えたこ
とを特徴とするデータ符号化装置。
1. A digital data at the data encoding device for performing <br/> compression by removing data component that can not be recognized based on the sensory properties of the human, deletes the data components based on the sensory properties a plurality of compression means having a function, the individual specific among individual concrete extracting means for extracting the sensory characteristics of the user, the extraction of the plurality of compression means based on the result extracted by means User's sensory characteristics
Data encoding apparatus characterized by comprising a selection means for selecting the compressing means conforming to gender.
【請求項2】 ディジタルデータを人間の感覚特性に基
づいて認識できないデータ成分を削除することによって
縮を行なうデータ符号化装置に於いて、感覚特性に基づいてデータ成分を削除する機能を有する
複数の圧縮手段と、 個別の具体的な再生状況を解析する解析手段と、 該解析手段により解析された結果に基づいて上記複数の
圧縮手段のうちから上記個別の具体的な再生状況に合致
する圧縮手段を選択する選択手段とを備えたことを特徴
とするデータ符号化装置
2. A digital data at the data encoding device for performing <br/> compression by removing data component that can not be recognized based on the sensory properties of the human, deletes the data components based on the sensory properties Have a function
A plurality of compression means; an analysis means for analyzing a specific reproduction state of each of the plurality of compression means; and the plurality of compression means based on a result analyzed by the analysis means.
Matches the above-mentioned specific playback conditions among compression means
Selecting means for selecting a compressing means to perform.
Data encoding device .
【請求項3】 ディジタルデータを人間の感覚特性に基
づいて認識できないデータ成分を削除することによって
圧縮を行なうデータ符号化装置に於いて、 感覚特性に基づいてデータ成分を削除する機能を有する
複数の圧縮手段と、 個別の具体的な使用者の嗜好を抽出する抽出手段と、 該抽出手段により抽出された結果に基づいて上記複数の
圧縮手段のうちから上記個別の具体的な使用者の嗜好に
合致する圧縮手段を選択する選択手段とを備えたことを
特徴とするデータ符号化装置
3. The method according to claim 1, wherein the digital data is based on human sensory characteristics.
By removing unrecognizable data components
Data encoding device that performs compression has a function to delete data components based on sensory characteristics
A plurality of compression means; an extraction means for extracting individual specific user preferences; and the plurality of compression means based on a result extracted by the extraction means.
Among the compression means, the individual specific user preferences described above
Selection means for selecting a matching compression means.
Characteristic data encoding device .
JP31612993A 1993-12-16 1993-12-16 Data encoding device Expired - Fee Related JP3227291B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31612993A JP3227291B2 (en) 1993-12-16 1993-12-16 Data encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31612993A JP3227291B2 (en) 1993-12-16 1993-12-16 Data encoding device

Publications (2)

Publication Number Publication Date
JPH07170194A JPH07170194A (en) 1995-07-04
JP3227291B2 true JP3227291B2 (en) 2001-11-12

Family

ID=18073578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31612993A Expired - Fee Related JP3227291B2 (en) 1993-12-16 1993-12-16 Data encoding device

Country Status (1)

Country Link
JP (1) JP3227291B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051164A (en) * 2000-05-24 2002-02-15 Victor Co Of Japan Ltd Audio contents auditioning system, system server, and portable telephone
FR2867649A1 (en) * 2003-12-10 2005-09-16 France Telecom OPTIMIZED MULTIPLE CODING METHOD
ATE540477T1 (en) * 2004-06-07 2012-01-15 Agency Science Tech & Res SYSTEMS FOR SCALABLE CODING AND DECODING OF DATA
JP5071479B2 (en) 2007-07-04 2012-11-14 富士通株式会社 Encoding apparatus, encoding method, and encoding program
JP5262171B2 (en) 2008-02-19 2013-08-14 富士通株式会社 Encoding apparatus, encoding method, and encoding program
JP2015227912A (en) * 2014-05-30 2015-12-17 富士通株式会社 Audio coding device and method

Also Published As

Publication number Publication date
JPH07170194A (en) 1995-07-04

Similar Documents

Publication Publication Date Title
KR100636213B1 (en) Method for compensating audio frequency characteristic in real-time and sound system thereof
US8873763B2 (en) Perception enhancement for low-frequency sound components
US9848266B2 (en) Pre-processing of a channelized music signal
JP2000505277A (en) Bass enhancement device and method
KR20070065401A (en) A system and a method of processing audio data, a program element and a computer-readable medium
JP3765622B2 (en) Audio encoding / decoding system
WO2007083201A1 (en) A device for and a method of processing an audio data stream
US6865430B1 (en) Method and apparatus for the distribution and enhancement of digital compressed audio
KR20190005565A (en) Sound output apparatus and signal processing method thereof
CN111161699A (en) Method, device and equipment for masking environmental noise
JP2001343997A (en) Method and device for encoding digital acoustic signal and recording medium
US10978040B2 (en) Spectrum matching in noise masking systems
JP3227291B2 (en) Data encoding device
Fierro et al. Adaptive loudness compensation in music listening
Stuart Coding for high-resolution audio systems
JP3284176B2 (en) Audio equipment
US6128593A (en) System and method for implementing a refined psycho-acoustic modeler
JP3605706B2 (en) Sound signal reproducing method and apparatus
WO2002058053A1 (en) Encoding method and decoding method for digital voice data
JP4185984B2 (en) Sound signal processing apparatus and processing method
JP4311541B2 (en) Audio signal compression device
JP3780343B2 (en) Electroacoustic transducer / regenerator and its nonlinear distortion reduction method
WO2021111965A1 (en) Sound field generation system, sound processing apparatus, and sound processing method
Suzuki et al. Audio object individual operation and its application to earphone leakage noise reduction
TW200407027A (en) Advanced technique for enhancing delivered sound

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070831

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080831

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080831

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090831

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees