JP3412209B2 - Sound signal processing device - Google Patents
Sound signal processing deviceInfo
- Publication number
- JP3412209B2 JP3412209B2 JP28617593A JP28617593A JP3412209B2 JP 3412209 B2 JP3412209 B2 JP 3412209B2 JP 28617593 A JP28617593 A JP 28617593A JP 28617593 A JP28617593 A JP 28617593A JP 3412209 B2 JP3412209 B2 JP 3412209B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- analysis
- monaural
- acoustic
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Stereophonic System (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明はモノラル音響信号から生
成した擬似ステレオ信号を用いて擬似ステレオ音場再生
を行なう場合に用いられる音響信号処理装置、特に、人
間の声を良好に前方中央へ定位できるようにした擬似ス
テレオ音響信号を生成できる音響信号処理装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an acoustic signal processing apparatus used when reproducing a pseudo stereo sound field by using a pseudo stereo signal generated from a monaural sound signal, and more particularly to human voice satisfactorily localized to the front center. The present invention relates to an acoustic signal processing device capable of generating a pseudo stereo acoustic signal.
【０００２】[0002]
【従来の技術】電気音響変換器を用いて再生された再生
音によって、自然な感じの再生音場を得るための各種の
諸方式が提案されていることは周知のとおりである{ 電
気音響変換器からの再生音による音場再生の各種方式に
ついては、昭和５９年１１月１日にラジオ技術社から発
行された雑誌「ラジオ技術」１９８４年１１月号( 第３
８巻第１４号通巻４９１号 )の第８９頁〜第９６頁に詳
細に分類して記述されているので参照されるとよい}。
一方、近年来、再生画像についても、それの大画面化、
高画質化への要望が高まり、再生画像の高画質化が可能
な諸方式についての諸提案も色々となされるようになっ
て来たのに伴い、再生画像と再生音との双方を関連させ
たＡＶ対応のサラウンド( オーディオ・ビジュアル・サ
ラウンド…ＡＶサラウンド )システムについても関心が
寄せられるようなり、前方３チャンネル後方１チャンネ
ルのシステムによる臨場感のあるステレオ再生音場を構
成させるようにすることなどが試みられて来ている。2. Description of the Related Art It is well known that various methods have been proposed for obtaining a natural reproduced sound field by reproducing sound reproduced using an electroacoustic transducer. For various methods of reproducing the sound field by the sound reproduced from the container, see the magazine "Radio Gijutsu" issued by Radio Gijutsu on November 1, 1984, "Radio Gijutsu", November 1984 (3rd edition).
No. 8, No. 14, 491), pages 89 to 96, which are described in detail in detail.
On the other hand, in recent years, the size of the playback image has been increased,
As the demand for higher image quality has increased and various proposals have been made regarding various methods capable of improving the image quality of reproduced images, it has become possible to relate both reproduced images and reproduced sounds. Also, attention has been paid to an AV-compatible surround system (audio / visual surround ... AV surround), and it is possible to construct a stereo reproduction sound field with a realistic 3 channel front 3 channel rear system. Is being tried.
【０００３】また、家庭用のビデオ・テープ・レコーダ
の普及とともに、色々な分野における情報に関する多種
類の記録済み記録媒体も提供されるようになり、家庭に
おいても臨場感のあるステレオ再生音場中で再生画像を
観賞できるホームシアタを設けたいという希望も出始め
ている。ところで、前記した記録済み記録媒体には、過
去に作られた名作映画といわれている映画を記録したも
のもあり、それらの内には、動画像情報とモノラル音響
情報とからなる古い映画の記録済み記録媒体も含まれて
いるが、前記のように動画像情報に付随する音響情報が
モノラル音響情報の場合には、前記のように臨場感のあ
るステレオ再生音場を得られる再生装置を備えたホーム
シアタがあったとしても、モノラル音場の中でしか、そ
の映画を観賞できないことになる。しかし、このような
問題は、モノラル信号から擬似的なステレオ信号を生成
させて、その擬似的なステレオ信号によってステレオ再
生音場を形成させるという従来から知られている技術を
適用することにより、ある程度解決できる。With the widespread use of home video tape recorders, a wide variety of prerecorded recording media for information in various fields have also been provided. There is also a desire to set up a home theater where you can watch replay images. By the way, some of the recorded recording media described above have recorded movies called masterpiece movies made in the past, and among them, recording of old movies consisting of moving image information and monaural sound information is included. Although the recording medium is also included, when the acoustic information accompanying the moving image information is monaural acoustic information as described above, a reproduction device capable of obtaining a stereo reproduction sound field with a sense of presence as described above is provided. Even if there is a home theater, you can only watch the movie in the monaural sound field. However, such a problem is caused to some extent by applying a conventionally known technique of generating a pseudo stereo signal from a monaural signal and forming a stereo reproduction sound field by the pseudo stereo signal. Solvable.
【０００４】さて映画において動画像情報に付随する音
響情報は、登場人物の声、背景音、音楽などであるが、
前記した動画像情報に付随する音響情報の内で、登場人
物の声はもともと音場の拡がりを持っていないものであ
るから、前述のように映画の動画像情報に付随するモノ
ラル音響信号から擬似的なステレオ信号を生成させ、そ
の擬似的なステレオ信号によってステレオ再生音場を形
成させるという従来から知られている技術を適用した場
合には、もともと音場の拡がりを持っていない登場人物
の声の音像も拡がってしまい、不自然な感じになってし
まう。この問題は映画における動画像情報に付随するモ
ノラル音響信号から擬似的なステレオ信号を生成させ、
その擬似的なステレオ信号によってステレオ再生音場を
形成させる場合だけではなく、一般に、人間の音声情報
を含むモノラル音響信号から擬似的なステレオ信号を生
成させ、その擬似的なステレオ信号によってステレオ再
生音場を形成させる場合にも同様に生じる。In the movie, the acoustic information associated with the moving image information includes the voice of the characters, background sound, music, etc.
Of the acoustic information that accompanies the moving image information described above, the voices of the characters do not originally have a sound field spread, so as described above, the monaural acoustic signal that accompanies the moving image information of a movie is simulated. If a conventionally known technique of generating a stereophonic stereo signal and forming a stereo reproduction sound field from the pseudo stereo signal is applied, the voice of a character who does not originally have a wide sound field. The sound image of will also spread, and it will look unnatural. This problem is to generate a pseudo stereo signal from a monaural audio signal that accompanies moving image information in a movie,
Not only when the stereo reproduction sound field is formed by the pseudo stereo signal, but in general, a pseudo stereo signal is generated from a monaural audio signal including human voice information, and the stereo reproduction sound is generated by the pseudo stereo signal. The same occurs when forming a field.
【０００５】前記の問題を解決するために、例えば特公
昭５９ー２７１６０号公報，特開平５ー１９１８９６号
公報等に開示されているように、人間の音声信号を含む
モノラル音響信号から擬似的なステレオ信号を生成させ
る場合に、信号処理の対象にされているモノラル音響信
号中へ、人間の音声信号の占有周波数帯域と考えられる
周波数帯域の周波数成分が高レベルの状態で含まれてい
る際には、そのモノラル音響信号は人間の音声信号であ
ると判断し、その際のモノラル音響信号によっては、ス
テレオ再生音場の拡がりの中央に音像を定位させるよう
にするという手段を用いた解決手段が提案されている。In order to solve the above-mentioned problem, as disclosed in, for example, Japanese Patent Publication No. 59-27160 and Japanese Patent Application Laid-Open No. 5-191896, a pseudo-monaural sound signal including a human voice signal is simulated. When generating a stereo signal, when the monaural audio signal that is the target of signal processing contains a high level frequency component of the frequency band that is considered to be the occupied frequency band of a human voice signal. Determines that the monaural sound signal is a human voice signal, and depending on the monaural sound signal at that time, a solution using a means of localizing the sound image in the center of the expansion of the stereo reproduction sound field is Proposed.
【０００６】[0006]
【発明が解決しようとする課題】ところで、前記した従
来技術では信号処理の対象にされているモノラル音響信
号中に、人間の音声信号の占有周波数帯域と考えられる
周波数帯域の周波数成分が高レベルの状態で含まれてい
る際には、そのモノラル音響信号は人間の音声信号であ
ると判断するようにしているから、例えば、楽器音、あ
るいは効果音が前記した人間の音声信号の占有周波数帯
域と考えられる周波数帯域の周波数成分を高レベルの状
態で含んでいた場合でも、その状態のモノラル音響信号
が人間の音声信号であると判断してしまうために、擬似
ステレオ効果が抑圧されてしまうことになる。By the way, in the above-mentioned prior art, the frequency component of the frequency band considered to be the occupied frequency band of the human voice signal has a high level in the monaural audio signal which is the object of signal processing. When included in the state, since the monaural audio signal is determined to be a human voice signal, for example, an instrument sound, or a sound effect and the occupied frequency band of the human voice signal described above. Even if the frequency component of a possible frequency band is included in a high level state, it is determined that the monaural audio signal in that state is a human voice signal, and the pseudo stereo effect is suppressed. Become.
【０００７】[0007]
【課題を解決するための手段】本発明は音声情報を含む
モノラル音響信号から所定の時間長を有するように切出
して得た順次のフレーム信号についてフーリエ分析を行
なう第１の音響分析手段と、前記した順次のフレーム信
号について、人間の音声の発生過程を物理的にモデル化
したパラメトリック分析法によって音声分析を行なう第
２の音響分析手段と、前記した順次のフレーム信号にお
ける同一のフレーム信号について行なった第１，第２の
音響分析手段によるそれぞれの分析結果を比較して、前
記の分析が行なわれたフレーム信号が音声信号らしいか
否かの度合いを判定する音声信号の推量度判定手段とを
備えてなる音響信号処理装置、及び、前記した音声信号
の推量度判定手段により、信号処理の対象にされている
モノラル音響信号が音声信号らしいと判定された場合に
は、信号処理の対象にされているモノラル音響信号によ
って前方中央へ音像定位が行なわれ、また、前記した音
声信号の推量度判定手段により、信号処理の対象にされ
ているモノラル音響信号が音声信号以外の音響信号らし
いと判定された場合には、信号処理の対象にされている
モノラル音響信号によって擬似ステレオ音場再生が行な
われるようにモノラル音響信号を擬似ステレオ信号に変
換する手段とを備えてなる音響信号処理装置を提供す
る。According to the present invention, there is provided a first acoustic analysis means for performing a Fourier analysis on a sequential frame signal obtained by cutting out a monaural acoustic signal containing voice information so as to have a predetermined time length, Second acoustic analysis means for performing voice analysis on the generated sequential frame signals by a parametric analysis method in which the generation process of human voice is physically modeled, and the same frame signal in the sequential frame signals described above. And a sound signal estimation degree judging means for comparing the respective analysis results by the first and second acoustic analyzing means and judging whether or not the frame signal subjected to the analysis is likely to be a sound signal. And a monaural audio signal that is a target of signal processing by the audio signal estimation degree determining unit. If it is determined that the sound signal seems to be, the sound image localization is performed to the front center by the monaural sound signal that is the target of the signal processing, and the sound signal estimation unit determines that the sound signal is to be processed. If it is determined that the recorded monaural audio signal seems to be an audio signal other than the audio signal, the monaural audio signal is pseudo-stereo-processed so that the pseudo-stereo sound field reproduction is performed by the monaural audio signal subjected to the signal processing. An acoustic signal processing device comprising means for converting into a signal.
【０００８】[0008]
【作用】音声情報を含むモノラル音響信号から所定の時
間長を有するフレーム信号切出す。順次のフレーム信号
における各フレーム信号毎に、フーリエ分析を行なうと
ともに、人間の音声の発生過程を物理的にモデル化した
パラメトリック分析法によって音声分析を行なう。前記
した順次のフレーム信号における同一のフレーム信号に
ついて行なったフーリエ分析の結果と、人間の音声の発
生過程を物理的にモデル化したパラメトリック分析法に
よる音声分析の結果を比較して、前記の分析が行なわれ
たフレーム信号が音声信号らしいか否かの度合いを判定
して音声信号の推量度判定情報を発生させる。信号処理
の対象にされているモノラル音響信号が音声信号らしい
と判定された場合には、その際の音声信号の推量度判定
情報を用いてモノラル音響信号に対する信号処理を行な
って前方中央へ音像を定位させる。また、信号処理の対
象にされているモノラル音響信号が音声信号以外の音響
信号らしいと判定された場合には、その際の音声信号の
推量度判定情報を用いてモノラル音響信号に対して信号
処理を行ない、擬似ステレオ音場再生を行なう。A frame signal having a predetermined time length is cut out from a monaural audio signal containing voice information. The Fourier analysis is performed for each frame signal in the sequential frame signals, and the voice analysis is performed by the parametric analysis method in which the generation process of human voice is physically modeled. The above-mentioned analysis is performed by comparing the result of the Fourier analysis performed on the same frame signal in the above-mentioned sequential frame signals with the result of the voice analysis by the parametric analysis method that physically models the generation process of human voice. The degree of whether or not the performed frame signal seems to be a voice signal is determined, and the estimation degree determination information of the voice signal is generated. If it is determined that the monaural audio signal that is the target of the signal processing seems to be a voice signal, signal processing is performed on the monaural audio signal using the estimation degree determination information of the audio signal at that time to generate a sound image in the front center. Localize. Further, when it is determined that the monaural audio signal that is the target of the signal processing seems to be an audio signal other than the audio signal, the signal processing is performed on the monaural audio signal by using the estimation information of the audio signal at that time. To perform pseudo-stereo sound field reproduction.
【０００９】[0009]
【実施例】以下、添付図面を参照して本発明の音響信号
処理装置の具体的な内容を詳細に説明する。図１は本発
明の音響信号処理装置のブロック図、図２は音声信号の
推量度判定部の一例構成を示すブロック図、図３は再生
音場の説明図である。本発明の音響信号処理装置のブロ
ック図を示している図１において、１は音声情報を含む
モノラル音響信号の信号源、２はアナログデジタル変換
器、３は音声信号の推量度判定部（この音声信号の推量
度判定部３の具体的な構成例が図２に示されている)、
４は遅延部、５,６は信号形成部、７,８はデジタルアナ
ログ変換部、９は擬似ステレオ信号発生部、１０〜１３
は出力端子である。図１において、信号源１から送出さ
れた音声情報を含むモノラル音響信号は、アナログデジ
タル変換器によってデジタル信号に変換された後に、音
声信号の推量度判定部３の入力端子３ａと遅延部４とに
供給される。前記した遅延部４では信号源１から送出さ
れた音声情報を含むモノラル音響信号に対して、音声信
号の推量度判定部３における信号処理のために必要とさ
れる時間と対応する時間遅延を与えてから信号形成部
５，６に供給する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The concrete contents of the audio signal processing apparatus of the present invention will be described in detail below with reference to the accompanying drawings. FIG. 1 is a block diagram of an audio signal processing device of the present invention, FIG. 2 is a block diagram showing an example configuration of a sound signal estimation degree determination unit, and FIG. 3 is an explanatory diagram of a reproduced sound field. In FIG. 1, which shows a block diagram of an audio signal processing apparatus of the present invention, 1 is a signal source of a monaural audio signal containing audio information, 2 is an analog-digital converter, and 3 is a sound signal estimation unit (this audio A specific configuration example of the signal estimation degree determination unit 3 is shown in FIG. 2),
4 is a delay unit, 5 and 6 are signal forming units, 7 and 8 are digital-analog conversion units, 9 is a pseudo stereo signal generation unit, and 10 to 13
Is an output terminal. In FIG. 1, a monaural acoustic signal including audio information transmitted from a signal source 1 is converted into a digital signal by an analog-digital converter, and then an input terminal 3a and a delay unit 4 of an audio signal estimation unit 3 Is supplied to. The delay unit 4 gives a time delay corresponding to the time required for the signal processing in the estimation unit 3 of the audio signal to the monaural audio signal including the audio information transmitted from the signal source 1. Then, it is supplied to the signal forming units 5 and 6.
【００１０】前記した信号形成部５には、音声信号の推
量度判定部３の出力端子３ｃから音声信号の推量度情報
に基づいて発生された信号も供給されているから、この
信号形成部５では前記した遅延部４から供給されている
モノラル音響信号と、音声信号の推量度判定部３の出力
端子３ｃから供給されている信号とによって、擬似ステ
レオ信号を発生させるための信号を形成し、それをデジ
タルアナログ変換器７を介して擬似ステレオ信号発生部
９に与える。また、前記した信号形成部６には、音声信
号の推量度判定部３の出力端子３ｂから音声信号の推量
度情報に基づいて発生された信号も供給されているか
ら、この信号形成部６では前記した遅延部４から供給さ
れているモノラル音響信号と、音声信号の推量度判定部
３の出力端子３ｂから供給されている信号とによって、
再生音場における前方の中央位置のスピーカ（図３中の
Ｃ）を駆動するモノラル音響信号Ｃを形成し、それをデ
ジタルアナログ変換器８を介して出力端子１０に送出す
る。The signal forming section 5 is also supplied with a signal generated from the output terminal 3c of the audio signal estimation degree determining section 3 based on the audio signal estimation degree information. Then, a signal for generating a pseudo stereo signal is formed by the monaural acoustic signal supplied from the delay unit 4 and the signal supplied from the output terminal 3c of the estimation unit 3 of the audio signal, It is given to the pseudo stereo signal generator 9 via the digital-analog converter 7. Further, since the signal forming section 6 is also supplied with the signal generated based on the estimation information of the voice signal from the output terminal 3b of the voice signal estimation degree determining section 3, in the signal forming section 6, By the monaural sound signal supplied from the delay unit 4 and the signal supplied from the output terminal 3b of the estimation unit 3 of the audio signal,
A monaural acoustic signal C for driving a speaker (C in FIG. 3) at the center in the front of the reproduced sound field is formed, and is output to the output terminal 10 via the digital-analog converter 8.
【００１１】前記した擬似ステレオ信号発生部９では、
信号形成部５からデジタルアナログ変換器７を介して供
給された擬似ステレオ信号を発生させるための信号を用
いて擬似ステレオ信号を発生するが、この擬似ステレオ
信号発生部９としては、例えば特開平５ー１９１８９６
号公報の第２頁〜第３頁に記載のような周知の擬似ステ
レオ信号発生装置の内から適当な構成のものが選択使用
できる。なお、擬似ステレオ信号発生部９の出力端子１
１には擬似ステレオ信号における左チャンネル信号Ｌが
出力され、また擬似ステレオ信号発生部９の出力端子１
２には擬似ステレオ信号における右チャンネル信号Ｒが
出力され、さらに擬似ステレオ信号発生部９の出力端子
１３には再生音場の後方に配置されるサランドチャンネ
ル信号Ｓ（モノラル信号でよい）が出力される。前記し
た各出力端子１０〜１３から出力された各チャンネルの
信号は、図３中に示されている各チャンネルのスピーカ
２０〜２４に選択的に供給されて、視聴者Ｍに良好な再
生音場を与える。In the pseudo stereo signal generator 9 described above,
A pseudo stereo signal is generated by using the signal for generating the pseudo stereo signal supplied from the signal forming unit 5 through the digital-analog converter 7. The pseudo stereo signal generating unit 9 is, for example, Japanese Patent Laid-Open No. Hei 5 -191896
An appropriate one can be selected and used from the well-known pseudo-stereo signal generators described on pages 2 to 3 of the publication. The output terminal 1 of the pseudo stereo signal generator 9
1 outputs the left channel signal L in the pseudo stereo signal, and the output terminal 1 of the pseudo stereo signal generator 9
2 outputs the right channel signal R in the pseudo stereo signal, and further outputs the Sarand channel signal S (which may be a monaural signal) arranged behind the reproduced sound field to the output terminal 13 of the pseudo stereo signal generation unit 9. It The signals of the respective channels output from the output terminals 10 to 13 described above are selectively supplied to the speakers 20 to 24 of the respective channels shown in FIG. give.
【００１２】さて、図１に示す音響信号処理装置では、
信号処理の対象にされているモノラル音響信号が供給さ
れる音声信号の推量度判定部３が、信号処理の対象にさ
れているモノラル音響信号が音声信号らしいのか否かを
判定し、前記した音声信号の推量度判定部３において、
信号処理の対象にされているモノラル音響信号が音声信
号らしいと判定された場合には、信号処理の対象にされ
ているモノラル音響信号によって前方中央へ音像定位が
行なわれるような音響信号が作られ、また、前記した音
声信号の推量度判定部３において、信号処理の対象にさ
れているモノラル音響信号が音声信号以外の音響信号ら
しいと判定された場合には、信号処理の対象にされてい
るモノラル音響信号によって擬似ステレオ音場再生が行
なわれるような擬似ステレオ信号が作られるようにされ
ているが、前記した音声信号の推量度判定部３の具体的
な構成例について、図２を参照して説明する。Now, in the acoustic signal processing apparatus shown in FIG.
The audio signal estimation degree determination unit 3 to which the monaural audio signal targeted for signal processing is supplied determines whether or not the monaural audio signal targeted for signal processing seems to be a voice signal, and the above-mentioned audio In the signal estimation unit 3,
When it is determined that the monaural audio signal targeted for signal processing seems to be an audio signal, an audio signal is generated by the monaural audio signal targeted for signal processing to perform sound localization toward the front center. If the above-mentioned audio signal estimation unit 3 determines that the monaural audio signal targeted for signal processing seems to be an audio signal other than the audio signal, it is targeted for signal processing. A pseudo stereo signal for reproducing a pseudo stereo sound field is generated by a monaural audio signal. With reference to FIG. 2, a specific configuration example of the above-mentioned audio signal estimation degree determination unit 3 will be described. Explain.
【００１３】図２において、３ａは音声信号の推量度判
定部の入力端子、３ｂ，３ｃは出力端子であって、この
入出力端子３ａ，３ｂ，３ｃは図１中に音声信号の推量
度判定部３として示してあるブロック３における入出力
端子３ａ，３ｂ，３ｃと対応している。図２に示されて
いる音声信号の推量度判定部３において、１４はメモ
リ、１５は制御部、１６はモノラル音響信号から所定の
時間長を有するように切出して得た順次のフレーム信号
についてスペクトル分析を行なうフーリエ分析部、１７
は人間の音声の発生過程を物理的にモデル化したパラメ
トリック分析法によって音声分析を行なう音声分析部で
ある。また、１８は前記したフーリエ分析部１６におけ
る分析結果と、音声分析部１７における分析結果との比
較を行なう分析結果比較部、１９は前記した分析結果比
較部１８から出力される比較結果に基づいて、音声信号
の推量度情報を発生する音声信号の推量度情報発生部で
ある。In FIG. 2, reference numeral 3a is an input terminal of the voice signal estimation degree determination unit, and 3b and 3c are output terminals. The input / output terminals 3a, 3b and 3c are the voice signal estimation degree determination elements shown in FIG. It corresponds to the input / output terminals 3a, 3b, 3c in the block 3 shown as the section 3. In the speech signal estimation unit 3 shown in FIG. 2, 14 is a memory, 15 is a control unit, and 16 is a spectrum of sequential frame signals obtained by cutting a monaural audio signal so as to have a predetermined time length. Fourier analysis unit for performing analysis, 17
Is a voice analysis unit that performs voice analysis by a parametric analysis method that physically models the generation process of human voice. Further, 18 is an analysis result comparison unit for comparing the analysis result in the Fourier analysis unit 16 with the analysis result in the voice analysis unit 17, and 19 is based on the comparison result output from the analysis result comparison unit 18. A voice signal estimation information generating unit that generates voice signal estimation information.
【００１４】既述のように、信号源１から送出された音
声情報を含むモノラル音響信号が、アナログデジタル変
換器によってデジタル信号（デジタルデータ）に変換さ
れた後に、音声信号の推量度判定部３の入力端子３ａに
供給されると、そのデジタル信号はメモリ１４に記憶さ
れる。前記のメモリ１４へのデジタル信号の書込み動作
や、メモリ１４からのデジタル信号の読出し動作など
は、例えばマイクロプロセッサを含んで構成されている
制御部１５によって制御されている。前記した制御部１
５は、前記したメモリ１４の動作制御の他に、フーリエ
分析部１６，音声分析部１７，音声信号の推量度情報発
生部１９などの各構成部分に対する制御動作も行なう。As described above, after the monaural sound signal including the sound information sent from the signal source 1 is converted into a digital signal (digital data) by the analog-digital converter, the sound signal estimation unit 3 is determined. When the digital signal is supplied to the input terminal 3a, the digital signal is stored in the memory 14. The operation of writing a digital signal to the memory 14 and the operation of reading a digital signal from the memory 14 are controlled by the control unit 15 including a microprocessor, for example. The control unit 1 described above
In addition to the above-described operation control of the memory 14, the control unit 5 also performs control operations for the respective components such as the Fourier analysis unit 16, the voice analysis unit 17, the voice signal estimation information generation unit 19, and the like.
【００１５】音声信号の推量度判定部３のメモリ１４に
記憶された信号処理の対象にされているモノラル音響信
号と対応するデジタル信号は、制御部１５による制御動
作により、モノラル音響信号から所定の時間長を有する
ように切出された順次のフレーム信号とされるような状
態でメモリ１４から読出されて、フーリエ分析部１６と
音声分析部１７とに供給される。そして、フーリエ分析
部１６では、それに供給されたフレーム信号についてフ
ーリエ分析を行ない、また、音声分析部１７ではそれに
供給されたフレーム信号について人間の音声の発生過程
を物理的にモデル化したパラメトリック分析法によって
音声分析を行なう。音声分析部１７における音声分析
は、例えば線形予測分析、あるいは偏自己相関分析によ
って行なわれてもよい。The digital signal corresponding to the monaural audio signal, which is stored in the memory 14 of the audio signal estimation unit 3 and is to be subjected to signal processing, is controlled from the monaural audio signal by a control operation by the control unit 15. The frame signals are read out from the memory 14 and supplied to the Fourier analysis unit 16 and the voice analysis unit 17 in such a state that the frame signals are cut out so as to have a time length. Then, the Fourier analysis unit 16 performs a Fourier analysis on the frame signal supplied thereto, and the speech analysis unit 17 physically models the generation process of human speech about the frame signal supplied thereto by a parametric analysis method. Voice analysis is performed by. The voice analysis in the voice analysis unit 17 may be performed by, for example, linear prediction analysis or partial autocorrelation analysis.
【００１６】分析の対象にされた音響信号Ｘ(ｎ)に対し
て、フーリエ分析部１６で行なわれるフーリエ変換によ
る分析結果として、周波数スペクトル構造情報Ｘｆ
(ｗ）が得られ、また、分析の対象にされた音響信号Ｘ
(ｎ)に対して、音声分析部１７で行なわれる人間の音声
の発生過程を物理的にモデル化したパラメトリック分析
法による音声分析により、前記のモデルのパラメータか
ら周波数スペクトル構造情報Ｘｍ(ｗ）が得られたとし
た場合には、前記した２つの周波数スペクトル構造情報
Ｘｆ(ｗ），周波数スペクトル構造情報Ｘｍ(ｗ）が、制
御部１５による制御によって所定のタイミング関係で分
析結果比較部１８に供給される。分析結果比較部１８で
は、フーリエ分析部１６から出力された周波数スペクト
ル構造情報Ｘｆ(ｗ）と、音声分析部１７から出力され
た周波数スペクトル構造情報Ｘｍ(ｗ）との差を算出し
て、Ｘｆ(ｗ）−Ｘｍ(ｗ）を前記した２つの周波数スペ
クトル構造情報Ｘｆ(ｗ），周波数スペクトル構造情報
Ｘｍ(ｗ）の比較結果として出力して、それを音声信号
の推量度情報発生部１９に供給する。The frequency spectrum structure information Xf is obtained as the analysis result of the Fourier transform performed by the Fourier analysis unit 16 for the acoustic signal X (n) to be analyzed.
(w) is obtained, and the acoustic signal X targeted for analysis is obtained.
In contrast to (n), the frequency spectrum structure information Xm (w) is obtained from the parameters of the model by the voice analysis by the parametric analysis method which physically models the generation process of human voice performed in the voice analysis unit 17. In the case where it is obtained, the above-mentioned two frequency spectrum structure information Xf (w) and frequency spectrum structure information Xm (w) are supplied to the analysis result comparison unit 18 in a predetermined timing relationship under the control of the control unit 15. It The analysis result comparison unit 18 calculates the difference between the frequency spectrum structure information Xf (w) output from the Fourier analysis unit 16 and the frequency spectrum structure information Xm (w) output from the speech analysis unit 17, and calculates Xf (w) -Xm (w) is output as a comparison result of the above-mentioned two frequency spectrum structure information Xf (w) and frequency spectrum structure information Xm (w), and it is output to the speech signal estimation information generating unit 19. Supply.
【００１７】前記した分析結果比較部１８から出力され
る比較結果に基づいて、音声信号の推量度情報を発生す
る音声信号の推量度情報発生部１９では、それに供給さ
れたフーリエ分析部１６から出力された周波数スペクト
ル構造情報Ｘｆ(ｗ）と、音声分析部１７から出力され
た周波数スペクトル構造情報Ｘｍ(ｗ）との差の算出値
Ｘｆ(ｗ）−Ｘｍ(ｗ） に基づいて音声信号の推量度
情報αを発生する。フーリエ分析部１６の出力として得
られた周波数スペクトル構造情報Ｘｆ(ｗ）と、音声分
析部１７から出力された周波数スペクトル構造情報Ｘｍ
(ｗ）との差の算出値 Ｘｆ(ｗ）−Ｘｍ(ｗ） は、信
号処理の対象にされているモノラル音響信号が、人間の
音声だけによるモノラル音響信号の場合から、信号処理
の対象にされているモノラル音響信号が、人間の音声以
外の音響だけによるモノラル音響信号の場合との間の値
を示すから、前記の Ｘｆ(ｗ）−Ｘｍ(ｗ） の値によ
って、例えば音声信号の推量度情報αを、１から０まで
の間で変化している数値を有するものとして発生させる
ことができる。そして、前記した音声信号の推量度情報
αは、多くの実験結果を参照して適値に定められること
が望ましい。Based on the comparison result output from the analysis result comparison unit 18, the voice signal estimation information generating unit 19 which generates the voice signal estimation information outputs the Fourier analysis unit 16 supplied thereto. Calculated value of the difference between the generated frequency spectrum structure information Xf (w) and the frequency spectrum structure information Xm (w) output from the voice analysis unit 17.
The estimation information α of the audio signal is generated based on Xf (w) -Xm (w). The frequency spectrum structure information Xf (w) obtained as the output of the Fourier analysis unit 16 and the frequency spectrum structure information Xm output from the voice analysis unit 17
The calculated value Xf (w) −Xm (w) of the difference from (w) is selected as a target for signal processing from the case where the monaural sound signal targeted for signal processing is a monaural sound signal composed only of human voice. Since the monaural audio signal that is recorded has a value between that of the case where the monaural audio signal is only the sound other than the human voice, the value of Xf (w) -Xm (w) is used to estimate the audio signal, for example. The degree information α can be generated as having a numerical value varying between 1 and 0. Then, it is desirable that the above-mentioned estimation information α of the audio signal be set to an appropriate value with reference to many experimental results.
【００１８】前記した音声信号の推量度判定部３では、
それの出力端子３ｂから前記した音声信号の推量度情報
αの信号αを出力して信号形成部６に供給し、また、そ
れの出力端子３ｃから前記した音声信号の推量度情報α
を含む（１−α）の信号を出力して信号形成部５に供給
する。前記した信号形成部５，６には、信号源１から送
出された音声情報を含むモノラル音響信号に対して、既
述のように遅延部４によって音声信号の推量度判定部３
における信号処理のために必要とされる時間と対応する
時間遅延が与えられているモノラル音響信号が供給され
ているから、信号形成部５では前記した遅延部４から供
給されているモノラル音響信号と、音声信号の推量度判
定部３の出力端子３ｃから供給されている信号（１−
α）とによって、擬似ステレオ信号を発生させるための
信号を形成し、それをデジタルアナログ変換器７を介し
て擬似ステレオ信号発生部９に与える。In the above-mentioned speech signal estimation degree judging section 3,
The output terminal 3b outputs the signal α of the audio signal estimation information α and supplies the signal α to the signal forming unit 6, and the output terminal 3c outputs the audio signal estimation information α.
And outputs the signal of (1-α) to the signal forming unit 5. In the signal forming units 5 and 6 described above, with respect to the monaural audio signal including the audio information transmitted from the signal source 1, the delay unit 4 uses the estimation unit 3 of the audio signal by the delay unit 4 as described above.
Since the monaural acoustic signal provided with a time delay corresponding to the time required for the signal processing in the above is supplied to the signal forming unit 5 with the monaural acoustic signal supplied from the delay unit 4 described above. , The signal supplied from the output terminal 3c of the audio signal estimation unit 3 (1-
α) forms a signal for generating a pseudo stereo signal, and supplies it to the pseudo stereo signal generation unit 9 via the digital-analog converter 7.
【００１９】また、前記した信号形成部６には、音声信
号の推量度判定部３の出力端子３ｂから音声信号の推量
度情報に基づいて発生された信号αが供給されているか
ら、この信号形成部６では前記した遅延部４から供給さ
れているモノラル音響信号と音声信号の推量度判定部３
の出力端子３ｂから供給されている信号αとによって、
再生音場における前方の中央位置のスピーカ（図３中の
Ｃ）を駆動するモノラル音響信号Ｃを形成し、それをデ
ジタルアナログ変換器８を介して出力端子１０に送出す
る。なお、プログラムソースが映画の場合における人間
の声（台詞）の信号は、少なくとも数秒〜数十秒以上継
続するのが常であり、したがって、音声信号の推量度判
定部３から出力される音声信号の推量度情報は、時間軸
上で短時間で繰返し多数回変化することはない。それ
で、短時間内に音声信号の推量度判定部３から出力され
る音声信号の推量度情報が急激に変化するようなことが
起こった場合には、推量度判定部３での判定結果が異常
なものとして、前後のフレーム信号に関する推量度判定
部３での判定結果から音声信号の推量度情報を推定する
ようにする。Further, since the signal forming section 6 is supplied with the signal α generated from the output terminal 3b of the voice signal estimation degree judging section 3 based on the voice signal estimation information, this signal is generated. In the formation unit 6, the estimation unit 3 for estimating the monaural acoustic signal and the audio signal supplied from the delay unit 4 described above.
With the signal α supplied from the output terminal 3b of
A monaural acoustic signal C for driving a speaker (C in FIG. 3) at the center in the front of the reproduced sound field is formed, and is output to the output terminal 10 via the digital-analog converter 8. When the program source is a movie, the human voice (speech) signal usually lasts for at least several seconds to several tens of seconds, and therefore, the audio signal output from the audio signal estimation unit 3 The inference information of does not change many times repeatedly on a time axis in a short time. Therefore, if the estimation information of the audio signal output from the estimation unit 3 of the audio signal suddenly changes within a short time, the determination result of the estimation unit 3 is abnormal. As such, the estimation information of the audio signal is estimated from the determination result of the estimation unit 3 regarding the preceding and following frame signals.
【００２０】[0020]
【発明の効果】以上、詳細に説明したところから明らか
なように本発明の信号処理装置は、音声情報を含むモノ
ラル音響信号から所定の時間長を有するようにして切出
した順次のフレーム信号における各フレーム信号毎に、
フーリエ分析を行なうとともに、人間の音声の発生過程
を物理的にモデル化したパラメトリック分析法によって
音声分析を行なって、前記した順次のフレーム信号にお
ける同一のフレーム信号について行なったフーリエ分析
の結果と、人間の音声の発生過程を物理的にモデル化し
たパラメトリック分析法による音声分析の結果を比較し
て、前記の分析が行なわれたフレーム信号が音声信号ら
しいか否かの度合いを判定して音声信号の推量度判定情
報を発生させ、信号処理の対象にされているモノラル音
響信号が音声信号らしいと判定された場合には、その際
の音声信号の推量度判定情報を用いてモノラル音響信号
に対する信号処理を行ない、前記の信号処理が行なわれ
た音響信号によって前方中央へ音像定位が行なわれるよ
うにし、また、信号処理の対象にされているモノラル音
響信号が音声信号以外の音響信号らしいと判定された場
合には、その際の音声信号の推量度判定情報を用いてモ
ノラル音響信号に対する信号処理を行ない、前記の信号
処理が行なわれた音響信号によって擬似ステレオ音場再
生が行なわれるようにしたものであって、この本発明の
信号処理装置における人間の音声信号か否かの判別が、
既述したような従来技術のように、人間の音声信号の占
有周波数帯域と考えられる周波数帯域の周波数成分が高
レベルの状態で含まれている際に、そのモノラル音響信
号が人間の音声信号であると判断するような判断基準と
は全く異なる判断基準、すなわち、音声情報を含むモノ
ラル音響信号から切出された順次のフレーム信号におけ
る各フレーム信号毎のフーリエ分析結果と、人間の音声
の発生過程を物理的にモデル化したパラメトリック分析
法による音声分析結果との比較により、前記の分析が行
なわれたフレーム信号が音声信号らしいか否かの度合い
を判定しているので、従来技術では、例えば、楽器音、
あるいは効果音が前記した人間の音声信号の占有周波数
帯域と考えられる周波数帯域の周波数成分を高レベルの
状態で含んでいた場合にも、その状態のモノラル音響信
号は人間の音声信号であると判断されてしまって、擬似
ステレオ効果が抑圧されてしまうという問題点があった
のに、本発明においては、前記のような問題を生じるこ
とがなく、また、従来技術に比べて人間の声の音像の定
位を明確にできるとともに、人間の声以外の音響につい
ては擬似的なステレオ信号によって拡大されたステレオ
再生音場を形成させることができる。As is apparent from the above description in detail, the signal processing device of the present invention can be applied to each of successive frame signals cut out from a monaural audio signal containing audio information so as to have a predetermined time length. For each frame signal,
In addition to performing the Fourier analysis, the voice analysis is performed by the parametric analysis method in which the generation process of human voice is physically modeled, and the result of the Fourier analysis performed on the same frame signal in the above-mentioned sequential frame signal and The results of the voice analysis by the parametric analysis method that physically models the voice generation process are compared, and the degree of whether or not the frame signal subjected to the above analysis is likely to be a voice signal is judged to determine the voice signal. When it is determined that the monaural audio signal targeted for signal processing seems to be a voice signal by generating the estimation information, the signal processing for the monaural audio signal is performed using the estimation information of the audio signal at that time. Sound signal localization is performed by the acoustic signal subjected to the signal processing described above. When it is determined that the monaural audio signal to be processed seems to be an audio signal other than the audio signal, the signal processing for the monaural audio signal is performed using the estimation degree determination information of the audio signal at that time, and Pseudo stereo sound field reproduction is performed by an acoustic signal that has been subjected to signal processing, and whether or not a human voice signal in the signal processing device of the present invention is discriminated.
As in the prior art as described above, when the frequency component of the frequency band considered to be the occupied frequency band of the human voice signal is included in a high level state, the monaural audio signal is a human voice signal. A criterion that is completely different from the criterion for determining that there is, that is, the Fourier analysis result for each frame signal in the sequential frame signals cut out from the monaural audio signal containing the voice information, and the human voice generation process. By comparing with a voice analysis result by a parametric analysis method physically modeling the above, it is determined whether or not the frame signal subjected to the above analysis seems to be a voice signal. Instrument sound,
Alternatively, even if the sound effect contains a frequency component of a frequency band considered to be the occupied frequency band of the human voice signal in a high level state, it is determined that the monaural audio signal in that state is a human voice signal. However, in the present invention, the problem as described above does not occur, and the sound image of the human voice is reduced as compared with the prior art. Of the stereo reproduction sound field can be formed by the pseudo stereo signal for sounds other than the human voice.
【図１】本発明の音響信号処理装置のブロック図であ
る。FIG. 1 is a block diagram of an acoustic signal processing device of the present invention.
【図２】音声信号の推量度判定部の一例構成を示すブロ
ック図である。FIG. 2 is a block diagram showing an example configuration of a sound signal estimation degree determination unit.
【図３】再生音場の説明図である。FIG. 3 is an explanatory diagram of a reproduced sound field.
１…音声情報を含むモノラル音響信号の信号源、２…ア
ナログデジタル変換器、３…音声信号の推量度判定部、
４…遅延部、５，６…信号形成部、７,８…デジタルア
ナログ変換器、９…擬似ステレオ信号発生部、１４…メ
モリ、１５…制御部、１６…フーリエ分析部、１７…音
声分析部、１８…分析結果比較部、１９…推量度情報発
生部、２０〜２４…スピーカ、DESCRIPTION OF SYMBOLS 1 ... Signal source of a monaural audio signal containing audio information, 2 ... Analog-digital converter, 3 ... Audio signal estimation degree determination unit,
4 ... Delay unit, 5, 6 ... Signal forming unit, 7, 8 ... Digital-analog converter, 9 ... Pseudo stereo signal generating unit, 14 ... Memory, 15 ... Control unit, 16 ... Fourier analysis unit, 17 ... Voice analysis unit , 18 ... Analysis result comparison unit, 19 ... Inference degree information generation unit, 20-24 ... Speaker,
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04S 5/00 G10L 15/00 G10L 15/10 H04S 7/00 Front page continued (58) Fields surveyed (Int.Cl. 7 , DB name) H04S 5/00 G10L 15/00 G10L 15/10 H04S 7/00
Claims (2)
定の時間長を有するように切出して得た順次のフレーム
信号についてフーリエ分析を行なう第１の音響分析手段
と、前記した順次のフレーム信号について、人間の音声
の発生過程を物理的にモデル化したパラメトリック分析
法によって音声分析を行なう第２の音響分析手段と、前
記した順次のフレーム信号における同一のフレーム信号
について行なった第１，第２の音響分析手段によるそれ
ぞれの分析結果を比較して、前記の分析が行なわれたフ
レーム信号が音声信号らしいか否かの度合いを判定する
音声信号の推量度判定手段とを備えてなる音響信号処理
装置。1. A first acoustic analysis means for performing a Fourier analysis on a sequential frame signal obtained by cutting out a monaural acoustic signal containing audio information so as to have a predetermined time length, and the sequential frame signal described above. Second acoustic analysis means for performing speech analysis by a parametric analysis method in which a human voice generation process is physically modeled, and first and second acoustics performed for the same frame signal in the above-mentioned sequential frame signals. An audio signal processing apparatus comprising: an audio signal estimation degree judgment means for comparing the respective analysis results by the analysis means and for judging whether or not the frame signal subjected to the analysis is likely to be a voice signal.
定の時間長を有するように切出して得た順次のフレーム
信号についてフーリエ分析を行なう第１の音響分析手段
と、前記した順次のフレーム信号について、人間の音声
の発生過程を物理的にモデル化したパラメトリック分析
法によって音声分析を行なう第２の音響分析手段と、前
記した順次のフレーム信号における同一のフレーム信号
について行なった第１，第２の音響分析手段によるそれ
ぞれの分析結果を比較して、前記の分析が行なわれたフ
レーム信号が音声信号らしいか否かの度合いを判定する
音声信号の推量度判定手段と、前記した音声信号の推量
度判定手段により、信号処理の対象にされているモノラ
ル音響信号が音声信号らしいと判定された場合には、信
号処理の対象にされているモノラル音響信号によって前
方中央へ音像定位が行なわれ、また、前記した音声信号
の推量度判定手段により、信号処理の対象にされている
モノラル音響信号が音声信号以外の音響信号らしいと判
定された場合には、信号処理の対象にされているモノラ
ル音響信号によって擬似ステレオ音場再生が行なわれる
ようにモノラル音響信号を擬似ステレオ信号に変換する
手段とを備えてなる音響信号処理装置。2. A first acoustic analysis means for performing a Fourier analysis on a sequential frame signal obtained by cutting out a monaural acoustic signal containing audio information so as to have a predetermined time length, and the sequential frame signal described above. Second acoustic analysis means for performing speech analysis by a parametric analysis method in which a human voice generation process is physically modeled, and first and second acoustics performed for the same frame signal in the above-mentioned sequential frame signals. An audio signal estimation degree determination means for comparing the respective analysis results by the analysis means to determine the degree of whether or not the analyzed frame signal seems to be an audio signal, and the above audio signal estimation degree determination If the means determines that the monaural acoustic signal targeted for signal processing is likely to be an audio signal, it is targeted for signal processing. The sound image localization is performed to the front center by the monaural sound signal that is present, and it is determined that the monaural sound signal that is the target of the signal processing seems to be an acoustic signal other than the sound signal by the above-described sound signal estimation degree determining unit. In this case, the acoustic signal processing device is provided with means for converting the monaural acoustic signal into a pseudo stereo signal so that the pseudo stereo sound field reproduction is performed by the monaural acoustic signal subjected to the signal processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28617593A JP3412209B2 (en) | 1993-10-22 | 1993-10-22 | Sound signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28617593A JP3412209B2 (en) | 1993-10-22 | 1993-10-22 | Sound signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07123499A JPH07123499A (en) | 1995-05-12 |
| JP3412209B2 true JP3412209B2 (en) | 2003-06-03 |
Family
ID=17700919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28617593A Expired - Fee Related JP3412209B2 (en) | 1993-10-22 | 1993-10-22 | Sound signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3412209B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009039897A1 (en) | 2007-09-26 | 2009-04-02 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
| DE102007048973B4 (en) * | 2007-10-12 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a multi-channel signal with voice signal processing |
| EP2733965A1 (en) | 2012-11-15 | 2014-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a plurality of parametric audio streams and apparatus and method for generating a plurality of loudspeaker signals |
-
1993
- 1993-10-22 JP JP28617593A patent/JP3412209B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07123499A (en) | 1995-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Blauert | Communication acoustics | |
| CN103402169B (en) | For extracting and change the method and apparatus of reverberation content of audio input signal | |
| US10204614B2 (en) | Audio scene apparatus | |
| US7583805B2 (en) | Late reverberation-based synthesis of auditory scenes | |
| US8019093B2 (en) | Stream segregation for stereo signals | |
| US7412380B1 (en) | Ambience extraction and modification for enhancement and upmix of audio signals | |
| US6763115B1 (en) | Processing method for localization of acoustic image for audio signals for the left and right ears | |
| KR101764175B1 (en) | Method and apparatus for reproducing stereophonic sound | |
| CN100525101C (en) | Method and apparatus to record a signal using a beam forming algorithm | |
| US11317233B2 (en) | Acoustic program, acoustic device, and acoustic system | |
| JP2002169581A (en) | Method and device for voice synthesis | |
| JPH0997091A (en) | Method for pitch change of prerecorded background music and karaoke system | |
| JP2009531906A (en) | A method for binaural synthesis taking into account spatial effects | |
| JP5611970B2 (en) | Converter and method for converting audio signals | |
| US20070160216A1 (en) | Acoustic synthesis and spatialization method | |
| Lokki et al. | Subjective evaluation of auralization of physics-based room acoustics modeling | |
| JP2012509632A5 (en) | Converter and method for converting audio signals | |
| JP2006065100A (en) | Play back device and play back system | |
| WO2022014326A1 (en) | Signal processing device, method, and program | |
| JPH10336798A (en) | Sound field correction circuit | |
| JP3412209B2 (en) | Sound signal processing device | |
| JP4175376B2 (en) | Audio signal processing apparatus, audio signal processing method, and audio signal processing program | |
| CN110072181B (en) | Bass intensifying method and device | |
| JP2004039138A5 (en) | ||
| Kyriakakis et al. | Virtual microphones for multichannel audio applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100328 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |