JP3793245B2 - 音声信号弁別装置及びオーディオ装置 - Google Patents
音声信号弁別装置及びオーディオ装置 Download PDFInfo
- Publication number
- JP3793245B2 JP3793245B2 JP17420994A JP17420994A JP3793245B2 JP 3793245 B2 JP3793245 B2 JP 3793245B2 JP 17420994 A JP17420994 A JP 17420994A JP 17420994 A JP17420994 A JP 17420994A JP 3793245 B2 JP3793245 B2 JP 3793245B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- audio signal
- audio
- probability
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 title claims description 115
- 238000001514 detection method Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/046—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Noise Elimination (AREA)
Description
【産業上の利用分野】
本発明は、オーディオ信号受信用の入力端子と、この入力端子で受信したオーディオ信号が音声信号である確率を表わす確率指示信号を生じる出力端子とを有する音声信号弁別装置に関するものである。
本発明は更に、このような音声信号弁別装置を有するオーディオ装置にも関するものである。
【0002】
【従来の技術】
上述した種類の音声信号弁別装置及びオーディオ装置は1968年発行の文献“Rundfunktechnische Mitteilungen ”;Band12;Heft 6, の第 288〜291 頁から既知である。この既知の音声信号弁別装置はラジオ受信機において音楽信号から音声(スピーチ)信号を弁別するようになっている。音声信号が検出されると、受信信号は再生音声信号の明瞭度を改善するように処理される。音楽信号が検出さると、受信信号に、音楽信号の受信の場合に用いるのに特に適した処理が行なわれる。
【0003】
この既知の音声信号弁別装置では、音楽信号の振幅は一般に徐々に減少し、一方、音声信号の振幅は一般に急激に減少するという事実を用いている。これらの徐々の減少が検出され、各検出時にパルスを生じる信号が積分される。この積分信号は、受信オーディオ信号が音声信号であるか音楽信号であるかを表わす。
【0004】
【発明が解決しようとする課題】
しかし、この既知の音声信号弁別装置には、比較的多数の場合に(3%)、積分信号が受信オーディオ信号の種類(音楽か音声)を正しく指示しないという欠点がある。
【0005】
本発明の目的は、音声信号と音楽信号との間のより一層信頼的な弁別が得られる音声信号弁別装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明は、オーディオ信号受信用の入力端子と、この入力端子で受信したオーディオ信号が音声信号である確率を表わす確率指示信号を生じる出力端子とを有する音声信号弁別装置において、
受信信号の周波数スペクトルの第1部分における信号電力とこの周波数スペクトルの第2部分における信号電力との比を表わす分析信号を生じる分析回路と、分析信号における信号パターンが音声信号に生じる確率と音声信号とは異なる他の信号に生じる確率とが相違しているこれら信号パターンを検出する信号パターン検出器と、これら信号パターンの検出に応じて確率指示信号を生ぜしめる評価手段とが設けられていることを特徴とする。
【0007】
本発明は、音声信号に対するスペクトルの異なる部分における信号電力間の比の変化パターンは他の信号に対するパターンと明瞭に異なるという事実の認識を基に成したものである。本発明による装置では、時間範囲や周波数範囲を考慮して確率指示信号を取出すものであり、これによりこの取出しの信頼性を高める。
【0008】
本発明による装置は更に、受信信号の強度が確率指示信号に殆ど影響を及ぼさないという利点を有する。この利点は、確率指示信号が信号電力間の比から取出され、この電力比は受信信号の強度に依存しないという事実により得られる。
【0009】
欧州特許出願公開第EP−A−0,398,180 号明細書には、信号弁別の目的で周波数スペクトルの異なる部分の信号電力間の比を用いる弁別装置が開示されている。しかし、この装置は音声信号における有声信号と無声信号との間の弁別の為の装置であり、音声信号自体と他の信号との間の弁別の為の装置ではない。
【0010】
音声信号の特性は短期間で順次に現われる電力比変化にある。音声信号の他の特性は電力比が短期間で瞬時的に減少するということである。音声信号の特性パターンは原理的にこれらのパターンに限定されるものではない。しかし、これらのパターンは簡単に検出しうるという利点がある。
【0011】
確率指示信号は一種類の特性パターンの検出に基づくようにすることができる。しかし、確率指示信号の発生に2種類以上の特性パターンを用いれば、信頼性が可成り増大する。
【0012】
【実施例】
図1は本発明による音声(スピーチ)信号弁別装置を示す。この装置はオーディオ信号を受信する入力端子1を有する。この入力端子1を経て受信されるオーディオ信号は分析回路2に供給される。この分析回路2は受信したオーディオ信号から、この受信信号の周波数スペクトルの第1部分における信号電力とこの周波数スペクトルの第2部分における信号電力との比を表わす分析信号NAを生じる。
【0013】
この周波数スペクトルの第1部分は音声信号の周波数成分が集中している周波数範囲を有する。この周波数範囲の適切な下限及び上限はそれぞれ70Hz及び700Hzである。第2部分は音声信号中に生じる比較的わずかな周波数成分を含むオーディオスペクトルの一部分を有している。
【0014】
適切な周波数範囲は全オーディオスペクトルから 130〜1200Hzの周波数範囲を除外したものである。図2は、70及び700Hz間の周波数成分の信号電力と 130及び 1200 Hz間の周波数範囲の外部のオーディオ信号の周波数成分の信号電力との間の比を表わす分析信号を生じる分析回路2の一例を示す。図2に示す分析回路2は70〜700Hzの通過帯域を有する帯域通過フィルタ20を具えている。このフィルタ20はオーディオ信号を受ける入力端子1に接続された入力端子を有する。このフィルタ20により濾波されたオーディオ信号はその信号電力を決定する為にこのフィルタの出力端子を経て検出器21に供給される。
【0015】
図2に示す分析回路は更にいわゆる浴槽状の周波数応答曲線を有するフィルタ22を具え、このフィルタにより 130〜1200Hzの周波数範囲の外部の周波数を昇圧させる。このフィルタ22の入力端子は入力端子1に接続されている。このフィルタ22により濾波された信号はこの信号の信号電力を決定する為にこのフィルタ22の出力端子を経て検出器23に供給される。通常の種類の回路24が検出器21及び23の出力信号から検出器21によって決定される信号電力と検出器23によって決定される信号電力との比を生ぜしめる。この電力比を表わす分析信号はこの回路24の出力端子を経て生ぜしめられる。
【0016】
図2に示す例は分析信号を生ぜしめる回路の可能な多くの例のうちの1つにすぎないことに注意すべきである。可能な他の例に対しては例えば前述した欧州特許出願公開第EP−A− 0,398,180号明細書を参照しうる。
【0017】
図3は回路24から生ぜしめられる分析信号NAによって表わされる電力比(SAMP)変化の一例を示す。音声信号に対する場合しばしばそうであるように、信号の周波数成分のすべてがフィルタ20の帯域幅内にある場合、電力比は最大となる。この最大値は、これらの周波数成分がフィルタ22を透過する程度に依存する。
【0018】
オーディオ信号が一般に音楽信号の場合のようにフィルタ20の帯域幅の外部の多くの周波数成分を有する場合には、電力比は小さな値に減少する。音声信号、特にいわゆる摩擦音の場合にも、電力比が小さな広帯域信号が生じる為、この電力比に基づいて、受信オーディオ信号の特性に関し信頼性のある判定が行なわれないおそれがある。
【0019】
音声信号の特性を表わす電力比パターンは、電力比に多数の短時間で順次の急速な変化が生じるパターンである。関連のオーディオ信号が音声信号である確率は、この変化の個数が増大するにつれて増大する。電力比の急速な変化とは、所定の時間内で電力比の値が上側しきい値よりも高い値から下側しきい値よりも低い値に、又はその逆に変化することを意味するものとする。音声信号の他の特性は、破裂音に先行する短かい休止により或いは短かい摩擦音により生じる、電力比の瞬時的な減少である。音声の特性を表わす電力比パターンは上述した2つのパターンに限定されるものではないことに注意すべきである。しかし、上述した2つのパターンはこれらを簡単な手段により検出しうるという利点を有する。
【0020】
音楽信号の特性は例えば、長く続く楽音が例えば長時間の間低い電力比を生じるということにある。極めて低い電力比を生じる極めて高いピッチの楽音及び極めて低いピッチの楽音も音楽信号の特性である。音楽の特性であるパターンは上述したパターンに限定されないこと当業者にとって明らかである。
【0021】
図1における符号3は信号パターン検出器を示し、この検出器は特性パターン、例えば音声特性パターンを検出する。これらのパターンに対しては、これらのパターンが音声信号に対し生じる確率が音声信号でない他の信号、例えば音楽信号に対し生じる確率と相違する。
【0022】
信号パターン検出器3は検出信号sf1,------ ,sfnを評価回路4に供給する。これら検出信号は、音声信号に対し生じる可能性が他の信号に対し生じる可能性よりも大きいパターンが検出されたことを表わす。
信号パターン検出器3は音声特性パターンに加えて音楽特性パターンを検出するようにしうる。検出信号mf1,-----,mfmは評価回路4に供給され、これら検出信号は、音楽信号に対し生じる可能性が他の信号に対し生じる可能性よりも高いパターンが検出されたことを表わす。
【0023】
評価回路4は検出信号sf1,---- ,sfn及びmf1,---- ,mfmの1つ以上に応じて確率指示信号Vpを生じる。この確率指示信号は入力端子1で受けるオーディオ信号が音声信号である確率を表わす。確率指示信号Vpは出力端子5を経て生ぜしめられる。確率指示信号Vpを取出す適切な基準は例えば、音声特性及び又は音楽特性現象の検出周波数間の明瞭な関係を与える基準としうる。従って、例えば、検出された音声特性パターンの個数と音楽特性パターンの個数との間の差を順次の各期間中決定することができる。この場合、異なる形態のパターンに異なる重みを割当てることができる。更に、確率指示信号Vpの信頼性は検出される異なる形態の特性パターンが多くなるにつれて増大する。しかし、原理的には1種類の特性パターンを検出すれば充分である。
【0024】
更に、確率指示信号Vpを取出すのは、分析信号における特性パターンのみを検出することに基づく代りに、例えば前述した文献“Rundfunktechnische Mitteilungen ”に記載されているように、分析信号における特性パターンの検出及びオーディオ信号自体における特性現象の検出に基づいて行なうこともできる。
【0025】
確率指示信号Vpを取出すための他の適切な基準を図4につき詳細に説明する。図4は、検出信号sf1及びmf1と、関連の確率指示信号Vpとを時間tの関数として示す。検出信号st1の各パルスは、所定の形態の音声特性パターンが電力間の比で検出されたことを表わす。検出信号mf1の各パルスは、所定の形態の音楽特性パターンが電力比で検出されたことを表わす。
【0026】
確率指示信号Vpを取出すに当っては、確率指示信号Vpの値が検出信号sf1の各パルスに応答して所定の第1の値だけ増大される。又、確率指示信号Vpの値は検出信号mf1の各パルスに応答して所定の第2の値だけ減少される。本例では、第2の値が第1の値に等しい。第1及び第2の値は互いに等しくする必要がないこと明らかである。本例では、音声信号の受信中単位時間当り生じる電力比での検出可能な音声特性パターンの個数は音声信号の受信中単位時間当り生じる電力比での検出可能な音楽特性パターンの個数よりも多いものと仮定した。これを補償する為に、検出信号にパルスがない場合に確率指示信号Vpの値を徐々に減少させる。
【0027】
多数の音声特性パターンが電力比で検出され、いかなる音楽特性パターンも全く或いは殆ど検出されない場合には、受信信号が音声信号である確率が高いと仮定しうる。この場合、確率指示信号Vpは高くなる。これとは逆に、電力比での音声特性パターンが無い場合、受信オーディオ信号が音声信号であるという確率は小さい。この場合、確率指示信号Vpの値が小さくなる。従って、信号Vpは、受信オーディオ信号が音声信号である確率を表わす。極めて多数の音声特性パターンが検出される音声信号の受信後に音楽信号の受信が続く場合には、確率指示信号Vpが受信音楽信号に相当する値に到達するのに可成りの時間を要する。このことは、確率指示信号Vpの最大値を制限することにより排除しうる。同様な理由で、確率指示信号Vpの最小値を制限するのも有利である。
【0028】
図5は、第1の形態の音声特性パターンの検出を表わす検出信号sf1のパルス及び第2の形態の音声特性パターンの検出を表わす検出信号sf2のパルスに応答して確率指示信号Vpの値を増大させる場合の確率指示信号Vpの変化を示す。
【0029】
検出器21及び23により検出される電力のレベルが低い場合には、その結果の電力比は常に信頼できないものとなることに注意すべきである。従って、前記の検出電力が小さい期間中にはパターン検出及び確率指示信号Vpの取出しを中断するのが有利である。
【0030】
信号パターン検出器3及び評価回路4はいわゆるハードワイヤード回路として構成することができる。
信号パターン検出器及び評価回路はいわゆるプログラム制御回路、例えば適切なプログラムを装填したマイクロコンピータを以って構成することもできる。
【0031】
図6は、図5に示す検出及び信号Vp間の関係に対応して、2つの異なる音声特性パターンを検出するとともに信号Vpを取出す為のプログラムのフローチャートの一例を示す。
【0032】
検出された音声特性パターンは電力比において順次の3つの迅速な遷移を有し、順次の遷移間の期間は700ミリ秒よりも長くない。迅速な遷移とは、電力比が100ミリ秒以内で(電力比の最小値付近の)下側しきい値よりも低い値から(電力比の最大値付近の)上側しきい値よりも高い値に変化するか或いはその逆に変化するような電力比の変化を意味するものとする。図3では、下側しきい値及び上側しきい値をそれぞれ“lowthreschold ”及び“highthreschold”で示してある。
【0033】
検出された電力比での第2の音声特性パターンは、電力比を下側しきい値よりも低い値に瞬間的に減少せしめ、この減少が45〜150ミリ秒の長さを有するものである。音声特性パターンを検出する為にプログラムは以下の多数の変数の値を決定する。
“samp”;これは瞬時的な電力比の値である。
“tbelowlowthreshold”;これは電力比が“lowthreshold ”よりも低い時間である。
“tlastslope“;これは最後に検出さた迅速遷移から経過した時間である。
“ttranslope“;これは下側しきい値よりも低い値から上側しきい値よりも高い値への又はその逆の遷移の長さである。
“output”;これは確率指示信号Vpの値である。
“slopecount”;この変数は、700ミリ秒よりも長くない期間だけ離間している迅速な遷移の個数を示す。
“bit O ”;これは、電力比が越える最後のしきい値が下側しきい値であるか上側しきい値であるかを示す論理変数である。
“bit 1 ”;これは、“tbelowlowthreshold”が45〜150ミリ秒にあるか どうかを示す論理変数である。
【0034】
図3は、双方の検出可能なパターンが生じる電力比の変化(“samp”) に対する変数“samp”, “tlastslope”, “tslope”及び“tbelowlowthreshold”の値の一例を示している。
フローチャートにより示すプログラムは一定の時間間隔で繰返し呼出される。変数“tbelowlowthreshold”,“tlastslope“及び“tslope”の値を決定する為に、プログラムはいわゆるソフトウェアタイマを含むことができ、これらソフトウェアタイマはプログラム制御の下で零にリセットできるとともに最後の零リセットから経過した時間をその都度示す。
【0035】
プログラムは図6のフローチャートによって規定された順序で行なわれる多数のステップを有する。
ステップS1では、“samp”が“lowthreshold”よりも低い値を有するかどうかを検査する。
ステップS3では、“bit O ”の論理値が“1”であるかどうかを確かめる。ステップS4では、“tlastslope“が700ミリ秒よりも短いかどうかを検査する。
ステップS5では、“slopecount”を零にリセットする。
ステップS6では、“tslope“が100ミリ秒よりも短いかどうかを検査する。
ステップS7では、“slopecount”が3よりも小さい場合にこの変数が1だけ増大される。
ステップS8では、“slopecount”が3であるかどうかを検査する。
ステップS9及びステップS14では、“output”の値が 0.5だけ増大され、“output”の最大値が1に制限される。更に、ステップS14で“bit 1 ”の論理値が“0”に設定される。
ステップS10及びステップS17では、“tslope“が零に設定される。
ステップS11では、“bit O ”の値が反転される。
ステップS12では、“tbelowlowthreshold”が零に設定される。
ステップS13では、“bit 1 ”の論理値が“1”であるかどうかが検査される。
ステップS15では、“samp”の値が“highthreshold ”の値よりも高いかどうかが検査される。
ステップS16では、“bit O ”の論理値が“0”であるかどうかが検査される。
ステップS19では、“tbelowlowthreshold”が45及び150ミリ秒間にあるかどうかが検査される。
ステップS20では、“bit 1”の値が“1”に設定される。
ステップS21では、“output”がまだ最小値(0)に達していない場合に、“output”の値が小さな値だけ減少される。
ステップS22では、“output”の値が出力される。
ステップS23では、“bit 1”の論理値が“0”に設定される。
プログラムは以下のように進行する。“samp”の 値が“lowthreshold" よりも低く、“bit 0”が、最後の1つ前のしきい値交点が“highthreshold"の交点であったことを示す場合には、このことが、上側しきい値よりも高い値から下側しきい値よりも低い値への遷移があったことを意味する。この場合、プログラムはステップS1及びS3を経てステップS4に進む。
【0036】
“samp”が“highthreshold"よりも高く、“bit 0”が、最後の一つ前のしきい値交点が“lowthreshold" の交点であったことを示す場合、このことは下側しきい値よりも低い値から上側しきい値よりも高い値への遷移があったことを意味する。この場合、プログラムはステップS1,S15及びS16を経てステップS4に進む。ステップS4に達した後、ステップS4,S5,S6,S7,S8,S9,S10及びS11を含むプログラム区分が完成される。
【0037】
このプログラム区分では、最後の遷移が700ミリ秒よりも前であったかどうかが確かめられる(ステップS4)。更に、検出された遷移が100ミリ秒以内で生じたかどうかが検査される(ステップS6)。最後に、順次の遷移の個数が3つであるかどうかが検査される(ステップS8)。これらの条件がすべて満足された場合、電力比の変化が音声特性パターンを呈し、“output”の値が0.5だけ増大される(ステップS9)。更に、“tlastslope" の値が零に設定される(ステップS10)。更に、ステップS4で最後の遷移が700ミリ秒よりも前に生じたことが分かった場合、“slopecount" の値がステップS5で零にリセットされる。
【0038】
検出された遷移(“tslope")が100ミリ秒よりも短い場合には、ステップS7で“slopecount" の値が1だけ増大される。
【0039】
更に、上述したプログラム区分が実行される度に、“bit 0”の値がステップS11で反転され、検出すべき次の遷移の方向が反転されたことを示す。上述したプログラム区分が終了されると、プログラムはステップS19に進行する。
【0040】
“samp”が下側しきい値よりも低く、“bit 0”が最後の1つ前のしきい値交点が下側しきい値の交点であったことを示す場合、プログラムはステップS1,S3及びステップS17を経てステップS19に進む。この場合、遷移がなく、“tslope”の値が零に設定される(ステップS17)。このことは、“samp”が上側しきい値を越え、同時に“bit 1”が、最後の1つ前のしきい値交点が上側しきい値の交点であったことを示す組合せに対しても当てはまる。この場合、プログラムはステップS1,S15,S16及びS17を経てステップS19に進む。
【0041】
ステップS19に達した後、ステップS19で開始しステップS22で終了するプログラム区分が実行される。このプログラム区分では、“samp”が下側しきい値よりも低い時間を表わす値“tbelowlowthreshold”が45及び150ミリ秒間にあるかどうかが検査される(ステップS19)。“samp”がこの期間内にある場合(true) 、“bit 1”が“1”に設定され(ステップS20)、“samp”がこの期間内にない場合(false)、“bit 1”が“0”に設定される(ステップS23)。更に、“output”の値が減少され(ステップS22)、“output”の値が確率指示信号として出力される。
【0042】
“samp”の値がある時間の間下側しきい値よりも低くなった後、ステップS12で再び下側しきい値を越える場合には、“tbelowlowthreshold”が零にリセットされる。次に、ステップS13において、“bit 1”の値に基づいて、“tbelowlowthreshold”の最終値が零リセットの直前に45及び150ミリ秒の間にあったかどうかが確かめれる。そうである場合には、電力比の変化が音声特性パターンを呈し、ステップS13に達した次の時にステップS14が行われる。この際“output”の値がステップS14で0.5だけ高められる。前述したように、確率指示信号Vp の値は、入力端子1に供給されるオーディオ信号が音声信号である確率を示す。図7は、上述したように規定した種類の音声信号弁別装置70を用いた本発明によるオーディオ装置を示す。符号71はオーディオ信号処理回路を示し、これにより入力端子1に供給されるオーディオ信号を確率指示信号Vp の信号値に応じて処理する。
【0043】
図8は3チャネルオーディオ再生装置の形態のオーディオ信号処理回路71の一例を示し、この回路は例えばテレビジョン受像機のような画像表示ユニットと組合せて用いられる。この回路は、左チャネル信号再生用の第1拡声器80と、右チャネル信号再生用の第2拡声器81と、中央チャネル再生用の第3拡声器82とを有している。この回路を画像表示ユニットと組合せて用いる場合、左チャネル拡声器80は画像表示ユニットの左側に配置され、右チャネル拡声器81は画像表示ユニットの右側に配置される。中央チャネル拡声器82の位置は、再生音の方向が表示画像の位置に対応するような位置とする。ステレオオーディオ信号の左チャネル信号L及び右チャネル信号Rはそれぞれ入力端子83及び84を経て回路71に供給される。更に、左チャネル信号L及び右チャネル信号Rは加算回路85で加算され、次に音声信号弁別装置70に供給される。
【0044】
オーディオ信号処理回路71は信号スプリッタ86を有し、この信号スプリッタに左チャネル信号Lと確率指示信号Vp とが供給される。信号スプリッタ86は受信信号を2つの信号に分離する型のものであり、一方の信号は左チャネル信号Lの信号強度のp倍に等しい信号強度を有し、他方の信号は左チャネル信号の信号強度の(1−p)倍に等しい信号強度を有するようにする。ここにpは確率指示信号によって表わされる確率であり、受信信号は音声信号である。
【0045】
信号Lの強度の(1−p)倍の強度を有する信号は拡声器80に供給され、信号Lの強度のp倍の強度を有する信号は加算回路に供給される。
【0046】
右チャネル信号Rも、左チャネル信号Lと同様に、信号Rの強度のp倍に等しい強度を有し、加算回路87に供給される信号と、信号Rの強度の(1−p)倍に等しい強度を有し、拡声器81に供給される信号とに分離される。加算回路87に供給される信号の和であるこの加算回路87の出力信号は中央チャネル信号再生用の拡声器82に供給される。
【0047】
回路71は次のように動作する。左チャネル信号L及び右チャネル信号Rが音楽信号である場合、pの値はほぼ零である。このことは、左チャネル信号Lのほぼ全体と右チャネル信号Rのほぼ全体とがそれぞれ拡声器80及び81を経て再生されることを意味する。拡声器82はいかなるオーディオ情報をも殆ど再生しない。従って、音楽が完全にステレオで再生される。しかし、受信信号L及びRが音声信号である場合には、確率指示信号Vp により示される確率はほぼ1に等しい。このことは、ほぼすべてのオーディオ情報が拡声器82を経て再生されることを意味する。拡声器80及び81はいかなるオーディオ情報も殆ど再生しない。信号を3つの拡声器80,82及び83に分割することにより、音楽信号がステレオで再生され、音の方向が話し手の位置に一致すべき音声信号が中央チャネル拡声器82を経て再生されるという利点が得られる。
【0048】
図9は回路71の他の例を示す。この回路71は、音声信号符号化に最適な第1符号化回路90と、音楽信号符号化に最適な第2符号化回路91とを有する。入力端子1を経て受信するオーディオ信号は第1符号化回路90の入力端子と第2符号化回路91の入力端子とに供給される。第1符号化回路40の出力端子は2チャネルマルチプレクサ回路92の入力端子に結合されている。第2符号化回路91の出力端子は2チャネルマルチプレクサ回路92の他の入力端子に結合されている。マルチプレクサ回路92は、入力端子1で受信した信号から音声信号弁別装置70により取出された確率指示信号Vp から比較器94により取出された2進信号により制御される。オーディオ信号処理回路71は以下のように動作する。マルチプレクサ回路92は供給される確率指示信号Vp の値に応じて第1符号化回路90の出力端子か或いは第2符号化回路91の出力端子をマルチプレクサ回路92の出力端子93に接続し、符号化が受信信号の種類(音声か音楽か)に適合した符号化信号が出力端子93に得られるようにする。出力端子93における符号化信号は信号伝送チャネル又は媒体95を介して受信回路96の第1復号化回路97の入力端子及び第2復号化回路98の入力端子に供給される。第1復号化回路97は符号化回路90により行なわれた符号化の逆である復号化を行なうようになっている。第2復号化回路98は符号化回路91により行われた符号化の逆である復号化を行うようになっている。復号化回路97及び98の出力端子は2チャネルデマルチプレクサ回路99の入力端子に接続され、このデマルチプレクサ回路99は同じく信号伝送チャネル95を経て受信回路96に供給される比較器94の出力信号により制御される。デマルチプレクサ回路99を制御するこの方法は、適切な復号化回路によって復号化された信号をこのデマルチプレクサ回路の出力端子に伝達するようにする。
【0049】
上述した回路71の変形例に加えて、種々の他の変形も可能である。例えば、オーディオ信号処理回路は、確率指示信号の値に応じて設定されるトーンコントローラ又はイコーライザ(等化器)を有するオーディオ増幅器を具えるようにしうる。確率指示信号が、受信オーディオ信号が音声信号である高い確率を指示する場合には、トーンコントローラ又はイコーライザを音声が最適に明瞭となる位置に設定する。このことは一般に、再生音声信号が低音を比較的わずかしか含まないということを意味する。受信オーディオ信号が音声信号である確率が低い場合には、トーンコントローラ又はイコーライザは音楽再生に心地良く感じる位置に設定される。この位置は一般に、再生信号中の低音が、又所望に応じ高音も増幅される位置である。確率指示信号は一般に、音声信号を最大の確率で表わす第1の極値と、音楽信号を最大の確率で表わす第2の極値との間の値を有する。これらの極値間の値に対しては、音声信号に対する所望の設定と音楽信号に対する所望の設定との組合せであるトーンコントロール(音質制御)設定を選択し、前者の2つの設定の度合は確率指示信号の値に応じたものとするのが好ましい。
【0050】
再生音楽を強調する為に追加の低音拡声器(ウーハ)を有するオーディオ装置の場合、音声信号に際して音声の明瞭度を改善する為にこの追加の低音拡声器を抑圧(ミュート)するのが有利である。
【0051】
画像関連音が画像の表示と一緒に再生されるテレビジョンのような画像表示システムの場合には、関連のオーディオ信号が音声信号である際にステレオ音再生からモノラル再生に切換える音声信号弁別装置を用いるのが有利である。実際、話し手が発した音を再生する場合、画像の位置と音源の位置とが互いに一致するようにするのが望ましい。空間(三次元)ステレオ用の回路を有するオーディオ装置の場合にも同様の目的で音声信号弁別装置を用いることができる。この場合、音声信号の再生中空間ステレオ効果を無効にするのも有利である。
【0052】
音声信号弁別装置は、確率指示信号に応じて音量を制御するオーディオ装置に用いても有利である。例えば、ラジオ受信においては、伝送メッセージの明瞭度を改善する為に大音量で音声信号を再生するのが望ましい。
【0053】
更に、音声信号弁別装置をオーディオ信号記録装置に用い、例えば音声信号により規則的に中断される音楽放送の記録或いはディクテーションマシーンでの音声の記録に際して記録を確率指示信号の値に応じて開始したり停止したりするようにするのが有利である。この最後に述べた利用に対しては、記録すべき信号に対する確率指示信号が得られるまで、これら記録すべき信号をバッファに一時的に記録しておくのが有利である。この場合、記録すべき信号の最初の部分が毎回記録担体に記録されないようになる状態を回避しうる。
【図面の簡単な説明】
【図1】本発明による音声信号弁別装置の一実施例を示す線図である。
【図2】音声信号弁別装置に用いる分析回路を示すブロック線図である。
【図3】分析回路により供給される分析信号の可能な波形を示す線図である。
【図4】信号パターン検出器により供給される検出信号と確率指示信号との間の可能な関係を示す波形図である。
【図5】信号パターン検出器により供給される検出信号と確率指示信号との間の他の可能な関係を示す波形図である。
【図6】音声信号弁別装置の一実施例で行なうプログラムを示すフローチャートである。
【図7】本発明による音声信号弁別装置を用いたオーディオ装置の一実施例を示すブロック線図である。
【図8】音声信号弁別装置と組合せて用いるオーディオ処理回路の一例を示すブロック線図である。
【図9】音声信号弁別装置と組合せて用いるオーディオ処理回路の他の一例を示すブロック線図である。
【符号の説明】
1 入力端子
2 分析回路
3 信号パターン検出器
4 評価回路
20 帯域通過フィルタ
21,23 検出器
22 フィルタ
70 音声信号弁別装置
71 オーディオ信号処理回路
80〜82 拡声器
85,87 加算回路
86 信号スプリッタ
90 第1符号化回路
91 第2符号化回路
92 2チャネルマルチプレクサ回路
95 信号伝送チャネル
96 受信回路
97 第1復号化回路
98 第2復号化回路
99 2チャネルデマルチプレクサ回路
Claims (6)
- オーディオ信号受信用の入力端子と、この入力端子で受信したオーディオ信号が音声信号である確率を表わす確率指示信号を生じる出力端子とを有する音声信号弁別装置において、
受信信号の周波数スペクトルの第1部分における信号電力とこの周波数スペクトルの第2部分における信号電力との比を表わす分析信号を生じる分析回路と、分析信号における信号パターンが音声信号に生じる確率と音声信号とは異なる他の信号に生じる確率とが相違しているこれら信号パターンを検出する信号パターン検出器と、これら信号パターンの検出に応じて確率指示信号を生ぜしめる評価手段とが設けられていることを特徴とする音声信号弁別装置。 - 請求項1に記載の音声信号弁別装置において、他の種類の信号パターンが音声信号に生じる確率と他の信号に生じる確率とが相違しているこれら他の種類の信号パターンを検出する少なくとも1つの他の信号パターン検出器が設けられ、前記の評価手段がこれらの他の種類の信号パターンの検出にも応じて確率指示信号を生じるようになっていることを特徴とする音声信号弁別装置。
- 請求項2に記載の音声信号弁別装置において、前記の他の信号パターン検出器が前記の分析信号中の前記の他の種類の信号パターンを検出するようになっていることを特徴とする音声信号弁別装置。
- 請求項1〜3のいずれか一項に記載の音声信号弁別装置において、最初に述べた信号パターン検出器が、電力比の値が所定の上側しきい値よりも高いレベルから所定の下側しきい値よりも低いレベルに変化する電力比の変化を検出する手段と、この変化が行なわれる速度を検出する手段と、この速度が所定の速度を越える順次の変化の列の発生パターンとして所定の最大時間を越えないこの列の変化間の期間を検出する手段とを具えていることを特徴とする音声信号弁別装置。
- 請求項1〜3のいずれか一項に記載の音声信号弁別装置において、最初に述べた信号パターン検出器が、電力比の値が所定の下側しきい値よりも低いかどうかを検出する手段と、電力比の値が下側しきい値よりも低い期間が所定の最小限界と所定の最大限界との間にあるかどうかをパターンとして検出する手段とを具えていることを特徴とする音声信号弁別装置。
- 受信オーディオ信号を処理するオーディオ装置において、このオーディオ装置が請求項1〜5のいずれか一項に記載の音声信号弁別装置と、この音声信号弁別装置により発生された確率指示信号に応じて受信オーディオ信号を処理する手段とを具えていることを特徴とするオーディオ装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BE9300775A BE1007355A3 (nl) | 1993-07-26 | 1993-07-26 | Spraaksignaaldiscriminatieschakeling alsmede een audio-inrichting voorzien van een dergelijke schakeling. |
BE09300775 | 1993-07-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0764598A JPH0764598A (ja) | 1995-03-10 |
JP3793245B2 true JP3793245B2 (ja) | 2006-07-05 |
Family
ID=3887218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17420994A Expired - Fee Related JP3793245B2 (ja) | 1993-07-26 | 1994-07-26 | 音声信号弁別装置及びオーディオ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5878391A (ja) |
EP (1) | EP0637011B1 (ja) |
JP (1) | JP3793245B2 (ja) |
BE (1) | BE1007355A3 (ja) |
DE (1) | DE69413900T2 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6570991B1 (en) | 1996-12-18 | 2003-05-27 | Interval Research Corporation | Multi-feature speech/music discrimination system |
US6134518A (en) * | 1997-03-04 | 2000-10-17 | International Business Machines Corporation | Digital audio signal coding using a CELP coder and a transform coder |
US6321194B1 (en) | 1999-04-27 | 2001-11-20 | Brooktrout Technology, Inc. | Voice detection in audio signals |
JP4554044B2 (ja) * | 1999-07-28 | 2010-09-29 | パナソニック株式会社 | Av機器用音声認識装置 |
US6605768B2 (en) * | 2000-12-06 | 2003-08-12 | Matsushita Electric Industrial Co., Ltd. | Music-signal compressing/decompressing apparatus |
CN1552171A (zh) * | 2001-09-06 | 2004-12-01 | �ʼҷ����ֵ��ӹɷ�����˾ | 音频再现设备 |
US20050246170A1 (en) * | 2002-06-19 | 2005-11-03 | Koninklijke Phillips Electronics N.V. | Audio signal processing apparatus and method |
US7454331B2 (en) | 2002-08-30 | 2008-11-18 | Dolby Laboratories Licensing Corporation | Controlling loudness of speech in signals that contain speech and other types of audio material |
JP2005538634A (ja) * | 2002-09-13 | 2005-12-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツ提示の方法及び装置 |
JP4348970B2 (ja) * | 2003-03-06 | 2009-10-21 | ソニー株式会社 | 情報検出装置及び方法、並びにプログラム |
BRPI0410740A (pt) | 2003-05-28 | 2006-06-27 | Dolby Lab Licensing Corp | método, aparelho e programa de computador para calcular e ajustar o volume percebido de um sinal de áudio |
WO2005099252A1 (en) * | 2004-04-08 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Audio level control |
DE102004049347A1 (de) * | 2004-10-08 | 2006-04-20 | Micronas Gmbh | Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale |
CA2581810C (en) | 2004-10-26 | 2013-12-17 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
US8199933B2 (en) | 2004-10-26 | 2012-06-12 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
JP2006171458A (ja) * | 2004-12-16 | 2006-06-29 | Sharp Corp | 音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 |
PL1931197T3 (pl) * | 2005-04-18 | 2015-09-30 | Basf Se | Preparat zawierający co najmniej jeden fungicyd konazolowy, inny fungicyd i jeden kopolimer stabilizujący |
TWI517562B (zh) | 2006-04-04 | 2016-01-11 | 杜比實驗室特許公司 | 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式 |
EP2002426B1 (en) | 2006-04-04 | 2009-09-02 | Dolby Laboratories Licensing Corporation | Audio signal loudness measurement and modification in the mdct domain |
DE602007011594D1 (de) | 2006-04-27 | 2011-02-10 | Dolby Lab Licensing Corp | Tonverstärkungsregelung mit erfassung von publikumsereignissen auf der basis von spezifischer lautstärke |
JP2008076776A (ja) * | 2006-09-21 | 2008-04-03 | Sony Corp | データ記録装置、データ記録方法及びデータ記録プログラム |
MY144271A (en) | 2006-10-20 | 2011-08-29 | Dolby Lab Licensing Corp | Audio dynamics processing using a reset |
US8521314B2 (en) | 2006-11-01 | 2013-08-27 | Dolby Laboratories Licensing Corporation | Hierarchical control path with constraints for audio dynamics processing |
JP5192544B2 (ja) | 2007-07-13 | 2013-05-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 聴覚情景分析とスペクトルの歪みを用いた音響処理 |
CN102137326B (zh) * | 2008-04-18 | 2014-03-26 | 杜比实验室特许公司 | 用于保持多通道音频中的语音可听度的方法和设备 |
US9037474B2 (en) | 2008-09-06 | 2015-05-19 | Huawei Technologies Co., Ltd. | Method for classifying audio signal into fast signal or slow signal |
JP4826625B2 (ja) * | 2008-12-04 | 2011-11-30 | ソニー株式会社 | 音量補正装置、音量補正方法、音量補正プログラムおよび電子機器 |
JP4564564B2 (ja) | 2008-12-22 | 2010-10-20 | 株式会社東芝 | 動画像再生装置、動画像再生方法および動画像再生プログラム |
JP4439579B1 (ja) * | 2008-12-24 | 2010-03-24 | 株式会社東芝 | 音質補正装置、音質補正方法及び音質補正用プログラム |
US8761415B2 (en) | 2009-04-30 | 2014-06-24 | Dolby Laboratories Corporation | Controlling the loudness of an audio signal in response to spectral localization |
WO2011015237A1 (en) * | 2009-08-04 | 2011-02-10 | Nokia Corporation | Method and apparatus for audio signal classification |
JP2010231241A (ja) * | 2010-07-12 | 2010-10-14 | Sharp Corp | 音声信号判別装置、音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 |
US9633667B2 (en) | 2012-04-05 | 2017-04-25 | Nokia Technologies Oy | Adaptive audio signal filtering |
US9363603B1 (en) | 2013-02-26 | 2016-06-07 | Xfrm Incorporated | Surround audio dialog balance assessment |
US10026417B2 (en) * | 2016-04-22 | 2018-07-17 | Opentv, Inc. | Audio driven accelerated binge watch |
US11069352B1 (en) * | 2019-02-18 | 2021-07-20 | Amazon Technologies, Inc. | Media presence detection |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6024994B2 (ja) * | 1980-04-21 | 1985-06-15 | シャープ株式会社 | パタ−ン類似度計算方式 |
JPS58130393A (ja) * | 1982-01-29 | 1983-08-03 | 株式会社東芝 | 音声認識装置 |
JPS58143394A (ja) * | 1982-02-19 | 1983-08-25 | 株式会社日立製作所 | 音声区間の検出・分類方式 |
US4441203A (en) * | 1982-03-04 | 1984-04-03 | Fleming Mark C | Music speech filter |
US4920568A (en) * | 1985-07-16 | 1990-04-24 | Sharp Kabushiki Kaisha | Method of distinguishing voice from noise |
US5046100A (en) * | 1987-04-03 | 1991-09-03 | At&T Bell Laboratories | Adaptive multivariate estimating apparatus |
US5007093A (en) * | 1987-04-03 | 1991-04-09 | At&T Bell Laboratories | Adaptive threshold voiced detector |
FR2631147B1 (fr) * | 1988-05-04 | 1991-02-08 | Thomson Csf | Procede et dispositif de detection de signaux vocaux |
IT1229725B (it) * | 1989-05-15 | 1991-09-07 | Face Standard Ind | Metodo e disposizione strutturale per la differenziazione tra elementi sonori e sordi del parlato |
US5097510A (en) * | 1989-11-07 | 1992-03-17 | Gs Systems, Inc. | Artificial intelligence pattern-recognition-based noise reduction system for speech processing |
JPH05183523A (ja) * | 1992-01-06 | 1993-07-23 | Oki Electric Ind Co Ltd | 音声・楽音符号化装置 |
US5323337A (en) * | 1992-08-04 | 1994-06-21 | Loral Aerospace Corp. | Signal detector employing mean energy and variance of energy content comparison for noise detection |
US5457769A (en) * | 1993-03-30 | 1995-10-10 | Earmark, Inc. | Method and apparatus for detecting the presence of human voice signals in audio signals |
-
1993
- 1993-07-26 BE BE9300775A patent/BE1007355A3/nl not_active IP Right Cessation
-
1994
- 1994-07-21 DE DE69413900T patent/DE69413900T2/de not_active Expired - Fee Related
- 1994-07-21 EP EP94202132A patent/EP0637011B1/en not_active Expired - Lifetime
- 1994-07-26 JP JP17420994A patent/JP3793245B2/ja not_active Expired - Fee Related
-
1997
- 1997-07-03 US US08/888,356 patent/US5878391A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0764598A (ja) | 1995-03-10 |
US5878391A (en) | 1999-03-02 |
EP0637011B1 (en) | 1998-10-14 |
DE69413900T2 (de) | 1999-05-20 |
DE69413900D1 (de) | 1998-11-19 |
EP0637011A1 (en) | 1995-02-01 |
BE1007355A3 (nl) | 1995-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3793245B2 (ja) | 音声信号弁別装置及びオーディオ装置 | |
US8548173B2 (en) | Sound volume correcting device, sound volume correcting method, sound volume correcting program, and electronic apparatus | |
EP0367569B1 (en) | Sound effect system | |
KR100866891B1 (ko) | 정보신호 재생장치 | |
EP2219371B1 (en) | Volume correction device, volume correction method, volume correction program, and electronic equipment | |
US8121307B2 (en) | In-vehicle sound control system | |
US6055502A (en) | Adaptive audio signal compression computer system and method | |
JP2006148883A (ja) | オーディオ/ビデオシステムのスピーカモードの自動設定方法及び装置 | |
KR20000010930A (ko) | 음성 속도 변환 방법 및 그 장치 | |
KR100806155B1 (ko) | 오디오 속도 변환을 가능하게 하는 방법 및 시스템 | |
JP2007158873A (ja) | 音声補正装置 | |
US6859540B1 (en) | Noise reduction system for an audio system | |
US7130433B1 (en) | Noise reduction apparatus and noise reduction method | |
EP0639933B1 (en) | Method and apparatus for processing an audio signal by surround modes | |
US6070135A (en) | Method and apparatus for discriminating non-sounds and voiceless sounds of speech signals from each other | |
JP2007183410A (ja) | 情報再生装置および方法 | |
JP4311541B2 (ja) | オーディオ信号圧縮装置 | |
JPH11167396A (ja) | 音声記録再生装置 | |
JP2002170330A (ja) | Pcmオーディオ信号再生装置 | |
JP3596000B2 (ja) | テレビジョン装置 | |
JP2001052444A (ja) | 音響再生装置 | |
JPH05292592A (ja) | 音質補正装置 | |
JPH0575366A (ja) | オーデイオ装置における信号処理回路 | |
JP3559326B2 (ja) | 光ディスク再生装置 | |
JPH06253386A (ja) | 収音装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041111 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060407 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |