JP4311034B2 - 帯域復元装置及び電話機 - Google Patents
帯域復元装置及び電話機 Download PDFInfo
- Publication number
- JP4311034B2 JP4311034B2 JP2003036607A JP2003036607A JP4311034B2 JP 4311034 B2 JP4311034 B2 JP 4311034B2 JP 2003036607 A JP2003036607 A JP 2003036607A JP 2003036607 A JP2003036607 A JP 2003036607A JP 4311034 B2 JP4311034 B2 JP 4311034B2
- Authority
- JP
- Japan
- Prior art keywords
- band
- signal
- amplitude
- restoration
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003321 amplification Effects 0.000 claims abstract description 65
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 65
- 230000005236 sound signal Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 48
- 230000007423 decrease Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 45
- 230000000694 effects Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Telephone Function (AREA)
- Amplifiers (AREA)
Description
【発明の属する技術分野】
本発明は、帯域復元装置及び電話機に関するものである。例えば、電話回線等による音声信号伝送において、狭帯域化されて欠落された帯域の周波数成分を復元する帯域復元装置及びその帯域復元装置を備えた電話機に適用し得る。
【0002】
【従来の技術】
例えば、電話回線等により音声を伝送する場合、伝送される音声信号は、その周波数帯域が制限されている。従って、この狭帯域化により制限された帯域の周波数成分が欠落する(すなわち、狭帯域化に係る帯域の周波数成分が抑圧される)ため、音声信号の音質は劣化してしまう。
【0003】
従来、このような課題を解決するために、下記の特許文献1に開示されるものがある。
【0004】
この特許文献1には、狭帯域化により欠落した帯域の周波数成分を擬似的に作成する音声帯域拡張装置及び方法が記載されている。
【0005】
特許文献1の音声帯域拡張装置及び方法は、入力された音声信号に対して上限周波数の4倍のサンプリング周波数でサンプリングしてディジタル音声信号に変換し、そのサンプリング周波数の折り返し又は周波数シフトを用いて、その入力ディジタル音声信号の低周波数帯域の音声信号成分を、高周波数帯域側に対照的に折り返し又はシフトすることで、伝送された音声信号よりも周波数帯域を拡張するというものである。
【0006】
【特許文献1】
特開2002−82685号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上述した従来の帯域拡張装置及び方法は、低周波数帯域の音声信号成分を、高周波数帯域側に折り返し又はシフトすることで、周波数帯域幅を擬似的に拡張するというものであり、音声信号そのもののデータに基づいて、周波数帯域を復元するというものではないという問題がある。
【0008】
すなわち、上述した特許文献1では、狭帯域化により欠落した周波数帯域の音声信号成分を作成するために、入力音声信号のサンプリング点を1つおきにゼロ値にしたり、又は、入力音声信号のサンプリングデータの符号を1つおきに反転したりして、低周波数帯域の音声信号成分を高周波数帯域側に折り返し又はシフトして擬似的に帯域を拡張しているにすぎない。
【0009】
そのため、帯域制限された帯域の周波数成分を、入力した音信号に基づいて再現する帯域復元装置、及び、その帯域復元装置を備えた電話機が求められている。
【0010】
【課題を解決するための手段】
かかる課題を解決するために、第1の本発明に係る帯域復元装置は、音の狭帯域化により欠落した周波数帯域の周波数成分を復元する帯域復元装置であって、(1)入力された狭帯域ディジタル入力信号の信号値を増幅すると共に、増幅後の信号値が所定の振幅最大値を超えていると振幅最大値にする上限制限増幅手段と、(2)上限制限増幅手段により増幅された信号値が振幅最大値に達しているか否かを検出する最大値検出手段と、(3)最大値検出手段の検出結果に応じて、上限制限増幅手段の増幅量を増大制御する増幅量制御手段と、(4)上限制限増幅手段からの出力信号と狭帯域ディジタル入力信号とに基づいて、復元周波数帯域の周波数成分を有する帯域復元信号を生成する帯域復元手段と、(5)狭帯域ディジタル入力信号に基づいて少なくとも母音音声を検出する音声検出手段を有し、増幅量制御手段は、音声検出手段が少なくとも母音音声を検出している母音音声検出期間中、増幅量を継続的に増大制御することを特徴とする。
【0011】
また、第2の本発明に係る帯域復元装置も、音の狭帯域化により欠落した周波数帯域の周波数成分を復元する帯域復元装置であって、(1)入力された狭帯域ディジタル入力信号の信号値の上限を振幅限界値で制限する振幅制限手段と、(2)振幅制限手段からの信号値が所定の振幅制限値に達しているか否かを検出する制限検出手段と、(3)制限検出手段の検出結果に応じて、振幅限界値を減少制御する振幅限界制御手段と、(4)振幅制限手段からの出力信号と狭帯域ディジタル入力信号とに基づいて、復元周波数帯域の周波数成分を有する帯域復元信号を生成する帯域復元手段と、(5)狭帯域ディジタル入力信号に基づいて少なくとも母音音声を検出する音声検出手段を有し、振幅限界制御手段は、音声検出手段が少なくとも母音音声を検出している母音音声検出期間中、振幅限界値を減少制御することを特徴とする。
【0012】
更に、第3の本発明に係る電話機は、音の狭帯域化により欠落した周波数帯域の周波数成分を復元する第1又は第2の本発明に係る帯域復元装置を備えることを特徴とする。
【0013】
【発明の実施の形態】
(A)第1の実施形態
(A)第1の実施形態の構成及び動作
図1は、第1の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0014】
図1において、第1の実施形態の帯域復元装置は、A/D(アナログ/ディジタル)変換器1と、上限制限増幅器3と、最大値制限検出器6と、減衰器5と、増幅量制御器4と、加算器7と、D/A(ディジタル/アナログ変換器)変換器2とを有する。
【0015】
A/D変換器1は、外部からの音声信号Sを受け取り、例えばその入力された音声信号Sの上限周波数より大きいサンプリング周波数でサンプリングし、アナログ信号からディジタル信号に変換するものである。また、A/D変換器1は、ディジタル変換した信号Snarrowを、上限制限増幅器3及び加算器7に与える。
【0016】
なお、本実施形態において、音声信号Sは、周波数帯域が制限された信号である。例えば電話音声の場合、音声信号Sは、通常、例えば340Hzから4000Hzに周波数帯域が制限されている。
【0017】
また、本実施形態において、A/D変換器1は、例えば音声信号Sの上限周波数4000Hzの2倍のサンプリング周波数(すなわち8000Hz)でアナログ−ディジタル変換を行なうこととする。勿論、サンプリング周波数はこれに限定されない。
【0018】
上限制限増幅器3は、A/D変換器1からディジタル変換された信号Snarrowを受け取り、その信号Snarrowの振幅(すなわち、信号値)を増幅すると共に、信号値の増幅後、信号値が所定の最大値を超えているときに、その信号値を最大値にするものである。上限制限増幅器3は、増幅量制御器4によって増幅量が制御されており、その制御された増幅量に応じて信号Snarrowを増幅する。また、上限制限増幅器3は、出力信号として信号Sxを最大値制限検出器6及び減衰器5に与える。
【0019】
最大値制限検出器6は、上限制限増幅器3から出力される信号Sxを受け取り、その信号Sxの信号値(ディジタル信号データ)が最大値に達しているかどうかを検出し、最大値に到達していなければ、上限制限増幅器3の増幅量を増やすように要求する信号を増幅量制御器4に出力するものである。例えば、最大値制限検出器6は、信号値が最大値に達するまで増幅量を増加するように、増幅量制御器4に要求し、その後、最大値を検出した後は、増幅量の増加の要求をしない。
【0020】
なお、本実施形態では、16bitのA/D変換器1を用いたので、ディジタル値で+32767、または、−32768なるデータが発生しているかどうかを検出するようにしたが、この値はこれに限定しない。
【0021】
増幅量制御器4は、例えば初期の増幅量1倍を基本に、最大値制限検出器6から信号(増幅量の増加を要求する信号)があるたびに、上限制限増幅器3の増幅量を増すように制御するものである。例えば、増幅量制御器4は、最大値制限検出器6からの要求に応じて、信号値が最大値に達するまで増幅量を増加するように制御し、最大値制限検出器6が最大値を検出した後は、その増幅量を維持する。
【0022】
減衰器5は、上限制限増幅器3から信号Sxを受け取り、その信号Sxを減衰するものである。減衰器5は、加算器7において、信号Snarrowと信号Sxとの信号比が3:1で加算されるように、その信号Sxの振幅を調整して加算器7に出力する。
【0023】
加算器7は、A/D変換器1から出力された信号Snarrowと、減算器7から出力された信号Sxとを受け取り、これらを加算した信号をD/A変換器2に与えるものである。なお、加算器7は、信号Snarrowと信号Sxとの信号比が3:1で加算するように予め設定されている。勿論、この加算(合成)比はこれに限らない。
【0024】
D/A変換器2は、加算器7から出力される合成信号を受け取り、ディジタル信号をアナログ信号に変換して、アナログ信号Swideを出力する。この出力されるアナログ信号Swideは、例えば電話機に与えられる。
【0025】
ここで、信号Snarrowが最大値に到達するように増幅させた信号Sxと、信号narrowとを加算することにより、もともとの音声に含まれていたが狭帯域化により欠落した帯域の周波数成分を復元する方法について詳細に説明する。
【0026】
図2は、音声信号Snarrowの周波数特性を示す図である。
【0027】
図2に示すように、上限制限増幅器3に入力される信号は、帯域制限された音声信号Snarrowである。
【0028】
上限制限増幅器3により増幅をしない場合であれば、この信号Snarrowは、周波数特性は変わることなく加算器7を経由してアナログ信号Swideとして、例えば電話機(図示しない)に出力される。
【0029】
上限制限増幅器3により最大値に達するほど増幅された信号Sxは、狭帯域化で欠落したはずの帯域の周波数成分を持つようになる。なお、図3は、信号Sxの周波数特性を示す図である。
【0030】
これは、信号Snarrowを増幅することにより、信号Snarrowの大部分の振幅が最大値制限を受け、矩形波のような波形、いわゆる「頭打ち」になるためである。
【0031】
矩形波が第1基本周波数とその整数倍の周波数成分で構成されているのは既に公知の通りである。
【0032】
従って、信号Snarrowの信号値を最大値に増幅することで、信号値が最大値制限を受け、信号が矩形波に近い波形にすることができるので、増幅された信号Sxは、もともとの音声の基本周波数に相当する周波数成分をもち、また、その周波数成分を整数倍繰り返してもつ信号となる。
【0033】
一方、都合のいいことに、音声信号のうち、特に母音は、第1基本周波数(周期)とその整数倍繰り返す周波数成分とから成り立っていることから、本実施形態では、増幅により最大値に達した信号Sxの周波数成分のうち、例えば図3に示すような4000Hzから8000Hzの周波数成分を用いて、信号Snarrowに欠落していた周波数成分を補うものとして用いることができる。
【0034】
上限制限増幅器3から出力された信号Sxは、減衰器5に与えられ、減衰器5において、元々の信号に過大な影響が出ないよう減衰される。この際、頭打ちになった波形も、そのまま頭打ちの形で減衰される。
【0035】
なお、減衰器7により信号を減衰する減衰量は、予め決めておけばよく、本実施形態では、加算器7の入力の一方である信号Snarrowと減衰後の信号Sxとのパワー比が、3:1になるようにして行なった。もちろん、これに限定するものではない。
【0036】
(A)第1の実施形態の効果
以上のように、第1の実施形態の帯域復元装置によれば、狭帯域ディジタル信号Snarrowの信号値を増幅し、その信号値が最大値を超えるときに最大値にする上限制限増幅器3を設けて、最大値が発生しているかどうかを検出する最大値制限検出器6を設け、必ず信号に最大値が発生するように増幅量を制御する増幅量制御器4を設け、減衰器5を設け元波形との混合割合を調整して音感の調整をするようにしたので、音声波形を頭打ちすることで、音声波形そのものからもともとの音声がもつ周波数成分のうち、欠落した帯域の周波数成分を補うことができる。
【0037】
また、第1の実施形態に係る帯域復元装置を電話機が備えることにより、帯域復元した信号を用いることにより、音声の品質を向上させた通話を提供できる。
【0038】
(B)第2の実施形態
(B−1)第2の実施形態の構成及び動作
図4は、第2の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0039】
第2の実施形態と第1の実施形態とで異なる点は、第1の実施形態で説明した減衰器5を帯域通過フィルタ(BPF:バンドパスフィルタ)20に変えた点であり、その他の構成要件は、第1の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1の実施形態の構成要件と対応する符号を付した。
【0040】
以下では、BPF20の機能について説明し、その他の構成要件の機能についての詳細な説明は省略する。
【0041】
BPF20は、例えば4000Hz未満の周波数成分を削除する帯域通過フィルターであり、上限制限増幅器3から出力された信号Sxを受け取り、その信号Sxの周波数成分のうち、4000Hz未満の周波数成分を削除して、4000Hz以上の周波数成分の信号Sbpfを加算器7に与えるものである。
【0042】
第2の実施形態が、BPF20を備えた理由は、上述したように上限制限増幅器3から出力された信号Sxは、音声信号成分として0〜8000Hzの周波数成分をもつ信号である(図3参照)。しかし、実際に帯域復元に用いる信号Sxの周波数成分は4000Hz〜8000Hzである。そのため、第2の実施形態では、減衰器5の代わりに帯域通過フィルタ(BPF)20を用いて信号Sxの減衰と、余分な周波数帯域の削除とを同時に行なうようにした。
【0043】
図4を用いて、第2の実施形態の帯域復元装置の動作を説明する。
【0044】
信号Sxは、帯域通過フィルタ(BPF)20に入力される。
【0045】
BPF20に与えられた信号Sxは、BPF20により、信号Sxの周波数成分のうち4000Hz未満の周波数成分が削除され、加算器7に与えられる。
【0046】
図5は、BPF20から出力される信号Sbpfの周波数特性を示す図である。
【0047】
BPF20では、入力信号の周波数の整形と共に、信号振幅の調整を同時に行ない、元信号Snarrowと出力される信号Sbpfとの信号比が3:1になるように調整した。もちろんこの信号比率に限定するものではない。
【0048】
BPF20の出力信号Sbpfは加算器7に与えられ、加算器7において、信号Sbpfと、もう一方の入力信号Snarrowとが加算され、0〜8000Hzの帯域に周波数成分をもつ信号が復元されてD/A変換器2に入力される。
【0049】
D/A変換器2において、加算器7からの入力信号は、ディジタル信号からアナログ信号に変換されて外部へ出力される。
【0050】
(B)第2の実施形態の効果
以上、第2の実施形態の帯域復元装置によれば、第1の実施形態で説明した減衰器5の代わりに帯域通過フィルタBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、帯域復元に必要な成分だけを残し、その帯域復元に必要な成分のみを用いて帯域復元することとしたので、第1の実施形態に係る帯域復元装置よりも更に音質の優れた帯域復元装置を実現できるのである。
【0051】
(C)第3の実施形態
(C−1)第3の実施形態の構成及び動作
図6は、第3の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0052】
第3の実施形態と第2の実施形態とで異なる点は、第2の実施形態で説明した帯域通過フィルタ20を特性補正フィルタ30に変えた点であり、その他の構成要件は、第1及び第2の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第2の実施形態の構成要件と対応する符号を付した。
【0053】
以下では、特性補正フィルタ30の機能について説明し、その他の構成要件の機能についての詳細な説明は省略する。
【0054】
特性補正フィルタ30は、入力信号Sxの周波数成分のうち、4000Hz未満の周波数成分を削除するように帯域通過処理を施すと共に、高周波数成分になるにつれて信号が減衰するような特性の周波数整形フィルタ処理をするものである。図7は、特性補正フィルタ30から出力される信号Scfの周波数特性を示す図である。
【0055】
以下では、図6を参照して、第3の実施形態に係る帯域復元装置の動作について説明する。
【0056】
信号Sxは、特性補正フィルタ30に入力される。
【0057】
信号Sxは、特性補正フィルタ30において、信号Sxの周波数成分のうち、4000Hz未満の周波数成分が削除されると共に、高周波数成分になるにつれて信号が減衰するような特性の周波数整形フィルタ処理が行われる。
【0058】
本実施形態の特性補正フィルタ30では、信号Sxの周波数の調整と共に、信号振幅の調整が同時に行われ、元信号Snarrowと信号Sxとの信号比が3:1になるようにした。もちろんこの信号比率に限定するものではない。
【0059】
特性補正フィルタ30の出力信号Scfは、加算器7に与えられ、加算器7にいおて、信号Scfと、もう一方の入力Snarrowとが加算され、0〜8000Hzの周波数帯域をもつ信号に復元されてD/A変換器2に与えられる。
【0060】
D/A変換器2では、加算器7から入力された信号をディジタル信号からアナログ信号に変換して、アナログ信号Swideを出力する。
【0061】
もともと人間の有音成分は、周波数が高い成分ほど小さい成分になるという特性を持っており、BPF20の代わりに特性補正フィルタ30を用いることで、更に自然な音質を実現できる。
【0062】
(C−2)第3の実施形態の効果
以上、第3の実施形態によれば、第2の実施形態のBPF20にかえて特性補正フィルタ30を用いるようにしたので、音声の特性を損なわない更に自然な音質を実現することができる。
【0063】
(D)第4の実施形態
(D−1)第4の実施形態の構成及び動作
図8は、第4の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0064】
第4の実施形態と第1の実施形態とで異なる点は、第1の実施形態で説明した上限制限増幅器3を振幅制限器40に変え、増幅量制御器4を振幅限界制御器41に変え、減衰器5をなくした点であり、その他の構成要件は、第1の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1の実施形態の構成要件と対応する符号を付した。
【0065】
振幅制限器40は、A/D変換器1から出力された信号Snarrowを受け取り、振幅限界制御器41により制御された振幅限界値を用いて、信号Snarrowの振幅を振幅制限するものである。なお、この振幅限界値とは、初期状態は最大振幅に設定されており、振幅限界制御器41の制御により減少制御されて、信号Sxの最大値を検出するために用いられる限界値をいう。
【0066】
最大値制限検出器42は、所定の振幅制限値を予め設定されており、振幅制限器40から出力された信号Sxの振幅がその所定の振幅制限値に達しているか否かを検出し、その所定の振幅制限値に達していない場合に、その旨を振幅限界制御器41に与えるものである。
【0067】
振幅限界制御器41は、振幅制限器40の振幅限界値を設定するものであり、最大値制限検出器42から信号Sxの振幅が上記振幅制限値に達していない旨の出力を受け取ると、振幅制限器40の振幅限界値を更に小さくするように制御するものである。
【0068】
以下では、図4に示す第4の実施形態の動作について説明する。
【0069】
A/D変換器1の動作に関しては第1の実施形態で説明したので、ここでの説明は省略する。
【0070】
A/D変換器1から出力された信号Snarrowは、振幅制限器40に出力される。
【0071】
振幅制限器40において、信号Snarrowは、振幅限界制御器41から設定された振幅限界値を用いて振幅制限をうける。
【0072】
振幅制限器40は、初期状態では、A/D変換器1のディジタルでの最大振幅(+32767、−32768)が、おのおの正負の最大振幅として設定されている。即ち、初期状態では振幅制限をしない。
【0073】
振幅制限器40からの出力は、最大値制限検出器42に与えられ、最大値制限検出器42により、信号Sxの振幅が制限を受けたか否かが検出される。
【0074】
最大値制限検出器42により振幅制限が検出されない場合は、最大値制限検出器42から振幅限界制御器41に対して振幅制限の発生がない旨の信号が出力される。
【0075】
振幅限界制御器41は、最大値制限検出器42から振幅制御の発生がない旨の信号を受け取り、振幅制限器40の振幅限界値をもっと小さくするよう振幅制限器40を制御する。
【0076】
このように、最大値制限検出器42により、所定の振幅制限値に基づく振幅制限の検出が行われるまで、振幅限界制御器41は、振幅限界値を減少していき、振幅制御が検出されると、その制限値の減少を止める。
【0077】
その結果、振幅制限器40では必ず振幅の制限値に基づく振幅制限(すなわち頭打ち)が発生するようになり、第1の実施形態で説明したように、信号Snarrowで欠落した音声の周波数成分を発生できるようになる。
【0078】
D/A変換器2の動作に関しては第1の実施形態で説明したので、ここでは説明しない。
【0079】
なお、本実施形態において、特に設けなかったが、加算器7と振幅制限器40との間に減衰器5を設けてもよいのはもちろんである。
【0080】
(D−1)第4の実施形態の効果
以上、第4の実施形態によれば、振幅制限器40を設け、音声信号の振幅を制限して高域成分を発生し、最大値制限検出器42を設け、信号に振幅制限が発生しているかどうかを検出し、振幅限界制御器41は最大値制限検出器42の出力に応じて信号に振幅制限が必ず発生するように振幅制限器40の振幅限界値を制御するようにしたので、第1の実施形態と同様に、欠落した音声の高域成分を復元して音質を向上でき、かつ、第1の実施形態における減衰器5を無くしたので、第1の実施形態よりも装置規模の小さい帯域復元装置を実現できるのである。
【0081】
(E)第5の実施形態
(E−1)第5の実施形態の構成及び動作
図9は、第5の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0082】
第5の実施形態と第4の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20を、振幅制限器と加算器7との間に備えた点であり、その他の構成要件は、第1及び第4の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第4の実施形態の構成要件と対応する符号を付した。
【0083】
BPF20は、第2の実施形態で説明したBPF20の機能を備えるものであるため、詳細な説明は省略する。
【0084】
(E−2)第5の実施形態の効果
以上、第5の実施形態によれば、第4の実施形態の帯域復元装置に、第2の実施形態で説明したBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、帯域復元が必要な成分だけを残し、その帯域復元に必要な成分を用いることにより、第4の実施形態よりも更に音質の優れた帯域復元装置を実現できるのである。
【0085】
(F)第6の実施形態
(F−1)第6の実施形態
図10は、第6の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0086】
第6の実施形態と第5の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20に変えて、特性補正フィルター30を備えた点であり、その他の構成要件は、第1及び第5の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第5の実施形態の構成要件と対応する符号を付した。
【0087】
特性補正フィルター30は、第3の実施形態で説明した特性補正フィルター30の機能に対応するため、ここでの機能説明は省略する。
【0088】
(F−2)第6の実施形態の効果
以上、第6の実施形態によれば、第5の実施形態の帯域復元装置のBPF20にかえて、特性補正フィルタ30を用いるようにしたので、音声の特性を損なわない、更に自然な音質を実現した帯域復元装置を実現できる。
【0089】
(G)第7の実施形態
(G−1)第7の実施形態の構成及び動作
図11は、第7の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0090】
第7の実施形態と第1の実施形態とで異なる点は、有声音検出器71をA/D変換器1の後段に備えた点と、増幅量制御器70の機能とであり、その他の構成要件は、第1の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1の実施形態の構成要件と対応する符号を付した。
【0091】
以下では、有声音検出器71と増幅量制御器70との機能構成について詳細に説明し、その他の構成要件の機能構成については既に説明しているのでここでは省略する。
【0092】
有声音検出器71は、A/D変換器1から信号Snarrowを受け取り、その信号Snarrowに音声の有音声部分(母音)があるか否かを検出し、有音声部分を検出した場合に、その検出結果を増幅量制御器70に与えるものである。
【0093】
増幅量制御器70は、有声音検出器71より有音声部分を検出した検出結果を受け取り、その有音声部分が検出されている期間、上限制限増幅器3の増幅量を増加させるものであって、最大値制限検出器6から最大値に達しているという旨の出力を継続して受け取るまで増幅量を増加させるものである。
【0094】
図11を用いて、第7の実施形態に係る帯域復元装置の動作を説明する。
【0095】
A/D変換器1から出力された信号Snarrowは、有声音検出器71に入力される。
【0096】
有声音検出器71において、信号Snarrowに音声の有音声部分(母音)があるかどうかが検出される。なお、この有声音検出器71による音声の有声音(母音)部検出方法に関しては後述する。
【0097】
有声音検出器71は、有声音検出の結果が「検出あり」である場合、その検出結果が増幅量制御器70に与えられる。
【0098】
増幅量制御器70に「有声音検出あり」の検出結果が与えられると、増幅量制御器70は、有声音検出器71から「検出あり」の期間中、上限制限増幅器3の増幅量を増加し、最大値制限検出が継続して検出されるようになるまで上限制限増幅器3の増幅量を増加する。
【0099】
上限制限増幅器3及び最大値制限検出器6の機能動作は、第1の実施形態で説明したのでここでは省略する。
【0100】
このように、第7の実施形態において、有声音検出器71を設けたのは、本実施形態の帯域復元は、有声音検出ありの期間中継続的に実施するのが望ましいからである。
【0101】
なぜなら、本実施形態において帯域復元は、上述したように、音声の母音部分すなわち「有声音」部分で特に効果を発揮するからである。
【0102】
したがって、音声信号の一部だけを帯域復元するのではなく、少なくとも「母音(有声音)」が存在する期間においては継続して帯域復元を施すのが望ましい。
【0103】
次に、有声音検出器71による有声音検出の方法に関して詳述する。
【0104】
有声音検出器71は、信号Snarrowの平均値を計算するが、この際、時定数の異なる2種類の平均値Lng_S_narrowとSrt_S_narrowとを計算する。
【0105】
Lng_S_narrow(k)=δ1・Lng_S_narrow(k−1)+(1.0−δ1)|Snarrow(k)| …(1)
Srt_S_narrow(k)=δ2・Srt_S_narrow(k−1)+(1.0−δ2)|Snarrow(k)| …(2)
ここで、本実施形態ではδ1=0.99、δ2=0.5とした。
【0106】
δx(x=1,2)は平均の滑らかさを表わす定数であり、1≧δx≧0なる定数である。
【0107】
δxが大きいほど、平滑は滑らかになり、平均計算の結果は大まかな信号レベルを表わし、δxが小さいと急激な信号の変化に対応するようになる。
【0108】
本実施形態では、ノイズフロアレベルをLng_S_narrow(k)とみなし、Srt_S_narrow(k)を信号レベルとして下記式(3)が成立するとき、「有声音あり」と検出するようにした。
【0109】
Srt_S_narrow(k)>Lng_S_narrow(k)+6dB…(3)
なお本実施形態では、上記式(3)において検出閾値を6dBとしたが、もちろんこれに限定するものではない。
【0110】
(G−2)第7の実施形態の効果
以上、第7の実施形態によれば、第1の実施形態に加え、有声音検出器71を設けて有声音(母音)の検出を行い、有声音検出器71の検出結果に応じて増幅量制御器70が増幅量を制御するようにした。その結果として、有声音期間中は継続的に帯域復元された信号が発生するようになり、通話中の有声音部分は継続的に音質が向上され、音声品質の優れた帯域復元装置を実現できる。
【0111】
(H)第8の実施形態
(H−1)第8の実施形態の構成及び動作
図12は、第8の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0112】
第8の実施形態と第7の実施形態とで異なる点は、第7の実施形態で説明した減衰器5を帯域通過フィルター(BPF:バンドパスフィルター)20に変えた点であり、その他の構成要件は、第1及び第7の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第7の実施形態の構成要件と対応する符号を付した。
【0113】
BPF20は、第2の実施形態で説明したBPF20の機能に対応するものであるため、ここでの説明を省略する。
【0114】
(H−2)第8の実施形態の効果
以上、第8の実施形態によれば、第7の実施形態の帯域復元装置の減衰器5の代わりとしてBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、復元が必要な成分だけを残して帯域復元に用いるようにしたので、第7の実施形態よりも更に音質の優れた帯域復元装置を実現できる。
【0115】
(I)第9の実施形態
(I−1)第9の実施形態の構成及び動作
図13は、第9の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0116】
第9の実施形態と第8の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20に変えて、特性補正フィルター30を備えた点であり、その他の構成要件は、第1及び第8の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第8の実施形態の構成要件と対応する符号を付した。
【0117】
特性補正フィルター30は、第3の実施形態で説明した特性補正フィルター30の機能に対応するため、ここでの機能説明は省略する。
【0118】
(I−2)第9の実施形態の効果
以上、第9の実施形態によれば、第8の実施形態の帯域復元装置のBPF20にかえ、特性補正フィルタ30を用いるようにしたので、より音声の特性を損なわない、更に自然な音質を実現した帯域復元装置を実現できる。
【0119】
(J)第10の実施形態
(J)第10の実施形態の構成及び動作
図14は、第10の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0120】
第10の実施形態と第4の実施形態とで異なる点は、A/D変換器1の後段に有声音検出器71を備えた点と、振幅限界制御器100の機能とであり、その他の構成要件は、第4の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4の実施形態の構成要件と対応する符号を付した。
【0121】
有声音検出器71は、第7の実施形態で説明した有声音検出器71に対応する機能を有するものであるのでここではその機能説明を省略する。
【0122】
以下、図10を用いて第10の実施形態に係る帯域復元装置の動作を説明する。
【0123】
振幅限界制限器100は、有声音検出器71から有声音検出の結果「検出あり」を受けた時、「検出あり」の期間中、継続して最大値制限検出が検出されるようになるまで振幅限界値を減少して、信号に頭打ちが発生するように制御するものである。
【0124】
第10の実施形態において、有声音検出器71を設けたのは、第7の実施形態で説明したように、本実施形態の帯域復元は、音声の母音部分すなわち「有声音」部分で特に効果を発揮するから、音声信号の特に母音期間の一部を帯域復元するのではなく、少なくとも「母音(有声音)」期間においては継続して帯域復元を施すのが望ましからである。
【0125】
(J)第10の実施形態の効果
以上、第10の実施例によれば、第4の実施形態の帯域復元装置に加え、A/D変換器1の後段に有声音検出器71を設けて、有声音を検出し、振幅限界制御器100は、有声音検出器71の検出期間中信号に振幅制限が発生するように振幅制限器40の振幅限界値を制御するようにした。その結果、有声音期間中は継続的に帯域復元された信号が発生するようになり、通話中の有声音部分は継続的に音質が向上される帯域復元装置を実現できる。
【0126】
(K)第11の実施形態
(K−1)第11の実施形態の構成及び動作
図15は、第11の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0127】
第11の実施形態と第10の実施形態とで異なる点は、第10の実施形態で説明した減衰器5を帯域通過フィルター(BPF:バンドパスフィルター)20に変えた点であり、その他の構成要件は、第4及び第10の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4及び第10の実施形態の構成要件と対応する符号を付した。
【0128】
BPF20は、第2の実施形態で説明したBPF20の機能に対応するものであるため、ここでの説明を省略する。
【0129】
(K−2)第11の実施形態の効果
以上、第11の実施形態によれば、第10の実施形態で説明した帯域復元装置に加え、第2の実施形態で説明したBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、復元が必要な成分だけを残して帯域復元に用いるようにしたので、第10の実施形態の帯域復元装置よりも更に音質の優れた帯域復元装置を実現できる。
【0130】
(L)第12の実施形態
(L−1)第12の実施形態の構成及び動作
図16は、第12の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0131】
第12の実施形態と第11の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20に変えて、特性補正フィルター30を備えた点であり、その他の構成要件は、第4及び第11の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4及び第11の実施形態の構成要件と対応する符号を付した。
【0132】
特性補正フィルター30は、第3の実施形態で説明した特性補正フィルター30の機能に対応するため、ここでの機能説明は省略する。
【0133】
(L−2)第12の実施形態の効果
以上、第12の実施形態によれば、第11の実施形態の帯域復元装置のBPF20にかえ、特性補正フィルタ30を用いるようにしたので、より音声の特性を損なわない、更に自然な音質を実現した帯域復元装置を実現できる。
【0134】
(M)第13の実施形態
(M−1)第13の実施形態の構成及び動作
図17は、第13の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0135】
第13の実施形態と第7の実施形態とで異なる点は、有声音検出器71に変えて、音声検出器130を備えた点と、周波数シフト処理器131を備えた点と、増幅量制御器132の機能とであり、その他の構成要件は、第1及び第7の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第7の実施形態の構成要件と対応する符号を付した。
【0136】
以下では、音声検出器130、周波数シフト処理器131及び増幅量制御器132との機能動作について詳細に説明し、その他の構成要件については既に説明しているのでここでは省略する。
【0137】
音声検出器130は、A/D変換器1から出力される信号Snarrowを受け取り、その信号Snarrowの母音音声と子音音声とを検出して、それらを検出した旨の検出結果を増幅量制御器132及び周波数シフト処理器131に与えるものである。なお、音声検出器130による信号の母音音声と子音音声との検出方法については後述する。
【0138】
周波数シフト処理器131は、音声検出器130から子音音声を検出した旨の出力を受け取り、その場合に、A/D変換器1からの信号Snarrowを復元帯域側に周波数シフトするものである。なお、音声検出器130から母音音声を検出した旨の出力を受け取った場合には、周波数シフトの動作は行われない。
【0139】
増幅量制御器132は、音声検出器130から子音音声を検出した旨の出力を受け取り、その場合は、上限制限増幅器3の増幅量を1倍に制御する。また、音声検出器130から母音音声を検出した旨の出力を受け取った場合は、第7の実施形態で説明した増幅量制御器70と同様に、母音音声検出期間中、上限制限増幅器3の増幅量を増加し、最大値制限検出器6からの最大値制限検出が継続して検出されるようになるまで上限制限増幅器3の増幅量を増加する。
【0140】
図17を用いて、第13の実施形態の帯域復元装置の動作について説明する。
【0141】
まず、音声検出器130の動作に関して説明する。
【0142】
音声検出器130には例えば0〜4000Hzに帯域制限された信号Snarrowが入力される。
【0143】
音声検出器130は、初めに第7の実施形態の有声音検出器71と同じ処理を行い母音音声の検出をおこなうと同時に、以下に記す「子音音声」の検出を行う。
【0144】
図18は、信号Snarrowの一例を示す。図18は、日本語音声「しょう」の波形を示した例である。
【0145】
例えば、図18において、子音「し」は振幅変動が小さいが、水平軸をまたぐような変化の交差が頻繁に発生していることが分かる。
【0146】
音声検出器130は、子音音声について、信号Snarrowのディジタルサンプルが振幅0(水平軸)をどの程度またぐかを求めることにより判断する。
【0147】
具体的には、音声検出器130は、信号Snarrowのサンプル列Snarrow(k)と1サンプル前のSnarrow(k−1)を用いて両者の積cross_Snarrow(k)を計算する。
【0148】
cross_Snarrow(k)
=Snarrow(k)×Snarrow(k−1) …(4)
音声検出器130は、次にcross_Snarrow(k)の符号が負の時、即ちデータサンプルが水平軸をまたぐ(以下ゼロクロスと記す)とき、カウンタc_consonantを1だけ増加するようにする。
【0149】
音声検出器130は、式(4)の計算を過去1600サンプル、即ちSnarrow(k−1599)〜Snarrow(k)にわたって計算し、そのうち水平軸をまたぐ回数が400回を超える場合には子音音声があると検出する。
【0150】
c_consonant>400 …(5)
本実施形態では、上記式(5)のように、過去にさかのぼるサンプル数を1600サンプル、子音判定の閾値を400回としたが、もちろんこれに限定しない。
【0151】
また、実際、本実施形態では音声の「子音」検出にゼロクロスを用いたが、子音音声を検出する方法であればどのような方法であってもかまわない。
【0152】
音声検出器130は、母音及び子音の検出判定の結果から最終的に音声の種類を次のように判定する。
【0153】
(1)母音検出なし、子音検出なしの時:音声なし。
【0154】
(2)母音検出なし、子音検出ありの時:子音音声あり。
【0155】
(3)母音検出あり、子音検出なしの時:母音音声あり。
【0156】
(4)母音検出あり、子音検出ありの時:母音音声あり。
【0157】
本実施形態では、上記のように分類したが、正しく音声を検出し、子音、母音の区別がつけることができればどのような方法であってもよい。
【0158】
以上のようにして、音声検出器130により母音音声と子音音声とが検出されると、その検出結果が、音声検出器130から増幅量制御器132及び周波数シフト処理器131に出力される。
【0159】
以下では、それぞれの検出結果に応じた、増幅量制御器132及び周波数シフト処理器131の動作を説明する。
【0160】
音声検出器130により「(1)音声なし」の検出があった場合、増幅量制御器132は、上限制限増幅器3の増幅量を1倍にするように制御する。
【0161】
音声検出器130により「(2)子音音声あり」の検出があった場合、増幅量制御器132は上限制限増幅器3の増幅量を1倍にする。
【0162】
また、周波数シフト処理器131は、入力信号Snarrowを復元帯域側に周波数シフトする。
【0163】
本実施形態において、周波数シフトの方法は、A/D変換器1から出力される信号Snarrow(0〜4000Hz)に、4000Hzの正弦波を乗算し信号をSupper(4000〜8000Hz)にシフトする方法を用いる。
【0164】
もちろん、周波数成分が復元帯域側にシフトされる方法であればどのような方法であってもかまわない。
【0165】
周波数シフトされた信号Supper(4000〜8000Hz)は、減衰器5に出力され、更に加算器7でもとの信号Snarrow(0〜4000Hz)と加算され、減衰器5及びD/A変換器2を経て出力される。
【0166】
音声検出器130により「(3)及び(4)母音音声あり」の検出があった場合、周波数シフト処理器131は特に機能しない。また、音声検出器130の動作は第7の実施形態における有声音検出器71と同じである。
【0167】
また、増幅量制御器132が行なう動作は、第7の実施形態における増幅量制御器70の動作と同様であるため、ここでは省略する。
【0168】
以上のように、第13の実施形態は、第7の実施形態で説明したように母音部分だけでなく、子音部分の帯域成分をあわせて復元することで更に音質を高めている。
【0169】
人間の音声は当然、母音だけでなく子音もふくまれるので両方が帯域復元されたほうが音質が向上するのはもちろんである。
【0170】
一方、子音は第1の実施形態で説明したような第1基本周波数とその整数倍の性質をもっていない。
【0171】
従って、第13の実施形態では、信号Snarrow(0〜4000Hz)を周波数的に上方にシフトしたSupper(4000〜8000Hz)と加算合成した信号を全体の信号(0〜8000Hz)としても聴感にさほど違和感を生じないことを利用して子音部の帯域を復元したのである。
【0172】
(M)第13の実施形態の効果
以上、第13の実施形態によれば、第7の実施形態の帯域復元装置の有声音検出器71に変えて音声検出器130を備え、また、周波数シフト処理器131を新たに備え、音声が子音の場合には、周波数シフト処理器131による周波数シフト信号による帯域復元が行われるようにしたので、音声の「子音」部にも帯域が復元され、より音質を向上できる。
【0173】
(N)第14の実施形態
(N−1)第14の実施形態の構成及び動作
図19は、第14の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0174】
第14の実施形態と第13の実施形態とで異なる点は、第13の実施形態で説明した減衰器5を帯域通過フィルター(BPF:バンドパスフィルター)20に変えた点であり、その他の構成要件は、第1及び第13の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第13の実施形態の構成要件と対応する符号を付した。
【0175】
BPF20は、第2の実施形態で説明したBPF20の機能に対応するものであるため、ここでの説明を省略する。
【0176】
(N−2)第14の実施形態の効果
以上、第14の実施形態によれば、第13の実施形態の減衰器5に代えてBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、復元が必要な成分だけを残して帯域復元に用いるようにしたので、第13の実施形態よりも更に音質の優れた帯域復元装置を実現できる。
【0177】
(O)第15の実施形態
(O)第15の実施形態の構成及び動作
図20は、第15の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0178】
第15の実施形態と第14の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20に変えて、特性補正フィルター30を備えた点であり、その他の構成要件は、第1及び第14の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第1及び第14の実施形態の構成要件と対応する符号を付した。
【0179】
特性補正フィルター30は、第3の実施形態で説明した特性補正フィルター30の機能に対応するため、ここでの機能説明は省略する。
【0180】
(O−2)第15の実施形態の効果
以上、第15の実施形態によれば、第14の実施形態の帯域復元装置のBPF20にかえ、特性補正フィルタ30を用いるようにしたので、より音声の特性を損なわない、更に自然な音質を実現した帯域復元装置を実現できる。
【0181】
(P)第16の実施形態
(P−1)第16の実施形態の構成及び動作
図21は、第16の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0182】
第16の実施形態と第10の実施形態とで異なる点は、有声音検出器71に変えて、音声検出器130を備えた点と、振幅限界制御器100に変えて、振幅限界制御器161を備えた点と、周波数シフト処理器131を備えた点であり、その他の構成要件は、第4及び第10の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4及び第10の実施形態の構成要件と対応する符号を付した。
【0183】
音声検出器130及び周波数シフト処理器131の機能については、第13の実施形態で説明したものに対応するのでここでは省略する。
【0184】
以下では、振幅限界制御器161の機能動作について説明する。
【0185】
振幅限界制御器161は、音声検出器130による母音及び子音の検出判定結果を受け取り、その判定結果に応じて振幅制限器40の振幅限界値を制御するものである。
【0186】
振幅限界制御器161は、音声検出器130からの判定結果が「音声なし」のとき、振幅制限器40の振幅限界値を固定するように制御する。
【0187】
また、振幅限界制御器161は、音声検出器130からの判定結果が「子音音声あり」のとき、振幅限界制御器161は振幅制限器40の振幅限界値を最大にする。即ち、可能な限り振幅限界値を制限せずに、頭打ち波形が発生しないようにする。
音声検出器130からの判定結果が「母音音声あり」のとき、周波数シフト処理器131は特に機能しない。
【0188】
このとき音声検出器130の動作は第10の実施形態における有声音検出器71と同様であるの省略する。また、振幅限界制御器161の動作も第10の実施形態における振幅限界制御器100と同様であるので省略する。
【0189】
(P−2)第16の実施形態の効果
以上、第16の実施形態によれば、有声音検出器71に変えて音声検出器130を備え、また、新たに周波数シフト処理器131を備え、音声が子音の場合には、周波数シフト処理器131による周波数シフト信号による帯域復元が行われるようにしたので、音声の「子音」部にも帯域が復元され、より音質を向上でき、第13の実施形態に比べて、減衰器5を不要にしたので装置規模が小さい帯域復元装置を実現できる。
【0190】
(Q)第17の実施形態
(Q−1)第17の実施形態の構成及び動作
図22は、第17の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0191】
第17の実施形態と第16の実施形態とで異なる点は、第16の実施形態で説明した減衰器5を帯域通過フィルター(BPF:バンドパスフィルター)20に変えた点であり、その他の構成要件は、第4及び第16の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4及び第16の実施形態の構成要件と対応する符号を付した。
【0192】
BPF20は、第2の実施形態で説明したBPF20の機能に対応するものであるため、ここでの説明を省略する。
【0193】
(Q−2)第17の実施形態の効果
以上、第17の実施形態によれば、第16の実施形態で説明した帯域復元装置に加え、第2の実勢形態で説明したBPF20を用いるようにしたので、本来、強調すべきでない信号をそのままにし、復元が必要な成分だけを残して帯域復元に用いるようにしたので、第16の実施形態の帯域復元装置よりも更に音質の優れた帯域復元装置を実現できる。
【0194】
(R)第18の実施形態
(R−1)第18の実施形態の構成及び動作
図23は、第18の実施形態に係る帯域復元装置の構成ブロック図を示す。
【0195】
第18の実施形態と第17の実施形態とで異なる点は、帯域通過フィルター(BPF:バンドパスフィルター)20に変えて、特性補正フィルター30を備えた点であり、その他の構成要件は、第4及び第17の実施形態で説明した構成要件に対応する。なお、その他の対応する構成要件には第4及び第17の実施形態の構成要件と対応する符号を付した。
【0196】
特性補正フィルター30は、第3の実施形態で説明した特性補正フィルター30の機能に対応するため、ここでの機能説明は省略する。
【0197】
(R−2)第18の実施形態の効果
以上、第18の実施形態によれば、第17の実施形態の帯域復元装置のBPF20にかえ、特性補正フィルタ30を用いるようにしたので、より音声の特性を損なわない、更に自然な音質を実現した帯域復元装置を実現できる。
【0198】
(S)他の実施形態
(S−1)上述した第1〜第18の実施形態では、それぞれ異なる構成の帯域復元装置について説明したが、勿論、上述した構成に限る必要はなく、種々に変形が可能である。
【0199】
例えば、種々の変形例として次のようなものがある。
【0200】
上述した第1〜第18の実施形態では、帯域復元用の信号を作成するのに、音声信号を加工して頭打ちの信号、即ち矩形波に似た信号を発生させて、帯域復元用の信号、即ち音声信号と第1基本周波数がおなじで、かつ、その整数倍の周波数をもつ信号を作成したが、他にも、次のような方法がある。
【0201】
例えば、音声信号の振幅の最大値及び又は最小値を線形補間して「三角波」を作成しても同様の信号を作成できる。
【0202】
また例えば、音声信号の最大値又は最小値だけを用いて、水平軸から次回最大値又は最小値までを線形補間して作成する「のこぎり波」などを用いて同様の信号を作成してもよい。
【0203】
(S−2)上述した第1〜第18の実施形態は、狭帯域化された音声信号に対して適用する場合について説明したが、狭帯域化された音響・音楽等にも適用することができる。
【0204】
【発明の効果】
以上、第1〜第3の本発明によれば、帯域制限された帯域の周波数成分を、入力した音信号に基づいて再現することができる。
【図面の簡単な説明】
【図1】 第1の実施形態の帯域復元装置の全体構成図である。
【図2】 第1の実施形態の信号Snarrowの周波数特性を示す図である。
【図3】 第1の実施形態の信号Sxの周波数特性を示す図である。
【図4】 第2の実施形態の帯域復元装置の全体構成図である。
【図5】 第2の実施形態の信号Sxの周波数特性を示す図である。
【図6】 第3の実施形態の帯域復元装置の全体構成図である。
【図7】 第3の実施形態の信号Sxの周波数特性を示す図である。
【図8】 第4の実施形態の帯域復元装置の全体構成図である。
【図9】 第5の実施形態の帯域復元装置の全体構成図である。
【図10】 第6の実施形態の帯域復元装置の全体構成図である。
【図11】 第7の実施形態の帯域復元装置の全体構成図である。
【図12】 第8の実施形態の帯域復元装置の全体構成図である。
【図13】 第9の実施形態の帯域復元装置の全体構成図である。
【図14】 第10の実施形態の帯域復元装置の全体構成図である。
【図15】 第11の実施形態の帯域復元装置の全体構成図である。
【図16】 第12の実施形態の帯域復元装置の全体構成図である。
【図17】 第13の実施形態の帯域復元装置の全体構成図である。
【図18】 第13の実施形態の信号Snarrowの波形例を示す図である。
【図19】 第14の実施形態の帯域復元装置の全体構成図である。
【図20】 第15の実施形態の帯域復元装置の全体構成図である。
【図21】 第16の実施形態の帯域復元装置の全体構成図である。
【図22】 第17の実施形態の帯域復元装置の全体構成図である。
【図23】 第18の実施形態の帯域復元装置の全体構成図である。
【符号の説明】
3…上限増幅器、4…増幅量制御器、5…減衰器、6…最大値制限検出器、
7…加算器、20…BPF(バンドパスフィルタ)、30…特性補正フィルタ、
40…振幅制限器、41…振幅限界制御器、42…最大値制限検出器。
Claims (7)
- 音の狭帯域化により欠落した周波数帯域の周波数成分を復元する帯域復元装置であって、
入力された狭帯域ディジタル入力信号の信号値を増幅すると共に、増幅後の信号値が所定の振幅最大値を超えていると振幅最大値にする上限制限増幅手段と、
上記上限制限増幅手段により増幅された信号値が振幅最大値に達しているか否かを検出する最大値検出手段と、
上記最大値検出手段の検出結果に応じて、上記上限制限増幅手段の増幅量を増大制御する増幅量制御手段と、
上記上限制限増幅手段からの出力信号と上記狭帯域ディジタル入力信号とに基づいて、復元周波数帯域の周波数成分を有する帯域復元信号を生成する帯域復元手段と、
上記狭帯域ディジタル入力信号に基づいて少なくとも母音音声を検出する音声検出手段を有し、
上記増幅量制御手段は、上記音声検出手段が少なくとも母音音声を検出している母音音声検出期間中、上記増幅量を継続的に増大制御する
ことを特徴とする帯域復元装置。 - 音の狭帯域化により欠落した周波数帯域の周波数成分を復元する帯域復元装置であって、
入力された狭帯域ディジタル入力信号の信号値の上限を振幅限界値で制限する振幅制限手段と、
上記振幅制限手段からの信号値が所定の振幅制限値に達しているか否かを検出する制限検出手段と、
上記制限検出手段の検出結果に応じて、上記振幅限界値を減少制御する振幅限界制御手段と、
上記振幅制限手段からの出力信号と上記狭帯域ディジタル入力信号とに基づいて、復元周波数帯域の周波数成分を有する帯域復元信号を生成する帯域復元手段と、
上記狭帯域ディジタル入力信号に基づいて少なくとも母音音声を検出する音声検出手段を有し、
上記振幅限界制御手段は、上記音声検出手段が少なくとも母音音声を検出している母音音声検出期間中、上記振幅限界値を減少制御する
ことを特徴とする帯域復元装置。 - 上記請求項1又は2に記載の帯域復元装置において、
上記狭帯域ディジタル入力信号の周波数成分を周波数帯域にシフトする周波数シフト処理手段を有し、
上記音声検出手段が、上記狭帯域ディジタル入力信号に基づいて少なくとも子音音声を検出するものであり、
上記周波数シフト処理手段は、上記音声検出手段が子音音声のみを検出している期間にだけ、上記狭帯域ディジタル音声信号の周波数成分を復元周波数帯域にシフトすることを特徴とする帯域復元装置。 - 上記帯域復元手段は、
上記上限制限増幅手段又は上記振幅制限手段からの出力信号の振幅を調整する振幅調整部と、
上記振幅調整部からの振幅調整信号と、上記狭帯域ディジタル入力信号とを、予め設定された比率で合成して帯域復元信号を生成する帯域復元信号生成部と
を有することを特徴とする請求項1〜3のいずれかに記載の帯域復元装置。 - 上記振幅調整部が、復元に必要な周波数帯域の周波数成分だけを取り出す帯域通過フィルタであることを特徴とする請求項4に記載の帯域復元装置。
- 上記振幅調整部が、復元に必要な周波数帯域の周波数成分を取り出すと共に、その取り出した周波数成分の振幅を帯域に応じて調整する特性補正フィルタであることを特徴とする請求項4に記載の帯域復元装置。
- 音の狭帯域化により欠落した周波数帯域の周波数成分を復元する上記請求項1〜6のいずれかに記載の帯域復元装置を備えることを特徴とする電話機。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036607A JP4311034B2 (ja) | 2003-02-14 | 2003-02-14 | 帯域復元装置及び電話機 |
PCT/JP2004/001427 WO2004072958A1 (en) | 2003-02-14 | 2004-02-10 | Device for recovering missing frequency components |
CNB2004800040592A CN100347742C (zh) | 2003-02-14 | 2004-02-10 | 频带恢复设备和电话机 |
KR1020057014675A KR20050098909A (ko) | 2003-02-14 | 2004-02-10 | 손실 주파수 성분을 복원하는 장치 |
US10/545,435 US7539613B2 (en) | 2003-02-14 | 2004-02-10 | Device for recovering missing frequency components |
GB0514915A GB2412047B (en) | 2003-02-14 | 2005-07-02 | Device for recovering missing frequency components |
US12/073,986 US7765099B2 (en) | 2003-02-14 | 2008-03-12 | Device for recovering missing frequency components |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036607A JP4311034B2 (ja) | 2003-02-14 | 2003-02-14 | 帯域復元装置及び電話機 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008283364A Division JP4692606B2 (ja) | 2008-11-04 | 2008-11-04 | 帯域復元装置及び電話機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004266358A JP2004266358A (ja) | 2004-09-24 |
JP4311034B2 true JP4311034B2 (ja) | 2009-08-12 |
Family
ID=32866335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003036607A Expired - Fee Related JP4311034B2 (ja) | 2003-02-14 | 2003-02-14 | 帯域復元装置及び電話機 |
Country Status (6)
Country | Link |
---|---|
US (2) | US7539613B2 (ja) |
JP (1) | JP4311034B2 (ja) |
KR (1) | KR20050098909A (ja) |
CN (1) | CN100347742C (ja) |
GB (1) | GB2412047B (ja) |
WO (1) | WO2004072958A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4311034B2 (ja) * | 2003-02-14 | 2009-08-12 | 沖電気工業株式会社 | 帯域復元装置及び電話機 |
JP4380174B2 (ja) * | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
KR100900438B1 (ko) * | 2006-04-25 | 2009-06-01 | 삼성전자주식회사 | 음성 패킷 복구 장치 및 방법 |
JP4972742B2 (ja) | 2006-10-17 | 2012-07-11 | 国立大学法人九州工業大学 | 高域信号補間方法及び高域信号補間装置 |
JP2008197247A (ja) * | 2007-02-09 | 2008-08-28 | Yamaha Corp | 音声処理装置 |
JP4872086B2 (ja) * | 2007-03-30 | 2012-02-08 | 国立大学法人九州工業大学 | 高域信号補間装置 |
JP5179578B2 (ja) * | 2007-07-06 | 2013-04-10 | フランス・テレコム | ディジタル信号の復号中に後処理ステップによってもたらされるひずみの制限 |
US9947340B2 (en) | 2008-12-10 | 2018-04-17 | Skype | Regeneration of wideband speech |
GB0822537D0 (en) | 2008-12-10 | 2009-01-14 | Skype Ltd | Regeneration of wideband speech |
GB2466201B (en) | 2008-12-10 | 2012-07-11 | Skype Ltd | Regeneration of wideband speech |
US8233637B2 (en) | 2009-01-20 | 2012-07-31 | Nokia Corporation | Multi-membrane microphone for high-amplitude audio capture |
JP5387076B2 (ja) * | 2009-03-17 | 2014-01-15 | ヤマハ株式会社 | 音処理装置およびプログラム |
EP2407965B1 (en) * | 2009-03-31 | 2012-12-12 | Huawei Technologies Co., Ltd. | Method and device for audio signal denoising |
US9380380B2 (en) | 2011-01-07 | 2016-06-28 | Stmicroelectronics S.R.L. | Acoustic transducer and interface circuit |
JP5872163B2 (ja) | 2011-01-07 | 2016-03-01 | オムロン株式会社 | 音響トランスデューサ、および該音響トランスデューサを利用したマイクロフォン |
JP5707963B2 (ja) * | 2011-01-20 | 2015-04-30 | ヤマハ株式会社 | オーディオアンプ |
JP5590021B2 (ja) * | 2011-12-28 | 2014-09-17 | ヤマハ株式会社 | 音声明瞭化装置 |
WO2017059880A1 (en) * | 2015-10-05 | 2017-04-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Amplification device incorporating limiting |
CN112532208B (zh) * | 2019-09-18 | 2024-04-05 | 惠州迪芬尼声学科技股份有限公司 | 谐波发生器及用于生成谐波的方法 |
CN112259121B (zh) * | 2020-10-26 | 2024-06-11 | 西安讯飞超脑信息科技有限公司 | 削波语音信号处理方法、***、电子设备及存储介质 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3828133A (en) * | 1971-09-23 | 1974-08-06 | Kokusai Denshin Denwa Co Ltd | Speech quality improving system utilizing the generation of higher harmonic components |
JPS5314884B2 (ja) | 1971-10-25 | 1978-05-20 | ||
US3991370A (en) * | 1975-10-03 | 1976-11-09 | John Pate | Peak limiter |
US4208548A (en) * | 1977-07-19 | 1980-06-17 | Orban Associates, Inc. | Apparatus and method for peak-limiting audio frequency signals |
US4328591A (en) * | 1979-04-23 | 1982-05-04 | Baghdady Elie J | Method and apparatus for signal detection, separation and suppression |
US4410764A (en) * | 1981-06-29 | 1983-10-18 | Rockwell International Corporation | Speech processor for processing analog signals |
US4406923A (en) * | 1981-10-28 | 1983-09-27 | Cbs Inc. | Automatic loudness controller |
US4495643A (en) * | 1983-03-31 | 1985-01-22 | Orban Associates, Inc. | Audio peak limiter using Hilbert transforms |
US4630304A (en) * | 1985-07-01 | 1986-12-16 | Motorola, Inc. | Automatic background noise estimator for a noise suppression system |
US5127054A (en) * | 1988-04-29 | 1992-06-30 | Motorola, Inc. | Speech quality improvement for voice coders and synthesizers |
JPH0683087B2 (ja) * | 1989-07-19 | 1994-10-19 | 岩崎通信機株式会社 | 雑音除去装置 |
US5170495A (en) * | 1990-10-31 | 1992-12-08 | Northern Telecom Limited | Controlling clipping in a microwave power amplifier |
US5388159A (en) * | 1991-12-20 | 1995-02-07 | Clarion Co., Ltd. | Equalizing circuit for reproduced signals |
US5455888A (en) * | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
US5706352A (en) * | 1993-04-07 | 1998-01-06 | K/S Himpp | Adaptive gain and filtering circuit for a sound reproduction system |
US6023513A (en) * | 1996-01-11 | 2000-02-08 | U S West, Inc. | System and method for improving clarity of low bandwidth audio systems |
US5852535A (en) * | 1996-02-29 | 1998-12-22 | Hewlett-Packard Company | Accurate measurement of preformatted track servo patterns by a magnetic data tape drive |
US5784410A (en) * | 1996-06-03 | 1998-07-21 | Matsushita Electric Industrial Co., Ltd. | Reception automatic gain control system and method |
US6505032B1 (en) * | 2000-05-26 | 2003-01-07 | Xtremespectrum, Inc. | Carrierless ultra wideband wireless signals for conveying application data |
EP0945852A1 (en) * | 1998-03-25 | 1999-09-29 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
JP3224368B2 (ja) * | 1998-05-29 | 2001-10-29 | 沖電気工業株式会社 | 無線受信機 |
US6061551A (en) * | 1998-10-21 | 2000-05-09 | Parkervision, Inc. | Method and system for down-converting electromagnetic signals |
US6091940A (en) * | 1998-10-21 | 2000-07-18 | Parkervision, Inc. | Method and system for frequency up-conversion |
US6813485B2 (en) * | 1998-10-21 | 2004-11-02 | Parkervision, Inc. | Method and system for down-converting and up-converting an electromagnetic signal, and transforms for same |
US7110435B1 (en) * | 1999-03-15 | 2006-09-19 | Parkervision, Inc. | Spread spectrum applications of universal frequency translation |
JP3576430B2 (ja) * | 1999-09-01 | 2004-10-13 | 沖電気工業株式会社 | 自動利得制御器 |
US6704711B2 (en) * | 2000-01-28 | 2004-03-09 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for modifying speech signals |
US20020016698A1 (en) * | 2000-06-26 | 2002-02-07 | Toshimichi Tokuda | Device and method for audio frequency range expansion |
JP2002082685A (ja) | 2000-06-26 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 音声帯域拡張装置及び音声帯域拡張方法 |
US6889182B2 (en) * | 2001-01-12 | 2005-05-03 | Telefonaktiebolaget L M Ericsson (Publ) | Speech bandwidth extension |
US20020128839A1 (en) * | 2001-01-12 | 2002-09-12 | Ulf Lindgren | Speech bandwidth extension |
JP4460182B2 (ja) * | 2001-03-14 | 2010-05-12 | Okiセミコンダクタ株式会社 | 信号補償回路及び復調回路 |
US7606378B2 (en) * | 2001-04-11 | 2009-10-20 | Chrysler Group Llc | Radio distortion processing |
US6828859B2 (en) * | 2001-08-17 | 2004-12-07 | Silicon Laboratories, Inc. | Method and apparatus for protecting devices in an RF power amplifier |
WO2003019534A1 (en) * | 2001-08-31 | 2003-03-06 | Koninklijke Philips Electronics N.V. | Bandwidth extension of a sound signal |
FR2835120B1 (fr) * | 2002-01-21 | 2006-10-20 | Evolium Sas | Procede et dispositif de preparation de signaux destines a etre compares pour etablir une pre-distorsion sur l'entree d'un amplificateur |
US6862438B2 (en) * | 2002-03-25 | 2005-03-01 | Broadcom Corporation | Programmable gain amplifier (PGA) with AGC in receiver section |
EP1357733A1 (en) * | 2002-04-25 | 2003-10-29 | Sony Ericsson Mobile Communications AB | Audio bandwidth extending system and method |
JP4311034B2 (ja) * | 2003-02-14 | 2009-08-12 | 沖電気工業株式会社 | 帯域復元装置及び電話機 |
JP4380174B2 (ja) * | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
-
2003
- 2003-02-14 JP JP2003036607A patent/JP4311034B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-10 KR KR1020057014675A patent/KR20050098909A/ko not_active Application Discontinuation
- 2004-02-10 CN CNB2004800040592A patent/CN100347742C/zh not_active Expired - Fee Related
- 2004-02-10 WO PCT/JP2004/001427 patent/WO2004072958A1/en active Application Filing
- 2004-02-10 US US10/545,435 patent/US7539613B2/en not_active Expired - Fee Related
-
2005
- 2005-07-02 GB GB0514915A patent/GB2412047B/en not_active Expired - Fee Related
-
2008
- 2008-03-12 US US12/073,986 patent/US7765099B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004266358A (ja) | 2004-09-24 |
US7765099B2 (en) | 2010-07-27 |
US7539613B2 (en) | 2009-05-26 |
CN1748251A (zh) | 2006-03-15 |
US20080189102A1 (en) | 2008-08-07 |
CN100347742C (zh) | 2007-11-07 |
GB2412047B (en) | 2007-03-28 |
GB2412047A (en) | 2005-09-14 |
US20070168185A1 (en) | 2007-07-19 |
KR20050098909A (ko) | 2005-10-12 |
GB0514915D0 (en) | 2005-08-24 |
WO2004072958A1 (en) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4311034B2 (ja) | 帯域復元装置及び電話機 | |
JP5098569B2 (ja) | 帯域拡張再生装置 | |
JP2000347688A (ja) | 雑音抑圧装置 | |
JP2007164041A (ja) | 帯域変換信号生成器及び帯域拡張装置 | |
JP3810257B2 (ja) | 音声帯域拡張装置及び音声帯域拡張方法 | |
JP2006222867A (ja) | 音響信号処理装置およびその方法 | |
JP6533959B2 (ja) | 音声信号処理装置および音声信号処理方法 | |
JP2016017982A (ja) | 信号処理装置及び信号処理方法 | |
WO2006046761A1 (ja) | ピッチ変換装置 | |
WO1999050825A1 (fr) | Dispositif et procede de reduction de bruits | |
JP4692606B2 (ja) | 帯域復元装置及び電話機 | |
JP4906858B2 (ja) | 帯域拡張装置及び方法 | |
JP5103606B2 (ja) | 信号処理装置 | |
US11763828B2 (en) | Frequency band expansion device, frequency band expansion method, and storage medium storing frequency band expansion program | |
JP5145733B2 (ja) | 音声信号処理装置および音声信号処理方法ならびにプログラム | |
JP2009265422A (ja) | 情報処理装置及び情報処理方法 | |
JP4206409B2 (ja) | 音声処理装置、その方法、プログラム、及びそのプログラムを記録した記録媒体 | |
JPH08102644A (ja) | 適応フィルタシステム | |
JPWO2008015726A1 (ja) | 帯域拡張装置及び方法 | |
JP4021438B2 (ja) | デジタル信号処理方式 | |
JP2001356800A (ja) | ホルマント付加装置 | |
JP3460278B2 (ja) | 雑音低減処理方法 | |
JPH0786943A (ja) | 利得制御機能付ad変換装置 | |
JPH11234788A (ja) | オーディオ装置 | |
JP2005164876A (ja) | 光伝導素子の特性模擬方法、光伝導素子の特性模擬装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |