JP4218186B2 - 音声伝送装置 - Google Patents
音声伝送装置 Download PDFInfo
- Publication number
- JP4218186B2 JP4218186B2 JP2000154209A JP2000154209A JP4218186B2 JP 4218186 B2 JP4218186 B2 JP 4218186B2 JP 2000154209 A JP2000154209 A JP 2000154209A JP 2000154209 A JP2000154209 A JP 2000154209A JP 4218186 B2 JP4218186 B2 JP 4218186B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- time
- reception buffer
- communication network
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
【発明の属する技術分野】
本発明は、イーサネットに代表される非同期通信を行うネットワーク上で音声データをリアルタイムに伝送するリアルタイムな音声伝送装置に関するものである。
【0002】
【従来の技術】
近年、バス構造のLANであるイーサネットやATM(Asynchronous Transfer Mode)に代表される非同期通信システムにおいて、音声データをリアルタイムに伝送するリアルタイムな音声伝送装置の品質向上が望まれている。図10は、従来の音声伝送装置を用いた通信システムの第1の例を示す説明図であり、遅延時間が一定の通信網を用いたパケットデータによる音声伝送の例を示す。
【0003】
図10の通信システムは、送信側の音声伝送装置1001a、受信側の音声伝送装置1001b、遅延時間が一定である通信網1011、で受信側のは受信バッファ1003で構成される。一般的に、遅延時間が一定である通信網1011の場合、一定間隔で送信された音声パケットは、受信側でも一定間隔で受信され、連続的な音声の再生が可能である。
【0004】
図11は従来の音声伝送装置を用いた通信システムの第2の例を示す説明図である。図に基づいて遅延揺らぎの発生する通信網を用いた場合の通信システムを説明する。通信網1111はイーサネットに代表される非同期通信網である。非同期通信網1111の場合、不規則な遅延時間の変化すなわち遅延の揺らぎが発生するため、遅延が大きい場合には、受信バッファ1103の音声データが空となり、音声が欠落し、音声品質が劣化する。
【0005】
この問題の対策として、その通信網の最大遅延揺らぎ時間を想定し、その時間分の音声データを予め受信バッファ1103に蓄積しておき、遅延の揺らぎが発生した際に、受信バッファ1103に蓄積されている音声データを再生することにより、とぎれのない連続的な音声再生を可能としていた。
【0006】
しかし、この対策では、あらかじめ、通信網の最大遅延揺らぎ時間をどれだけに設定すればよいかの検討を要する。現在のところ、通信網における遅延の揺らぎの許容範囲が規格化されていないため、どれだけ最大遅延揺らぎ時間が発生するか、すなわちどれだけの音声データを受信バッファ1103に蓄積しておけばよいかが明確ではない。受信バッファ1103の大きさ(音声データを蓄積可能な量)は、その通信網の最大遅延揺らぎ時間を想定し、その想定によって固定的に決めていた。
【0007】
図12は、従来の音声伝送装置を示すブロック図であり、イーサネット等の非同期通信網を利用して音声パケットを受信する場合を示す。図12において、リアルタイムな音声伝送装置1201は、通信網インタフェース部(通信網I/F部)1202、受信バッファ1203、は音声復号化部1204、D/A変換部1206、バッファ制御部1208、イーサネット等の非同期通信網1211、は音声再生スイッチ1213を含んでいる。
【0008】
このように構成された音声伝送装置について、その概略動作を説明する。バッファ制御部1208は最初、受信バッファ1203に一定量の音声データが蓄積するまで音声再生スイッチ1213をオフにし、音声の再生をおこなわない。受信バッファ1203に一定量の音声データの蓄積が確認されると、バッファ制御部1208は音声再生スイッチ1213をオンにし、これにより、音声復号化部1204とD/A変換部1206が動作を開始し、音声の再生が開始される。そして、通信網1211における遅延揺らぎ時間が、受信バッファ1203に蓄積されている音声データの再生時間以内である場合、次の音声パケットが受信バッファ1203に入るまでの間、蓄積されている音声データを再生することにより連続的な再生が可能である。
【0009】
【発明が解決しようとする課題】
以上に示した対策では、受信バッファの大きさ(音声データを蓄積可能な量)は、その通信網の最大遅延揺らぎ時間を想定し、その想定によって固定的に決めていた。しかし、それは予測であり、実際に音声データの蓄積量を超える遅延の揺らぎが発生した場合は、次の音声パケットが受信されるまでに蓄積されている音声データが空となるため、音声欠落が発生し、音声データのアンダーランが発生し、音声の品質劣化が発生するという不具合があった。
【0010】
また、受信バッファへの音声データの蓄積量自体がさらなる音声の遅延時間となるため、あまりに多くのデータを蓄積することは低遅延化という観点から避けなければならない。これらのことから、音声データの蓄積量は、実際に通信網を調査するか、もしくは経験的な手法により決定されていた。しかし、このように決定された蓄積量であっても、通信網の運用状態が悪化した場合などは音声の品質劣化が発生するので、高い品質の音声再生を維持するためには、通信網の品質をある一定以上保持させておく必要があるが、これは高コストを生じ、実現は困難である。
【0011】
また通信網の遅延揺らぎ時間が一定していたとしても、通信を行う装置間でクロック同期がとれてない場合には、受信状態が長時間続いた場合に受信側の受信バッファにて音声データが空となったり、またはあふれたりして、音声欠落が発生することもある。
【0012】
リアルタイムな音声データの通信を行う装置間では、クロック同期をとるために、双方が通信網へクロック同期するのが一般的である。しかし、イーサネット等のように通信網自体にクロック同期の手段がない非同期通信網においては、音声データの有音部を検出して有音部のみをパケット化して送出し、受信側で無音区間によってタイミングを調整してリアルタイム性を保持している。
【0013】
以下、図13に沿って、非同期通信網を介して通信する場合の送信側クロック周波数と受信側クロック周波数の差によって発生する課題を説明する。図13は、従来の音声伝送装置において送信側の符号化クロック周波数が受信側の復号化クロック周波数よりも大きい場合の、受信側の音声伝送装置601内のバッファ蓄積量の遷移状態を示す。図の上側の符号1310と1312が図12の通信網インタフェース1202が受信した音声データを受信バッファ1203へ書き込んでいる時間帯を示し、符号1311と1313が受信バッファ1203から音声復号化部1204へ音声データを読み出している時間帯を示している。先ず、図中の時間帯1301,1305は、受信バッファに読み出すデータが存在しない状態で通信網1211から音声データを受信し始めてから、バッファ量があるしきい値(START)1308を超えて受信バッファ1203からの読み出しが開始されるまでの時間である。
【0014】
時間帯1302は受信バッファ1203に対する書き込みと読み出しが同時に行われている時間帯で、送信側の符号化クロック周波数が受信側の復号化クロック周波数より高い場合を例示しているため、受信バッファの蓄積量が時間とともに若干増加している。時間帯1303は書き込みが終了し、読み出しのみが行われている時間帯で、時間帯1304は受信バッファが空になった時間帯で、無音が再生される。
【0015】
図13からわかるように、受信データ1312のようにデータブロックが長い場合、時間帯1306で受信バッファ1203に対する書き込みと読み出しが同時に行われている間に時間帯1307に至って蓄積量が(FULL)1309を超えた状態になり、受信データ1314の部分で受信バッファのあふれが生じる。このように送信側の符号化クロック周波数が受信側の復号化クロック周波数より僅かでも高いと、図13に示すように受信バッファの蓄積量が時間とともに若干増加していき、受信バッファのあふれが生じる。このあふれが発生している時間が図中の時間帯1307であり、この間の音声データ1315は欠落が発生し、音声品質が劣化するという問題があった。
【0016】
本発明は、通信網の品質によることなく、再生する音声データが空になること、あるいは受信バッファのあふれが生じることによる音声の欠落を回避し、連続的に音声を再生することができる音声伝送装置を提供することを目的とする。
【0017】
【課題を解決するための手段】
この課題を解決するために本発明のリアルタイムな音声伝送装置は、イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、受信バッファのデータ蓄積量の制御を行うバッファ制御部と、受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより受信バッファに蓄積されている音声データが空になる可能性があることを認知し、D/A速度変換部を制御してD/A変換部におけるD/A変換速度を遅くするように構成した。これにより、受信バッファのデータ流出を抑制することができる。
【0018】
また、受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部を設け、この遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、受信バッファのデータ蓄積量の制御を行うように構成したことにより、通信網の遅延量が変動する場合でも、受信バッファのあふれや音声データ転送中に受信バッファが空になることによる音声データの欠落の発生を回避させ、音声データを連続的、かつリアルタイムに伝送することが可能となる。
【0020】
【発明の実施の形態】
本発明の請求項1記載の音声伝送装置は、通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、D/A速度変換部のD/A変換速度を制御するバッファ制御部と、受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより受信バッファに蓄積されている音声データが空になる可能性があることを認知し、D/A速度変換部を制御してD/A変換部におけるD/A変換速度を遅くすることとしたものである。この構成により、受信バッファのデータ流出を抑制することができるので、音声データが空になることによる音声データの欠落の発生を回避し、連続的な音声を再生するという作用を有する。
【0021】
本発明の請求項2記載の音声伝送装置は、通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間の変動量に基づき、その遅延揺らぎに耐えうる音声データ蓄積容量を決定し、その容量を受信バッファに常時蓄積しておくようにD/A速度変換部を制御するバッファ制御部と、受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより受信バッファに蓄積されている音声データが空になる可能性があることを認知し、D/A速度変換部を制御してD/A変換部におけるD/A変換速度を遅くすることとしたものである。この構成により、受信バッファのデータ流出を抑制することができるので、音声データが空になることによる音声データの欠落の発生を回避し、連続的な音声を再生するという作用を有する。
【0022】
本発明の請求項3に記載の音声伝送装置は、イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、受信バッファのデータ蓄積量の制御を行うバッファ制御部と、遅延の揺らぎ状態を解析する遅延揺らぎ解析部と、を備え、バッファ制御部は、遅延揺らぎ時間が一定値以内の値で一定時間保たれたと遅延揺らぎ解析部が判定した場合、D/A速度変化部を制御してD/A変換部におけるD/A変換速度を速くすることとしたものである。この構成により、受信バッファの音声データ流出を促進して、徐々に受信バッファ内のデータ蓄積量を減少させることができるので、音声データの低遅延化が可能になるという作用を有する。
【0023】
本発明の請求項4記載の音声伝送装置は、イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間の変動量に基づき、その遅延揺らぎに耐えうる音声データ蓄積容量を決定し、その容量を受信バッファに常時蓄積しておくようにD/A速度変換部を制御するバッファ制御部と、遅延の揺らぎ状態を解析する遅延揺らぎ解析部と、を備え、バッファ制御部は、遅延揺らぎ時間が一定値以内の値で一定時間保たれたと遅延揺らぎ解析部が判定した場合、D/A速度変化部を制御してD/A変換部におけるD/A変換速度を速くすることとしたものである。この構成により、受信バッファの音声データ流出を促進して、徐々に受信バッファ内のデータ蓄積量を減少させることができるので、音声データの低遅延化が可能になるという作用を有する。
【0026】
(実施の形態1)
図1は本発明の実施の形態1による音声伝送装置を示すブロック図である。1はイーサネットに代表される非同期転送を行う通信網11に接続され、リアルタイムな音声データの送受信を行う音声伝送装置、2は通信網11とのインタフェースを司る通信網インタフェース部(通信網I/F部)、3は音声パケットを一次的に蓄積するための受信バッファ、4は受信バッファ3に蓄積された音声データを復号化する音声復号化部、5は音声復号化部4と後述のD/A変換部6との間に配設され、見かけ上のD/A変換速度を変更可能なD/A速度変換部、6はデジタル音声データをアナログ信号に変換するD/A変換部、7は通信網11から受信される音声パケットの受信間隔から遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部である。非同期転送を行う通信網におけるデータの遅延は不規則に変動することがある。ここでの遅延ゆらぎ時間は、この変動の時間幅である。8は遅延揺らぎ計測部7で計測された遅延揺らぎ時間に基づき、受信バッファ3のデータ蓄積量の制御を行うバッファ制御部である。
【0027】
このように構成された音声伝送装置1について、その動作を説明する。通信網11から受信される音声パケットについて、パケットの受信から次のパケットの受信までに要した時間(パケット受信間隔時間TR)を遅延揺らぎ計測部7で計測する。もし遅延時間が一定の通信網であれば、送信側のパケット送信間隔と同じ間隔で受信される。しかし、イーサネットのような非同期通信網の場合、遅延時間が不定であるため、受信間隔にばらつきが生じる。このばらつきは遅延の揺らぎによるものであり、次式(1)により遅延揺らぎ時間TSが求められる。
【0028】
遅延揺らぎ時間TS=パケット受信間隔時間TR−パケット送信間隔時間TT・・・・・(1)
送信側のパケット送信間隔時間TTを、通信網11の状態と関係なくほぼ一定と考えた場合、上記式により遅延揺らぎ計測部7において遅延揺らぎ時間TSが求められる。
【0029】
計測された遅延揺らぎ時間TSは、バッファ制御部8に送られ、これらの遅延揺らぎ時間分、受信バッファ3に蓄積されている音声データだけで安定して再生できるように音声データの蓄積量を決定する。
【0030】
同時に、バッファ制御部8は、D/A速度変換部5に対してD/A変換速度変更の要求をだすことで、受信バッファ3からの音声データの流出量を調整し、受信バッファ3の蓄積量を決定した蓄積量に制御する。これにより、通信網11の遅延揺らぎ時間に応じた音声データを受信バッファ3に蓄積することが可能となり、連続した音声再生が可能となる。
【0031】
以上のように本実施の形態によれば、通信網11を通して送られてくる音声パケットの受信間隔から、その通信網11における遅延揺らぎ時間を求め、その遅延揺らぎ時間に耐えうる音声データ蓄積容量を決定し、その容量を受信バッファ3に常時蓄積しておくようにD/A速度変換部5を制御することができるので、通信網11の品質によることなく、再生する音声データが空になることによる音声の欠落を回避することができ、連続的に音声を再生することができる。
【0032】
(実施の形態2)
図2は本発明の実施の形態2による音声伝送装置を示すブロック図である。図2において、201は本実施の形態における音声伝送装置である。音声伝送装置201において、通信網インタフェース部202、受信バッファ203、音声復号化部204、D/A速度変換部205、D/A変換部206、遅延揺らぎ計測部207、バッファ制御部208は図1の音声伝送装置1、通信網インタフェース部2、受信バッファ3、音声復号化部4、D/A速度変換部5、D/A変換部6、遅延揺らぎ計測部7、バッファ制御部8に相当するものなので、その説明は省略する。
【0033】
209は音声パケットが受信される間隔をカウントし、受信バッファ203に蓄積されている音声データが空になる前にタイムアウトするタイマ制御部である。
【0034】
このように構成された音声伝送装置201について、その動作を説明する。通信網211から音声パケットが受信される毎にタイマ制御部209におけるタイマがリセットされ、再びカウントを開始する。同時に、受信バッファ203における現時点での音声データの蓄積量より、受信バッファ203に蓄積されている音声データでの再生時間を求め、この再生時間以内でタイムアウトするようにタイマ制御部209を設定する。もし、タイムアウトすることなく次回のパケットを受信した場合は、上記の処理を繰り返す。
【0035】
タイムアウトが発生した場合、タイマ制御部209は、音声データが空になる可能性があることを認知し、D/A速度変換部205に対してD/A変換速度を遅くするよう要求する。これにより、受信バッファ203のデータ流出を抑制し、音声データが空になることから救済し、連続した音声再生を可能とする。
【0036】
以上のように本実施の形態によれば、受信バッファ203に蓄積されている音声データが空になる前にタイムアウトするタイマ制御部209を備えたものであり、このタイマ制御部209は、或る一定時間パケットの受信がなされない場合は受信バッファ203に蓄積されている音声データが空になる可能性があることを認知し、D/A速度変化部205を制御してD/A変換部206におけるD/A変換速度を遅くするので、受信バッファ203のデータ流出を抑制することができる。したがって、音声データが空になることによる音声データの欠落の発生を回避することができ、連続的な音声を再生することができる。
【0037】
(実施の形態3)
図3は本発明の実施の形態3による音声伝送装置を示すブロック図である。図3において、301は本実施の形態における音声伝送装置である。音声伝送装置301において、通信網インタフェース部302、受信バッファ303、音声復号化部304、D/A速度変換部305、D/A変換部306、遅延揺らぎ計測部307、バッファ制御部308は図1の音声伝送装置1、通信網インタフェース部2、受信バッファ3、音声復号化部4、D/A速度変換部5、D/A変換部6、遅延揺らぎ計測部7、バッファ制御部8に相当するものなので、その説明は省略する。
【0038】
310は遅延揺らぎ計測部307からの遅延揺らぎ時間に基づいて遅延の揺らぎ状態を解析する遅延の揺らぎ解析部である。
【0039】
このように構成された音声伝送装置について、その動作を説明する。通信網311から受信される音声パケットについて、パケットの受信から次のパケットの受信までに要した時間(パケット受信間隔時間TR)を遅延揺らぎ計測部307で計測し、(1)式に基づいて遅延揺らぎ時間TSを算出する。この算出された遅延揺らぎ時間TSは遅延揺らぎ解析部310にて監視され、遅延揺らぎ解析部310は、その算出された遅延揺らぎ時間TSが一定値以内の値を一定時間保った場合、通信網311は安定したと判定し、バッファ制御部308に対してバッファ蓄積量を減らすように要求する。これによりバッファ制御部308は、D/A速度変換部305に対してD/A変換速度を速くするよう要求することで、受信バッファ303のデータ流出を促進して、徐々に受信バッファ303内のデータ蓄積量を減少させることができるので、音声の低遅延化を図ることができる。
【0040】
以上のように本実施の形態によれば、遅延の揺らぎ状態を解析する遅延揺らぎ解析部310を備え、遅延揺らぎ時間TSが一定値以内の値で一定時間保たれたと遅延揺らぎ解析部310が判定した場合、D/A速度変化部305を制御してD/A変換部306における変換速度を速くするようにしたことにより、受信バッファ303の音声データ流出を促進して、徐々に受信バッファ303内のデータ蓄積量を減少させることができる。したがって、音声データの低遅延化を図ることができる。
【0041】
(実施の形態4)
以下、本発明の実施形態4について図4及び図5を参照しながら説明する。図4に示す本実施形態による音声伝送装置を示すブロック図では、イーサネットやATM等に代表される非同期通信網411と、音声伝送装置451が示されている。
【0042】
音声伝送装置451は、下記のように構成される。通信網インタフェース部452は非同期通信網411とのインタフェースを行う。受信バッファ453は通信網インタフェース部452が受信した音声データを一旦蓄積する。バッファ蓄積量監視部454は受信バッファ453の蓄積量を監視する。間引き補間部455は、バッファ蓄積量監視部454の監視結果により、受信バッファ453から読み出した音声データに対してデータの間引きあるいは補間を行う。音声復号化部456は、間引き補間部455を経由した音声データを復号化してアナログ音声信号の再生を行う。音声符号化部457は、マイク等のアナログ音声入力信号をデジタル音声データに符号化する。クロック発生器458は、音声復号化部456と音声符号化部457に対し符号化あるいは復号化レートを与える基本クロックを生成する。
【0043】
次に、図5の本実施の形態における音声伝送装置のバッファ蓄積量の遷移図を用いて動作を説明する。図5の上側に、非同期通信網411から受信する音声データブロック506、受信バッファ453から読み出される音声データブロック507を示す。図の下側は受信バッファ453の蓄積量の変化を示している。時間帯501は、受信バッファ453に読み出すデータが存在しない状態で網から音声データを受信し始めてから、バッファ量があるしきい値(START)508を超えて受信バッファからの読み出しが開始されるまでの時間である。バッファ量がしきい値(START)508を超えると読み出しが開始される。時間帯502は、受信バッファに対する書き込みと読み出しが同時に行われている時間帯を示す。この例では送信側の符号化クロック周波数が受信側の復号化クロック周波数より高い場合を示し、受信バッファの蓄積量が時間とともに若干増加している。
【0044】
音声の再生を始めて時刻(t1)からある時間502が経過すると、受信バッファの蓄積量が予め設定されたしきい値(SH1)510に達し、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。間引き補間部455ではこの通知をもとに受信バッファ453から読み出した音声データに対し、しきい値510を超えないよう音声データの間引きを開始する。
【0045】
音声データの間引きを開始すると、次第に受信バッファ453の蓄積量が減少する。時間帯503では音声データの間引きによって受信バッファの蓄積量が減少していっている。
【0046】
そして受信バッファの蓄積量がしきい値(SH2)511に達し、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。間引き補間部455ではこの通知をもとに受信バッファから読み出した音声データに対し、しきい値511を下回らないよう音声データの補間を開始する。音声データの補間によって時間帯504の間、次第に受信バッファの蓄積量が増加する。再びしきい値510に達すると、間引き補間部455は音声データ間引きを開始する。音声データを受信する間、以上説明した間引き、補間の動作が繰り返し行われる。
【0047】
以上のように構成することにより、受信バッファのあふれや、音声データ転送中に受信バッファが空になることによる音声データの欠落の発生を回避することができる。したがって、非同期転送を行う通信網を利用し、送信側端末と受信側端末とでクロックの速度が僅かにずれているような場合でも、末端装置間でクロック同期をとることなく、連続的な音声データを高品質で伝送することが可能となる。
【0048】
すなわち、データの間引きあるいは補間の量を変更することにより、受信バッファに蓄積しておく音声データ量は最適な量とすることができる。したがって、受信バッファのあふれや音声データ転送中に受信バッファが空になることによる音声データの欠落を回避させる。こうして、音声データを連続的、かつリアルタイムに伝送することができる。
【0049】
(実施の形態5)
次に、図4のブロック図の音声伝送装置451で、バッファ量監視方式が異なった他の実施の形態について音声伝送装置451のバッファ蓄積量の遷移図の図6を用いて説明する。図5で説明した動作では、一旦間引きあるいは補間動作に入ると、間引きも補間も行わない通常動作に入ることはないが、図6に示す実施の形態では、間引き・補間の動作に入ってから、バッファ蓄積量が再びしきい値(START)609に達すると、間引きも補間も行わない通常動作に入る。
【0050】
図6の上側の符号607は非同期通信網411から受信する音声データブロック、符号608は受信バッファ453から読み出される音声データブロックを示す。図の下側は受信バッファ453の蓄積量の変化を示している。時間帯601は受信バッファに読み出すデータが存在しない状態で網から音声データを受信し始めてから、バッファ量があるしきい値(START)609を超えて受信バッファからの読み出しが開始されるまでの時間を示す。時間帯602は、受信バッファ453に対する書き込みと読み出しが同時に行われている時間帯である。この例では送信側の符号化クロック周波数が受信側の復号化クロック周波数より高い場合を示し、受信バッファの蓄積量が時間とともに若干増加している。
【0051】
音声の再生を始めて時刻(t1)からある時間602が経過すると、受信バッファ453の蓄積量が予め設定されたしきい値(SH1)611に達し、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。
【0052】
間引き補間部455ではこの通知をもとに受信バッファから読み出した音声データに対し、しきい値611を超えないよう音声データ間引きを開始する。音声データの間引きによって時間帯603の間、次第に受信バッファの蓄積量が減少する。受信バッファの蓄積量がしきい値(START)609に達すると、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。間引き補間部455ではこの通知をもとに受信バッファから読み出した音声データに対し、間引きをせず通常動作にもどる。
【0053】
時間帯604では送信側の符号化クロック周波数が受信側の復号化クロック周波数より低い場合の例で、受信バッファの蓄積量が時間とともに若干減少している。通常動作で音声の再生を始めてからある時間604が経過すると、受信バッファの蓄積量が予め設定されたしきい値(SH2)612に達し、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。
【0054】
間引き補間部455ではこの通知をもとに受信バッファから読み出した音声データに対し、しきい値612より低下しないよう音声データ補間を開始する。音声データの補間によって時間帯605の間、次第に受信バッファ453の蓄積量が増加し、しきい値(START)609に達し、これをバッファ蓄積量監視部454が検出し、間引き補間部455へ通知する。間引き補間部455ではこの通知をもとに受信バッファから読み出した音声データに対し、間引きをせずに通常動作にもどる。このときは送信側の符号化クロック周波数が受信側のそれよりも高い場合となっている。音声データを受信する間、以上説明した間引きおよび補間動作と通常動作が繰り返し行われる。
【0055】
このように、間引きも補間も行わない通常モードから間引きモードに遷移するためのバッファ量のしきい値と、間引きモードから通常モードへ遷移するためのバッファ量のしきい値と、通常モードから補間モードへ遷移するためのバッファ量のしきい値と補間モードから通常モードへ遷移するしきい値を設け、バッファ量監視部でこれらのしきい値を監視することにより、通常モードで動作する期間を長くし音声品質を維持することが可能となり、より高品質な音声を伝送することが可能となる。
【0056】
(実施の形態6)
次ぎに、図4のブロック図において音声データの欠落を認識可能にした他の実施の形態について図7、8および図9を用いて説明する。
【0057】
図7は非同期通信網において音声データの欠落が発生した場合のバッファ蓄積量の遷移図である。図7において図の上側の符号707は非同期通信網411から受信する音声データブロック、符号708は受信バッファ453から読み出される音声データブロックを示す。図の下側は受信バッファ453の蓄積量の変化を示している。時間帯701は、受信バッファ453に読み出すデータが存在しない状態で網から音声データを受信し始めてから、バッファ量があるしきい値(START)711を超えて受信バッファからの読み出しが開始されるまでの時間である。バッファ量がしきい値(START)711を超えると読み出しが開始される。時間帯702は、受信バッファに対する書き込みと読み出しが同時に行われている時間帯を示す。この例では送信側の符号化クロック周波数が受信側の復号化クロック周波数より高い場合を示し、受信バッファの蓄積量が時間とともに若干増加している。
【0058】
音声の再生を始めて時間帯702が経過したところで音声ブロックの欠落709が生じ、受バッファ453の蓄積量が低下し、時間帯703が経過したところで時間帯704の部分で音声欠落を生じることとなる。
【0059】
本実施の形態6における音声伝送装置の通信網インタフェースの受信部の動作を図8を用いて説明する。送信側において、送出する音声データを予め固定長ブロックに分割し、それぞれのブロックに対し図8の801〜804に示すようなシーケンス番号(SN)を付与する。
【0060】
受信側では、図4の通信網インタフェース部452で図8に示すようにシーケンス番号が付与された音声データを受信し、シーケンス番号によって音声データブロックの欠落発生を監視する。もし非同期通信網411上で音声データの欠落が発生すると図8に示すようにシーケンス番号から判断される音声データブロック803の欠落した分だけ、無音データ805を挿入して、受信バッファ453へ書き込む。図8の例では、シーケンス番号n+2の音声データブロックが欠落していることをシーケンス番号n+3を受信した時点で検出している。
【0061】
このように、通信網インタフェース部の送信側で音声データを固定長ブロックに分割してシーケンス番号を付与して送出し、非同期転送を行う通信網上での音声データの欠落を受信側音声伝送装置で認識する。
【0062】
図9は非同期通信網において音声データの欠落ブロックが発生した場合のバッファ蓄積量の遷移図である。図9において図の上側の符号905は非同期通信網411から受信する音声データブロック、符号906は受信バッファ453から読み出される音声データブロックを示す。図の下側は受信バッファ453の蓄積量の変化を示している。時間帯901は、受信バッファ453に読み出すデータが存在しない状態で網から音声データを受信し始めてから、バッファ量があるしきい値(START)909を超えて受信バッファからの読み出しが開始されるまでの時間である。バッファ量がしきい値(START)909を超えると読み出しが開始される。時間帯902は、受信バッファに対する書き込みと読み出しが同時に行われている時間帯を示す。この例では送信側の符号化クロック周波数が受信側の復号化クロック周波数より高い場合を示し、受信バッファの蓄積量が時間とともに若干増加している。
【0063】
音声の再生を始めて時間帯902が経過したところで音声データブロックの欠落907が判明すると、受信側音声伝送装置は欠落した分の無音音声データブロック908を挿入するために時間帯903においても蓄積量の急激な変化が生じない。このように無音音声データブロックを挿入することで、音声データの受信バッファ内での滞留時間を一定に保つ。すなわち受信バッファ内の蓄積量の急激な変化を防ぎ、音声が時間的に連続に再生可能となり、通信網上での音声データの欠落が発生しても、時間的に連続的な音声データを高品質に伝送することが可能となる。
【0064】
すなわち、受信側でネットワーク上におけるデータブロックの欠落が発生したことを認識でき、ネットワーク上でデータブロックが欠落した場合でも、音声の欠落した部分が時間的に不連続に再生されないようにし、音声品質を維持することが可能になる
なお、以上の実施形態4,5,6において、バッファからの読み出し速度の変更は段階的になるように説明したが、この変更はバッファへの蓄積の増加度合いや、バッファ蓄積量の変化度合いに応じて細かく可変するようにしてもよい。また読み出し速度の変更や間引き、補間の切り替えのしきい値は(START),(SH1),(SH2)の3点でなく数を増やしてしきい値に応じてさらに詳細に状態を変更するようにしてもよい。
【0066】
【発明の効果】
以上のように本発明は、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、受信バッファのデータ蓄積量の制御又はD/A速度変換部の制御を行うバッファ制御部と、受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより受信バッファに蓄積されている音声データが空になる可能性があることを認知し、D/A速度変換部を制御してD/A変換部におけるD/A変換速度を遅くする構成としたことにより、受信バッファのデータ流出を抑制することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1による音声伝送装置を示すブロック図
【図2】本発明の実施の形態2による音声伝送装置を示すブロック図
【図3】本発明の実施の形態3による音声伝送装置を示すブロック図
【図4】本発明の実施の形態4による音声伝送装置を示すブロック図
【図5】同実施の形態4における音声伝送装置のバッファ蓄積量の遷移図
【図6】本発明の実施の形態5における音声伝送装置のバッファ蓄積量の遷移図
【図7】非同期通信網において音声データの欠落が発生した場合のバッファ蓄積量の遷移図
【図8】本発明の実施の形態6における音声伝送装置の通信網インタフェースの受信部動作説明図
【図9】同実施の形態6における音声伝送装置のバッファ蓄積量の遷移図
【図10】従来の音声伝送装置を用いた通信システムの第1の例を示す説明図
【図11】従来の音声伝送装置を用いた通信システムの第2の例を示す説明図
【図12】従来の音声伝送装置を示すブロック図
【図13】従来の音声伝送装置のバッファ蓄積量の遷移図
【符号の説明】
1 音声伝送装置
2 通信網インタフェース部(通信網I/F部)
3 受信バッファ
4 音声復号化部
5 D/A速度変換部
6 D/A変換部
7 遅延揺らぎ計測部
8 バッファ制御部
11 通信網
Claims (4)
- イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、
前記通信網とのインタフェースを司る通信網インタフェース部と、前記通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、前記受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、前記音声復号化部と前記D/A変換部との間に配設され、前記D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、前記遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、前記受信バッファのデータ蓄積量の制御を行うバッファ制御部と、前記受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、前記タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより前記受信バッファに蓄積されている音声データが空になる可能性があることを認知し、前記D/A速度変換部を制御して前記D/A変換部におけるD/A変換速度を遅くすることを特徴とする音声伝送装置。 - イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、
通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、
遅延揺らぎ計測部で計測された遅延揺らぎ時間の変動量に基づき、その遅延揺らぎに耐えうる音声データ蓄積容量を決定し、その容量を受信バッファに常時蓄積しておくようにD/A速度変換部を制御するバッファ制御部と、前記受信バッファに蓄積されている音声データが空になる前にタイムアウトするタイマ制御部と、を備え、前記タイマ制御部は、或る一定時間パケットの受信がなされない場合はタイムアウトにより前記受信バッファに蓄積されている音声データが空になる可能性があることを認知し、前記D/A速度変換部を制御して前記D/A変換部におけるD/A変換速度を遅くすることを特徴とする音声伝送装置。 - イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、
前記通信網とのインタフェースを司る通信網インタフェース部と、前記通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、前記受信バッファに蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、前記音声復号化部と前記D/A変換部との間に配設され、前記D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、前記遅延揺らぎ計測部で計測された遅延揺らぎ時間に基づき、前記受信バッファのデータ蓄積量の制御を行うバッファ制御部と、遅延の揺らぎ状態を解析する遅延揺らぎ解析部と、を備え、前記バッファ制御部は、前記遅延揺らぎ時間が一定値以内の値で一定時間保たれたと前記遅延揺らぎ解析部が判定した場合、前記D/A速度変化部を制御して前記D/A変換部におけるD/A変換速度を速くすることを特徴とする音声伝送装置。 - イーサネット(登録商標)に代表される非同期転送を行う通信網に接続され、リアルタイムな音声データの送受信を行う音声伝送装置であって、
通信網とのインタフェースを司る通信網インタフェース部と、通信網から受信される音声パケットの受信間隔から不規則な遅延時間の変動幅である遅延揺らぎ時間を計測する遅延揺らぎ計測部と、音声パケットを一次的に蓄積するための受信バッファと、受信バッファ に蓄積された音声データを復号化する音声復号化部と、デジタル音声データをアナログ信号に変換するD/A変換部と、音声復号化部とD/A変換部との間に配設され、D/A変換部におけるD/A変換速度を変更可能なD/A速度変換部と、
遅延揺らぎ計測部で計測された遅延揺らぎ時間の変動量に基づき、その遅延揺らぎに耐えうる音声データ蓄積容量を決定し、その容量を受信バッファに常時蓄積しておくようにD/A速度変換部を制御するバッファ制御部と、遅延の揺らぎ状態を解析する遅延揺らぎ解析部と、を備え、前記バッファ制御部は、前記遅延揺らぎ時間が一定値以内の値で一定時間保たれたと前記遅延揺らぎ解析部が判定した場合、前記D/A速度変化部を制御して前記D/A変換部におけるD/A変換速度を速くすることを特徴とする音声伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000154209A JP4218186B2 (ja) | 1999-05-25 | 2000-05-25 | 音声伝送装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14449099 | 1999-05-25 | ||
JP11-144490 | 1999-05-25 | ||
JP2000154209A JP4218186B2 (ja) | 1999-05-25 | 2000-05-25 | 音声伝送装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001045067A JP2001045067A (ja) | 2001-02-16 |
JP4218186B2 true JP4218186B2 (ja) | 2009-02-04 |
Family
ID=26475887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000154209A Expired - Fee Related JP4218186B2 (ja) | 1999-05-25 | 2000-05-25 | 音声伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4218186B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271389A (ja) * | 2001-03-07 | 2002-09-20 | Hitachi Telecom Technol Ltd | パケット処理装置およびパケット処理方法 |
JP2002271391A (ja) * | 2001-03-08 | 2002-09-20 | Nec Eng Ltd | ダイナミック・ジッタ・バッファ制御方法 |
DE60320889D1 (de) | 2002-04-26 | 2008-06-26 | Yamaha Corp | System und Verfahren zur Verarbeitung von Daten in einem Datenstrom |
KR100644978B1 (ko) * | 2002-09-30 | 2006-11-14 | 산요덴키가부시키가이샤 | 네트워크 전화기 및 음성 복호화 장치 |
GB2399263A (en) * | 2003-03-07 | 2004-09-08 | Zarlink Semiconductor Ltd | Clock synchronisation over a packet network |
WO2005099243A1 (ja) * | 2004-04-09 | 2005-10-20 | Nec Corporation | 音声通信方法及び装置 |
JP4534582B2 (ja) * | 2004-05-07 | 2010-09-01 | ソニー株式会社 | 音声ストリーム再生装置及び音声ストリーム再生方法 |
WO2006026635A2 (en) * | 2004-08-30 | 2006-03-09 | Qualcomm Incorporated | Adaptive de-jitter buffer for voice over ip |
US8085678B2 (en) | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
US8355907B2 (en) | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
US8155965B2 (en) | 2005-03-11 | 2012-04-10 | Qualcomm Incorporated | Time warping frames inside the vocoder by modifying the residual |
ATE408290T1 (de) * | 2005-04-11 | 2008-09-15 | Ericsson Telefon Ab L M | Technik zur steuerung von datenpaketübermittlungen von daten mit variabler bitrate |
WO2007051495A1 (en) * | 2005-11-07 | 2007-05-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement in a mobile telecommunication network |
JP4762019B2 (ja) * | 2006-03-24 | 2011-08-31 | 京セラ株式会社 | 放送受信装置 |
BRPI0821979B1 (pt) * | 2008-01-25 | 2020-10-13 | Telefonaktiebolaget Lm Ericsson (Publ) | método em um nó de rede compreendendo uma área de armazenamento temporário de oscilação adaptativa para dinamicamente ajustar um retardo de área de armazenamento temporário, e, nó de rede |
US8320229B2 (en) | 2009-11-12 | 2012-11-27 | Hitachi Consumer Electronics Co., Ltd. | Variable mirror actuator and optical disc drive |
CN101888544B (zh) * | 2010-06-30 | 2012-05-30 | 杭州海康威视数字技术股份有限公司 | 一种低带宽的视频数据传输方法和硬盘录像机 |
JP2014135637A (ja) * | 2013-01-10 | 2014-07-24 | Anritsu Networks Kk | パケット分解組み立て装置およびパケット分解組み立て方法 |
-
2000
- 2000-05-25 JP JP2000154209A patent/JP4218186B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001045067A (ja) | 2001-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4218186B2 (ja) | 音声伝送装置 | |
US6785230B1 (en) | Audio transmission apparatus | |
US7228059B2 (en) | Audio reproducing apparatus and audio reproduction control method for use in the same | |
JP4661373B2 (ja) | 特定メディアデータの破棄を制御する送信装置及び送信プログラム | |
EP1724960A1 (en) | Data reception device and data reception method | |
JP2002077233A (ja) | リアルタイム情報受信装置 | |
EP1655911A2 (en) | Audio receiver having adaptive buffer delay | |
US20070008984A1 (en) | Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management | |
JP2008301309A (ja) | 符号化レート制御方法、符号化レートを制御する伝送装置、プログラム記憶媒体及び集積回路 | |
JP2003174489A (ja) | ストリーミング配信装置、ストリーミング配信方法 | |
US20060104314A1 (en) | Audio playback apparatus for controlling pause and resume of audio | |
JP4376165B2 (ja) | 受信装置,クロック調整方法および放送システム | |
US6876666B1 (en) | Method for adaptation of voice sample rate in a telecommunication system | |
WO2006011426A1 (ja) | 受信装置、受信プログラム、および受信プログラムを記録した記録媒体 | |
KR20070081766A (ko) | 음성 데이터 처리 장치 | |
JP4923701B2 (ja) | ストリーミングデータ受信装置及びジッタ除去回路 | |
JP4476034B2 (ja) | 受信装置 | |
JP6008108B2 (ja) | 送受信装置およびデスクランブルシステム | |
JP4093034B2 (ja) | コンテンツ送受信システム及びコンテンツ送信装置 | |
JP2004072217A (ja) | データ再生装置 | |
JP4338083B2 (ja) | ディジタル音声再生装置 | |
JP5234845B2 (ja) | パケット送受信装置、方法及びプログラム | |
JP4224749B2 (ja) | 通信装置、通信方法、および記録媒体 | |
JP2002354537A (ja) | 通信システム | |
CN110933233B (zh) | 一种移动终端及其处理语音通信的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060120 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081103 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |