JP4338083B2

JP4338083B2 - ディジタル音声再生装置

Info

Publication number: JP4338083B2
Application number: JP2004065515A
Authority: JP
Inventors: 悟史宮地; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-03-09
Filing date: 2004-03-09
Publication date: 2009-09-30
Anticipated expiration: 2024-03-09
Also published as: JP2005257750A

Description

この発明はディジタル音声再生装置に関し、特に受信側において再生音声の途切れや遅延を生じることがないようにしたディジタル音声再生装置に関する。

ディジタル携帯電話、IP電話、ならびにテレビ電話などに代表されるリアルタイム通信では、送信側にて生成されたディジタル音声データが伝送され、これを受信した受信側はこれを即時に再生することになる。音声信号のディジタル符号化においては、音声信号をあらかじめ設定した標本化周波数にて標本化し、その後量子化や帯域圧縮などが行われて、ディジタル音声データが生成される。

近年一般化しているIP通信においては、生成されたディジタル音声データは一定間隔毎のデータを一塊にしてデータパケットを構成し、パケットを単位として送信／受信が行われている。また、受信側では、受信したパケットからディジタル音声データを取り出し、復号の後、これを標本化周波数に基づき再生を行う。

なお、送信側と受信側でのクロックのずれにより、受信バッファにオーバフローやアンダーフローが発生したり、パケットのジッタにより音途切れが発生したりするのを防止する技術は、下記の特許文献１に記されている。
特開２００１−０４５０６５号公報

このとき、以下のような理由により、受信側において再生音声の途切れや遅延を生じる場合がある。

送信側と受信側とでは、物理的に装置が異なるため、装置間の標本化周波数には若干の誤差が生じている。このとき、送信側より受信側の標本化周波数が高い場合は、生成された音声データの時間長よりも再生時における音声データの時間長が短くなるため、受信されるデータを規定の再生時間より早く消費してしまうこととなり、結果として音途切れを生じる。

反対に、送信側より受信側の標本化周波数が低い場合には、音声データの再生時間が生成時よりも長くなり、受信されるデータを規定時間以内に消費しきれないこととなる。この場合、データの一時保存場所であるバッファが豊富にある場合は、音声データがバッファに累積していくため、音声の伝送遅延が時間と共に増大することとなる。また、バッファが小さく蓄積できない場合あるいは遅延を抑えるために意図的に蓄積しない場合は、受信データが捨てられ音声データの再生が不連続となり、結果として音途切れを生じる。

また、音声データの伝送においては、仮に送信側、受信側の標本化周波数が完全に一致していたとしても、伝送路状態の変動により、再生時における音途切れ、遅延増大、音声データの不連続といった問題が生じることがある。

例えば、ネットワークの伝送速度が逐次変化するような場合では、伝送速度が規定より一時的に低下するとパケットの伝送遅延が増大するため、一定間隔毎に行われていたパケットの送信に対して、いくつかのパケットが送信バッファに蓄積されることとなる。このとき、受信側ではパケットの到着が遅れるため受信データの不足を生じ、結果として音途切れとなる。その後、伝送速度が復帰し、十分高速になったと仮定すると、この場合、それまで送信バッファに蓄積されていたパケットが一気に受信側に伝送されその後音声データが受信側に蓄積されるため、以後の音声伝送の遅延は増大したままとなる。あるいは、バッファが小さく蓄積できない場合や遅延を抑えるために意図的に蓄積しない場合は、データが捨てられ音声データの再生が不連続となる。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、音声データの通信において、送信側／受信側の間で標本化周波数に誤差がある場合、パケットの到着間隔に変動がある場合、あるいはこれら両方の状況下において、音声データ再生時の音途切れまたは遅延といった問題を極力低減するディジタル音声再生装置を提供することにある。

前記した目的を達成するために、本発明は、ディジタル符号化された音声データを再生するディジタル音声再生装置において、ディジタル音声データを一時蓄積するバッファメモリと、該バッファメモリに蓄積されているデータ量が初期遅延量を超えたかどうかを判定する初期遅延判定部と、少なくとも、該バッファメモリに蓄積されているデータ量、送信側の標本化周波数およびディジタル音声データの量子化ビット数に基づいて目標遅延量からの時間差異を求め、該時間差異を解消するように、前記バッファメモリに一時蓄積されているディジタル音声データの再生時間を所定時間毎に決定する再生時間決定部と、該再生時間決定部により決定された再生時間に従って、前記ディジタル音声データを再生するデータ再生部と、該バッファメモリに蓄積されているデータ量が最大遅延量を超えたかどうかを判定する最大遅延判定部を有し、前記バッファメモリに蓄積されているデータ量が前記初期遅延量を超えた場合に該バッファメモリからのデータ読み出しを開始し、前記データ再生部は、前記再生時間決定部により逐次決定された再生時間によって音声データを再生し、前記バッファメモリに蓄積されているデータ量が前記最大遅延量を超えた場合には受信した音声データを破棄するようにした点に特徴がある。

この発明によれば、音声データの通信において、送信側／受信側の間で標本化周波数等の再生周波数あるいは再生速度に誤差がある場合に、音声データ再生時の音途切れまたは遅延といった不具合を極力低減できる。

また、パケットの到着間隔に変動がある場合に、音声データ再生時の音途切れ、遅延または音の高さが変わるといった不具合を極力低減できる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。

パケット受信部１は、IPネットワークなどの外部ネットワークからディジタル音声データ（ディジタル符号化された楽音データや会話データ等）のパケットを受信し、パケットからディジタル音声データ（PCMデータ）を取り出す。また、該ディジタル音声データが圧縮されている場合は圧縮方式に応じたデコーダによりデコードし、非圧縮音声PCMデータａを出力する。このPCMデータａはバッファメモリ２に一時的に格納され、その蓄積量ｂが再生周波数決定部３に入力される。なお、該蓄積量ｂは、例えば書き込み数カウンタ４の値から読み出し数カウンタ５の値を減算器６で減算することにより求められる。

再生周波数決定部３では、あらかじめ設定しておいた目標遅延量Dtとバッファメモリ蓄積量ｂとから最適な再生周波数を一定時間おきに算出する。データ再生部である標本化周波数可変部７は、バッファメモリ２内のPCMデータｃを、再生周波数決定部３から与えられる再生標本化周波数fsdでD／A変換し、アナログ信号として出力する。このアナログ音声信号ｄは、増幅アンプ８を経て、スピーカやヘッドフォンなどの再生デバイス９により再生される。

前記再生周波数決定部３の再生標本化周波数fsdは、その初期状態においては、送信側の標本化周波数fsであるとする。ただし、fsd＝fsとした場合でも、装置毎に物理的な誤差があるため、実際の再生周波数は送信側、受信側とで完全に同じにはならない。

パケット受信部１でディジタル音声データのパケットの受信が開始され、デコードされたPCMデータａがバッファメモリ２に蓄積され始めると、書き込みカウンタ４のカウント値がカウントアップされて増大する。そして、バッファ蓄積量ｂが初期遅延量Di相当に達したところからバッファメモリ２はその中のPCMデータｃの出力を開始する。すなわち、初期遅延判定部（例えば、比較器）１０が、バッファ蓄積量ｂが予め定められている初期遅延量Diより大きくなるとＨ（ハイ）レベルの信号を出力し、スイッチ１１をオンにする。これにより、バッファメモリ２内のPCMデータｃは可変標本化周波数D／A変換部７への出力を開始する。

その後、再生周波数決定部３は、予め設定した一定間隔Tiおきに、次に示す手順で、再生標本化周波数の決定を行う。

すなわち、バッファメモリ２内の過去Tpにおける平均バッファメモリ蓄積量をBp、PCMデータａの量子化ビット数をQb、音声チャネル数をCnとすると、バッファメモリ２内における目標遅延量（目標バッファレベル）Dtからの時間差異ΔDは、次式のようになる。

△D＝Bp／（fs×Cn×Qb／8）−Dt

この差異を時間Txで解消することとすると、設定すべき再生標本化周波数fsdは、次式のようになる。

fsd＝ fs ×（1＋△D／Tx）

この再生標本化周波数fsdは、再生周波数決定部３から標本化周波数可変部７に送られる。標本化周波数可変部７は該再生標本化周波数fsdに応じて再生標本化周波数を変動し、かつＤ／Ａ変換を行う。

また、大きなネットワークジッタが発生した場合、バッファメモリに一度に大量のデータが蓄積されることが考えられる。この場合、上式において平均バッファメモリ蓄積量Bpが非常に大きくなり、再生周波数fsdが大幅に増加する。その結果、再生標本化周波数fsdが急激に変化することとなり、聴覚上不自然になる恐れがあるため、バッファ蓄積量が最大バッファ蓄積量（又は、最大遅延量）Dmを超えた場合は、受信パケットを破棄することとする。すなわち、バッファ蓄積量ｂが最大バッファ蓄積量Dmを越えると最大遅延判定部（例えば、比較器）１２の出力がＨレベルとなり、スイッチ１３が破棄側に切り換えられる。

なお、標本化周波数可変部７における標本化周波数の変動方法については、VCO（電圧制御発振器）などを用いた単純な方法、または特許第２８５３１４７号で開示されている、メモリ書き込み速度と読み出し速度とを変えることにより再生周波数を変動させる方法などといった公知の手法が適用可能である。

この実施形態によれば、バッファメモリに蓄積されているデータ量が前記初期遅延量を超えた場合に該バッファメモリからのデータ読み出しを開始するので、音の途切れを極力防止することができる。また、標本化周波数可変部において、目標遅延量に近づくように標本化周波数を変動するので、音声データ再生時の音の途切れや遅延を極力防止することができる。また、バッファメモリに蓄積されているデータ量が前記最大遅延量を超えた場合に受信した音声データを破棄するようにしたので、音の高さが変わるといった不具合を極力防止することができる。

次に、本発明の第２の実施形態を、図２を参照して説明する。この実施形態は、前記標本化周波数を変化させるのに代えて、再生速度を変化させるようにした点に特徴がある。なお、図１と同一又は同等の機能部には同一の符号を付すと共に、その説明は省略する。

本実施形態では、初期状態における再生速度係数Vdは、送信側のそれと同一にするために１．０とする。ただし、Vd＝１．０とした場合でも、装置毎に物理的な誤差があるため、実際の再生速度は送信側での入力速度と完全には同じにならない。

受信開始後、バッファ蓄積量ｂが初期遅延量Di相当に達したところから、バッファメモリ２内のPCMデータｃの出力を開始する（初期遅延判定部１０の出力がＨになることよりスイッチ１１オン）。その後、再生速度決定部２１は、予め設定した一定間隔Tiおきに、次に示す手順で、再生速度の決定を行う。

バッファメモリ２内の過去Tpにおける平均バッファメモリ蓄積量をBp、PCMデータの量子化ビット数をQb、音声チャネル数をCnとすると、バッファメモリ２内における目標遅延量Dtからの時間差異△Dは、次式のようになる。なお、fsは送信側の標本化周波数である。

△D＝Bp／（fs×Cn×Qb／8）−Dt

この差異を時間Txで解消することとすると、改定すべき再生速度係数Vdは、次式のようになる。

Vd ＝１．０＋ △D／Tx

この再生速度係数Vdは再生速度決定部２１からデータ再生部である再生速度（話速）変換部２２に送られる。該再生速度変換部２２は、その再生速度を該再生速度係数Vdに応じて変動する。なお、再生速度変換部２２における再生速度の変動方法については、音程を変えずに速度のみを変える特許第３１８７２４２号の話速変換装置などの公知の手法が適用可能である。

また、最大遅延量に基づくパケット破棄については、前記第１の実施形態の場合と同様である。

この実施形態においても、前記第１の実施形態と同様の効果を得ることができる。

本発明の第１実施形態の構成を示すブロック図である。本発明の第２実施形態の構成を示すブロック図である。

符号の説明

１・・・パケット受信部、２・・・バッファメモリ、３・・・再生周波数決定部、７・・・標本化周波数可変部、１０・・・初期遅延判定部、１２・・・最大遅延判定部、２１・・・再生速度決定部、２２・・・再生速度（話速）変換部。

Claims

ディジタル符号化された音声データを再生するディジタル音声再生装置において、
ディジタル音声データを一時蓄積するバッファメモリと、
該バッファメモリに蓄積されているデータ量が初期遅延量を超えたかどうかを判定する初期遅延判定部と、
少なくとも、該バッファメモリに蓄積されているデータ量、送信側の標本化周波数およびディジタル音声データの量子化ビット数に基づいて目標遅延量からの時間差異を求め、該時間差異を解消するように、前記バッファメモリに一時蓄積されているディジタル音声データの再生時間を所定時間毎に決定する再生時間決定部と、
該再生時間決定部により決定された再生時間に従って、前記ディジタル音声データを再生するデータ再生部と、
該バッファメモリに蓄積されているデータ量が最大遅延量を超えたかどうかを判定する最大遅延判定部を有し、
前記バッファメモリに蓄積されているデータ量が前記初期遅延量を超えた場合に該バッファメモリからのデータ読み出しを開始し、前記データ再生部は、前記再生時間決定部により逐次決定された再生時間によって音声データを再生し、前記バッファメモリに蓄積されているデータ量が前記最大遅延量を超えた場合には受信した音声データを破棄することを特徴とするディジタル音声再生装置。
前記再生時間決定部は所定時間毎の再生周波数を決定し、前記データ再生部は再生周波数を変化させることを特徴とする請求項１に記載のディジタル音声再生装置。
前記再生時間決定部は所定時間毎の再生速度を決定し、前記データ再生部は再生速度を変化させることを特徴とする請求項１に記載のディジタル音声再生装置。