JP4350916B2 - Reception device and reception reproduction method - Google Patents
Reception device and reception reproduction method Download PDFInfo
- Publication number
- JP4350916B2 JP4350916B2 JP2001132451A JP2001132451A JP4350916B2 JP 4350916 B2 JP4350916 B2 JP 4350916B2 JP 2001132451 A JP2001132451 A JP 2001132451A JP 2001132451 A JP2001132451 A JP 2001132451A JP 4350916 B2 JP4350916 B2 JP 4350916B2
- Authority
- JP
- Japan
- Prior art keywords
- reproduction speed
- data
- reproduction
- digital data
- reception buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Small-Scale Networks (AREA)
- Communication Control (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、例えばビルの構内放送設備などに用いられるディジタルデータ通信システムに関する。
【0002】
【従来の技術】
LANなどのネットワーク上でのディジタルデータ通信システムでは、音声や画像、テキストなどのデータをパケット化して通信を行う。この通信システムで音声や動画像の通信を行う場合、送信側におけるパケットの送信間隔と同じ間隔で、受信側においてパケットを受信し、連続したデータを出力することが要求される。しかし、ネットワークのトラフィックの状況によっては、パケットの伝送時間に揺らぎが生じたりパケットが欠落したりして、再生された音声や画像の品質が劣化する原因となる。
【0003】
音声や動画像をリアルタイムに伝送するディジタル通信及び再生方式の1つに、データの最後までの受信を待たずに再生する「ストリーミング再生方式」がある。ストリーミング再生方式では、送信装置側及び受信装置にそれぞれ送信バッファ及び受信バッファが設けられる。この方式における送信装置及び受信装置の処理は、次のようになる。
【0004】
例えば音声通信の場合、送信装置に入力されたアナログ音声信号は、アナログ/ディジタル変換器(ADC)によりディジタル音声データに変換され、送信バッファに蓄積される。通信システムによっては、ネットワーク回線の帯域を有効利用するために、ディジタル音声データをさらに符号化して圧縮音声符号化情報とする。送信バッファに蓄積されたディジタル音声データや圧縮音声符号化情報(以下、まとめてディジタル音声データという)は、パケットに組み立てられ、パケット単位でネットワークを介して受信装置に送信される。
【0005】
受信装置は、パケットを受信して分解し、ディジタル音声データを受信バッファに蓄積する。受信バッファのデータ蓄積量が一定以上になると、ディジタル音声データが受信バッファから読み出され、ディジタル/アナログ変換器(DAC)でアナログ音声データに変換され、出力される。通信システムによっては、受信バッファに蓄積された圧縮音声符号化情報を伸長し、ディジタル音声データを生成する復号化処理を行う。
【0006】
【発明が解決しようとする課題】
上述のストリーミング再生方式における送信バッファや受信バッファは、パケットの伝送時間の揺らぎを吸収する上である程度の効果を奏しているものの、十分ではない。
例えば、パケットの遅延により、再生中に受信バッファのデータ蓄積量がゼロになってしまい、再生が停止する場合がある。これを受信バッファの「アンダーフロー」という。逆に、想定した受信間隔よりも短時間でパケットを受信し、受信バッファの記憶量をオーバーする場合がある。これを受信バッファの「オーバーフロー」という。この場合、一般的には受信バッファで吸収できないパケットは破棄されてしまう。オーバーフローが生じると音声データが不連続となり、ノイズの発生を招き、音声品質が劣化してしまう。
【0007】
図10は、パケットの伝送時間の揺らぎにより、受信バッファにアンダーフロー及びオーバーフローが発生する様子を示している。受信バッファは、4つのパケットを蓄積可能である。送信装置は、一定間隔でパケットP1,P2,P3,P4,P5,P6・・・を送出する。受信バッファにデータが残っている状態で、受信装置がパケットP1を受信する。その後、想定時間よりも短い時間内にパケットP2,P3,P4を受信すると、再生速度が追いつかないため、パケットP4を受信バッファに蓄積した時点T1でオーバーフローが発生する。しかし、パケットP4を受信後、次のパケットP5が遅延したため、再生中に受信バッファが空になり、時刻T2でアンダーフローが発生する。
【0008】
本発明は、ディジタルデータ通信に用いられるストリーミング再生方式において、再生されるデータの品質を高める技術を提供することを目的とする。
【0009】
【課題を解決するための手段】
前記課題を解決するために、本願第1発明は、受信手段と、受信バッファと、再生速度判断手段と、再生速度制御手段と、変換手段と、を備える受信装置を提供する。
受信手段は、通信網に接続され、前記通信網を介してディジタル音声データを含むパケットを受信する。受信バッファは、前記ディジタル音声データを一時的に蓄積する。再生速度判断手段は、前記受信バッファのデータ蓄積量の変化を監視し、前記変化に応じて再生速度倍率を決定する。再生速度制御手段は、前記受信バッファに蓄積されているディジタル音声データを取り出し、再生速度倍率の決定に応じた再生速度制御処理を前記ディジタル音声データに施す。変換手段は、前記再生速度制御処理後のディジタル音声データを、出力するためのアナログデータに変換する。前記再生速度制御手段は、再生速度倍率が1を超える場合、(確率)=((再生速度倍率)−1)/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合かつ前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとの差分が所定値以下の場合、前記受信バッファから取り出したディジタルデータを破棄する。また、前記再生速度制御手段は、再生速度倍率が1より低い場合、(確率)=(1−(再生速度倍率))/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合、前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとに基づいてサンプルデータを生成し、生成したサンプルデータを前記受信バッファから取り出したディジタルデータの前に挿入する。
【0010】
再生速度制御処理とは、具体的には次のような処理である。再生速度倍率が2倍の場合、ディジタル音声データを間引き、ディジタル音声データに含まれるサンプルデータの量を1/2にして再生する。再生速度倍率が0.5倍の場合、サンプルデータを作成して挿入子、サンプルデータの量を2倍にして再生する。再生速度倍率が1であれば、受信バッファから読み出すディジタルデータ中のサンプルデータを、そのまま再生する。
【0011】
再生速度判断手段は、例えば受信バッファのデータ量が変化する度に、変化前のデータ量と変化後のデータ量とを比較し、いずれかの再生速度倍率を選択する。受信バッファのデータ量が増加している場合には再生速度倍率を増加させ、受信バッファのデータ量が減少している場合には再生速度倍率を減少させることにより、受信バッファのオーバーフローやアンダーフローを防ぐことができる。
【0012】
前記第1発明において、前記ディジタルデータがディジタル音声データである受信装置を提供する。この装置において、前記再生速度制御手段は、前記取り出したディジタル音声データの音量が所定値を超えているか否かをさらに判断し、超えていない場合、かつ再生速度倍率が1を超える場合、かつ前記受信バッファから取り出したディジタル音声データと前回再生したディジタル音声データとの差分が所定値以下の場合、前記受信バッファから取り出したディジタル音声データを破棄するとしてもよい。
音声データの音量が小さい場合に再生速度の調整を行うことにより、データの削除や追加による音の不自然さを聴覚的に目立たなくすることができる。
【0013】
本願発明は、以下のステップを含む受信再生方法を提供する。
(A)通信網に接続され、前記通信網を介してディジタルデータを含むパケットを受信する受信ステップ、
(B)前記ディジタルデータを受信バッファに一時的に蓄積する蓄積ステップ、
(C)前記受信バッファのデータ蓄積量の変化を監視し、前記変化に応じて再生速度倍率を決定する再生速度判断ステップ、
(D)前記受信バッファに蓄積されているディジタルデータを取り出し、再生速度倍率の決定に応じた再生速度制御処理を前記ディジタルデータに施す再生速度制御ステップ、
(E)前記再生速度制御処理後のディジタルデータを、出力するためのアナログデータに変換する変換ステップ。
【0014】
この方法において、前記再生速度制御ステップでは、再生速度倍率が1を超える場合、(確率)=((再生速度倍率)−1)/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合かつ前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとの差分が所定値以下の場合、前記受信バッファから取り出したディジタルデータを破棄する。また前記再生速度制御ステップでは、再生速度倍率が1より低い場合、(確率)=(1−(再生速度倍率))/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合、前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとに基づいてサンプルデータを生成し、生成したサンプルデータを前記受信バッファから取り出したディジタルデータの前に挿入する。
【0015】
本願発明は、上記(A)〜(G)のステップをコンピュータに実行させるための受信再生プログラムを提供する。また、このプログラムを記録したコンピュータ読み取り可能な記録媒体も本願発明に含まれる。
【0016】
【発明の実施の形態】
<発明の概要>
本発明は、ストリーミング再生方式を適用したディジタル通信システムに用いられる受信装置を提供する。本発明に係る受信装置は、受信バッファのデータ蓄積量の変化に応じ、データの再生速度に緩急をつける。具体的には、受信装置は、通常の受信処理及び再生処理に加え、再生速度決定処理及び再生速度制御処理を実行する。
【0017】
再生速度決定処理では、受信バッファのデータ蓄積量が変化する度に、変化に応じた再生速度を決定する。具体的には、データ量が増えていれば再生速度を増加させる。データ量が減少していれば再生速度を減少させる。データ量に変化がなければ再生速度は通常のままとする。
再生速度制御処理では、決定された再生速度に従い、再生速度の制御を行う。再生速度が高い場合にはデータを間引きして再生するデータ量を減らし、再生速度が低い場合は新たなデータを作成してデータ量を増やす。ただし、再生速度の制御は、音声データであれば音量が小さい場合にのみ行い、再生時のノイズや音切れを目立たなくする。動画像データであれば映像の時間的変化が小さい場合にのみ、再生速度の制御を行う。
【0018】
これにより、ストリーミング再生方式における受信バッファのオーバーフローやアンダーフローを防止し、再生されるデータの品質を高めることができる。
<第1実施形態例>
次に、本発明の受信装置を適用した音声通信システムについて、実施形態例を挙げて詳細に説明する。
【0019】
[構成]
図1は、第1実施形態例に係る通信システムの構成を示すブロック図である。通信システム10は、送信装置1と受信装置2とがLANなどのネットワーク3により接続されて構成されている。送信装置1には、マイク、プレーヤ、音声メモリ装置などの入力部11と、増幅器12とが接続されている。受信装置2には、増幅部26と、スピーカなどの出力部27とが接続されている。なお、図1では、ネットワーク3に接続されている送信装置1及び受信装置2はそれぞれ1つしか示されていないが、通常は複数の送信装置及び受信装置がネットワーク3に接続される。また、送信装置1と受信装置2とは、一体に構成されていても良い。
【0020】
送信装置1は、ADC13、入力バッファ14、符号化部15、送信バッファ16及び送信部17を有している。入力部11に入力された音声は、入力部11によりアナログ音声信号に変換される。このアナログ音声信号は、増幅器12により増幅され、送信装置1に入力される。入力されたアナログ音声信号は、ADC13によりディジタル音声データに変換され、入力バッファ14に蓄積される。符号化部15は、入力バッファ14に蓄積されているディジタル音声データを圧縮音声符号化情報に符号化し、送信バッファ16に蓄積する。送信部17は、送信バッファ16のデータをパケットに組み立て、一定の時間間隔でネットワーク3に送出する。なお、ディジタル音声データを符号化しない場合、符号化部15を省略することができる。また、入力部11や増幅器12を、送信装置1に内蔵させても良い。
【0021】
受信装置2は、受信部21、受信バッファ22、復号化部23、出力バッファ24、DAC25、再生速度判断部28、速度バッファ29及び再生速度制御部210を有している。ネットワーク3に送出されたパケットは、受信部21により受信され、分解されて受信バッファ22に格納される。本例では、受信バッファ22は、4パケット分の圧縮音声符号化情報を4ブロックまで蓄積可能である。1ブロックは1パケットに含まれるディジタルデータ部分に相当する。受信バッファ22に蓄積された圧縮音声符号化情報は、復号化部23によりディジタル音声データに伸長される。このディジタル音声データは、出力バッファ25に格納され、DAC25によりアナログ音声信号に変換されて出力される。出力されたアナログ音声信号は、増幅部26により増幅され、出力部27から空気中に拡声される。送信装置1側の符号化部15が省略される場合、受信装置2の復号化部23を省略することができる。スピーカなどの出力部27や増幅器26を、受信装置2に内蔵させてもよい。
【0022】
再生速度判断部28は前記再生速度決定処理を行う。すなわち、受信バッファ22内のデータ蓄積量の変化を監視し、変化に応じた再生速度を決定する。本実施形態例では、再生速度を再生速度倍率で表し、再生速度倍率を0.5〜2倍の範囲で決定する。さらに、再生速度判断部28は、決定した再生速度倍率を、速度バッファ29に書き込む。再生速度決定処理の詳細については後述する。
【0023】
再生速度制御部210は、速度バッファ29に書き込まれている再生速度倍率に応じ、前記再生速度制御処理を実行する。再生速度制御処理の詳細については後述する。
[処理]
次に、前記構成を有する受信装置2が行う処理の流れについて詳細に説明する。受信装置2が行う処理は、受信処理と再生処理とに大別される。この2つの処理の中で、再生速度決定処理及び再生速度制御処理が起動される。以下、これらの処理について、図面を参照しつつ具体的に説明する。
【0024】
(1)受信処理
図2(a)は、受信装置2が行う受信処理の流れの一例を示すフローチャートである。受信装置2は、後述する再生処理と受信処理とを独立に実行する。
ステップS1:受信部21は、パケットを待機しており、パケットを受信すると、ステップS2に移行する。
【0025】
ステップS2、S3、S4:受信部21は、受信バッファ22に新たなデータを書き込む空きメモリがあるか否かを判断する(S2)。空きメモリがあれば、パケットを受信バッファ22に格納する(S3)。空きメモリがない場合、ステップS4に移行し、受け取ったパケットを破棄する(S4)。
ステップS5:受信部21は再生速度決定処理を起動させる。この処理では、再生速度判断部28が、受信バッファ22に新たなデータが格納される前後でのデータ蓄積量の変化を基に、再生速度倍率を決定する。決定された再生速度倍率は速度バッファ29に書き込まれる。
【0026】
以上の処理により、受信バッファ22にデータを蓄積する度に、再生速度倍率を決定する。
(2)再生処理
図2(b)は、受信装置2が行う再生処理の流れの一例を示すフローチャートである。
【0027】
ステップS11:復号化部23は、再生開始条件が満たされたか否かを判断し、満たされた場合は音声の再生処理を行う。ここで、再生開始条件とは、「受信バッファ22に蓄積されるデータ量≧しきい値D1」である。しきい値D1は、実使用で想定されるネットワーク負荷や許容される再生開始までの遅延時間を考慮した上で、通信システムに適合する値を実験的に求めることにより定められる。
【0028】
ステップS12:復号化部23は、後述する再生速度制御処理を起動させる。この処理では、再生速度制御部210が、速度バッファ29に記憶されている再生速度倍率に従い、受信バッファ22に蓄積されている圧縮音声符号化情報から音声を再生出力する。
(3)再生速度決定処理
図3は、再生速度決定処理の流れの一例を示すフローチャートである。この処理では、再生速度判断部28は、受信バッファ22のデータ蓄積量の変化の前後から、再生速度倍率を決定する。受信バッファ22のデータ量が変化した場合、すなわちデータが格納された場合(前記受信処理S5)またはデータが読み出された場合(後述する再生速度制御処理S129)、以下の処理が開始される。
【0029】
ステップS101:再生速度判断部28は、変化後のデータ蓄積量を受信バッファ22から読み取る(S101)。また、変化前のデータ蓄積量を、データ量バッファ(図示せず)から読み出す(S101)。このデータ量バッファは、変化前のデータ蓄積量を一時的に格納するためのメモリである。
ステップS102、S103:ついで、再生速度判断部28は、変化の前後におけるデータ蓄積量を比較する(S102、S103)。
【0030】
ステップS104、S105:再生速度判断部28は、データ蓄積量が増加している場合(S102)、再生速度倍率を一定量増加させる(S103)。逆に、データ蓄積量が減少した場合(S103)、再生速度倍率を一定量減少させる(S105)。データの蓄積量が変化していない場合は、再生速度倍率をそのままにしておく。再生速度倍率の上限は2倍とし、下限は0.5倍とする。この範囲であれば、再生された音声が聴覚上聞きやすいからである。再生速度倍率の増減幅は、受信バッファ22のアンダーフローやオーバーフローを防止可能な値を実験的に求めることが好ましい。
【0031】
ステップS106:再生速度判断部28は、変化後のデータ蓄積量を、前記データ量バッファに格納する。
以上の処理により、再生速度判断部28は、受信バッファ22のデータ蓄積量の増加または減少に応じ、再生速度を変化させる。
(4)再生速度制御処理
図4は、再生速度制御処理の流れの一例を示すフローチャートである。この処理では、再生速度倍率に従った再生速度で音声を再生する。前記再生処理において再生開始条件が満たされた場合、以下の処理が開始される。
【0032】
ステップS111:再生速度制御部210は、再生速度倍率を“1”にリセットする。本実施形態例では、再生中か否かに関わらず再生速度決定処理が行われる。そのため、受信バッファ22のデータ蓄積量が少なくて再生中断中にデータ蓄積量が増加する一方となると、データ蓄積量に比して再生速度倍率が高くなり過ぎる場合があるためである。
【0033】
ステップS112:復号化部23は、受信バッファ22のデータ蓄積量がゼロになるまで以下の処理による音声の再生を行う。ゼロになると本処理を終了する。その後、再び再生開始条件が満たされるまで再生の開始を待機する(前記S11)。
ステップS113:まず、復号化部23は、受信バッファ22から再生するためのブロックを1つ読み出す。以下、このブロックを現ブロックと呼ぶ。復号化部23は、現ブロック中の圧縮音声符号化情報を伸長してディジタル音声データとし、これを再生速度制御部210に渡す。1つのブロックから得られるディジタル音声データには、アナログ音声信号をサンプリングして得られる複数の音声サンプルデータが含まれている。ディジタル音声データを圧縮音声符号化しない通信システムにおいては、再生速度制御部210は、1ブロック分のディジタル音声データを、受信バッファ22から読み出す。以下、ステップS114〜126では、受信バッファ22から読み出した現ブロックの再生を行う。
【0034】
ステップS114:再生速度制御部210は、現ブロックの直前のブロックの音量成分値を音量バッファ(図示せず)から読み出し、これがしきい値Vを超えていないか否かを判断する(S114)。この音量バッファとは、直前のブロックの音量成分値を一時的に記憶するためのメモリ領域である。しきい値Vは、再生する音声の種類や再生すべき音声以外の雑音音量成分などを考慮した値が設定される。
【0035】
ステップS115:再生速度制御部210は、音量成分値の差がしきい値Vを超えている場合、現ブロックをそのまま再生する。すなわち、現ブロックから得られたディジタル音声データのサンプルデータをそのまま出力バッファ24に格納する。出力バッファ24に格納されたディジタルデータは、アナログ信号に変換され、出力される。音量が大きいため、ディジタルデータの破棄や挿入を行わずにそのまま再生するのである。
【0036】
ステップS116:再生速度制御部210は、前記音量成分値がしきい値Vを超えない場合、ステップS116〜S125において再生速度の制御を行う。まず、再生速度制御部210は、現ブロックに含まれるサンプルデータから1つのサンプルデータを順次抽出する。抽出したサンプルデータを現サンプルデータという。
【0037】
ステップS117、S118:再生速度制御部210は、速度バッファ29を参照し、再生速度倍率を読み出す。再生速度制御部210は、再生速度倍率が1を超えているか否かを判断し、再生速度倍率が1を超えている場合(S117)、次式で表される確率で抽選を行う(S118)。当選した場合はステップS119へ移行する。落選した場合は後述するステップS124へ移行し、現サンプルデータを再生する。
【0038】
確率=(倍率―1)/倍率
ステップS119、S120:再生速度制御部210は、サンプルバッファ(図示せず)から直前のサンプルデータを読み出す。このサンプルバッファは、直前のサンプルデータを記憶するためのメモリ領域である。再生速度制御部210は、現サンプルデータと直前のサンプルデータとの差がしきい値Sを超えていないか否かを判断する(S119)。サンプルデータの差がしきい値Sを超えていなければ、現サンプルデータを破棄する(S120)。これにより再生速度が増加する。連続するサンプルデータの差が小さいので、サンプルデータを破棄しても再生された音声の品質に及ぼす影響が小さいと考えられるからである。逆に、サンプルデータの差がしきい値S以上の場合、現サンプルデータを破棄することなく出力バッファ24に格納し、再生させる(後述するステップS124)。
【0039】
ステップS121、S122:再生速度倍率が1より小さい場合(S121)、再生速度制御部210は下式で示される確率で抽選を行う(S122)。当選した場合はステップS123へ移行し、落選した場合はステップS124へ移行して現サンプルデータを再生する。
確率=(1―倍率)/倍率
ステップS123:前記抽選に当選した場合、再生速度制御部210は、現サンプルデータと直前サンプルデータとに基づいて新たなサンプルデータを作成し、現サンプルデータの前に挿入する。新たなサンプルデータは、現サンプルデータと直前サンプルデータとの平均値となるよう作成される。
【0040】
ステップS124:再生速度制御部210は、ステップS118またはS122の抽選で落選した場合、現サンプルデータを出力バッファ24に格納し、これを再生させる。ステップS123で新たなサンプルデータを挿入した場合、新たなサンプルデータ及び現サンプルデータを出力バッファ24に格納し、これらを再生させる。
【0041】
ステップS125:再生速度制御部210は、現サンプルデータをサンプルバッファに格納し、直前のサンプルデータとして記憶させる。
ステップS126:再生速度制御部210は、現ブロックに含まれる全てのサンプルデータの再生が終了したか否かを判断する。“No”と判断するとステップS116に戻り、前述の処理を繰り返して現ブロックを再生する。“Yes”と判断すると、ステップS127に移行する。
【0042】
ステップS127:再生速度制御部210は、ディジタル音声データから得られる現ブロックの音量成分値を算出し、音量バッファに格納する。さらに、再生速度制御処理部210は、受信バッファ22から現ブロックを削除する。
ステップS128:再生速度制御部210は、再生速度決定処理サブルーチンを起動させる。これにより、再生速度判断部28は再生速度決定処理を実行し、受信バッファ22のデータ蓄積量の変化に応じた再生速度倍率を決定する。その後再びステップS112に戻り、受信バッファ22が空になるまで再生を続行する。
【0043】
以上の処理により、再生速度制御部210は、音量が小さい場合、データの削除または挿入による再生速度の制御を行う。なかでもデータの削除は連続する音の差が小さい場合に行う。データの削除や挿入を目立たないように行うことで、再生される音声の品質を高めることができる。
<第2実施形態例>
次に、第2実施形態例に係る受信装置を用いた通信システムについて説明する。本実施形態例の受信装置は、再生中であれば再生速度を変化させるが、再生停止中は再生速度を変化させない点が第1実施形態例の受信装置と異なっている。
【0044】
[構成]
図5は、第2実施形態例に係る通信システムの構成を示すブロック図である。図5中、図1と同様の符号で示したブロックは、第1実施形態例と同様の機能を有している。受信装置2は、第1実施形態例と同様の構成に加え、再生フラグバッファ211及び直前データ再生フラグバッファ212をさらに有している。また、速度バッファ29に代えて、高速再生フラグバッファ213及び低速再生フラグバッファ214を有している。
【0045】
再生フラグバッファ211に再生フラグがセットされている場合は再生中である。直前データ再生フラグバッファ212に直前データ再生フラグがセットされている場合は、1つ前のサンプルデータが再生されたことを示している。高速再生フラグバッファ213には、受信バッファ22の蓄積量が増大している場合にフラグがセットされる。低速再生フラグバッファ214には、受信バッファ22の蓄積量が減少している場合にフラグがセットされる。
【0046】
[処理]
次に、前記構成を有する受信装置2が行う処理について説明する。第1実施形態例と同様、受信処理、再生処理、再生速度決定処理、再生速度制御処理について、順次説明する。
(1)受信処理
図6(a)は、受信装置2が行う受信処理の流れの一例を示すフローチャートである。
【0047】
ステップS21:受信部21は、パケットを待機しており、パケットを受信すると、ステップS22に移行する。
ステップS22、S23、S24:受信部21は、受信バッファ22に新たなデータを書き込む空きメモリがあるか否かを判断する(S22)。空きメモリがない場合、受信したパケットを破棄する(S23)。空きメモリがあれば、パケットを受信バッファ22に格納する(S24)。
【0048】
ステップS25:受信部21は、再生フラグバッファ21を参照し、再生中か否かを判断する。再生フラグがリセットされている、すなわち再生停止中の場合、前記ステップS21に戻り、次のパケットの受信を待機する。再生フラグがセットされている、すなわち再生中の場合、ステップS26に移行して再生速度を決定する。再生中の場合のみ再生速度を決定するのは、再生停止中は受信バッファのデータ蓄積量が増加する一方なので、実際の蓄積量に比して再生速度が増加しすぎるおそれがあるからである。
【0049】
ステップS26:受信部21は、再生速度決定処理サブルーチンを起動する。これにより、受信バッファのデータ蓄積量に応じた再生速度が決定される。
以上の処理により、受信バッファ22にデータを蓄積し、再生中の場合にのみ受信バッファのデータ蓄積量に応じた再生速度を決定する。
(2)再生処理
図6(b)は、受信装置2が行う再生処理の流れの一例を示すフローチャートである。
【0050】
ステップS31:復号化部23は、再生開始条件が満たされたか否かを判断し、満たされた場合は音声の再生処理を行う。ここで、再生開始条件とは、「受信バッファ22に蓄積されるデータ量≧しきい値D1」である。しきい値D1は、第1実施形態例と同様にして定められる。
ステップS32:復号化部23は、再生フラグバッファ211に再生フラグをセットする。
【0051】
ステップS33:復号化部23は、後述する再生速度制御処理サブルーチンを起動し、再生を開始する。すなわち、受信バッファ22のデータ蓄積量に応じた速度で音声の再生を行う。
ステップS34:復号化部23は、再生フラグバッファ211の再生フラグをリセットする。
【0052】
以上の処理により、再生開始条件を満足する場合に再生を行う。再生中か否かは、再生フラグバッファのフラグにより示される。
(3)再生速度決定処理
図7は、再生速度決定処理の流れの一例を示すフローチャートである。本実施形態例では、再生速度判断部28は、受信バッファ22のデータ蓄積量の変化の前後から、高速再生フラグ及び低速再生フラグをセットまたはリセットする。前記受信処理または後述する再生速度制御処理で本処理が起動された場合、以下の処理が開始される。
【0053】
ステップS201:再生速度判断部28は、変化後のデータ蓄積量を受信バッファ22から読み取る(S201)。また、変化前のデータ蓄積量を、データ量バッファ(図示せず)から読み出す(S201)。このデータ量バッファは、変化前のデータ蓄積量を一時的に格納するためのメモリである。
ステップS202、S203:ついで、再生速度判断部28は、変化の前後におけるデータ蓄積量を比較する(S202、S203)。
【0054】
ステップS204〜S209:データ蓄積量が増加している場合、再生速度判断部28
は、高速再生フラグをセットし、低速再生フラグをリセットする(S204、S205)。逆に、データ蓄積量が減少している場合は、低速再生フラグをセットし、高速再生フラグをリセットする(S206、S207)、データの蓄積量が変化していない場合は高速再生フラグ及び低速再生フラグともにリセットする(S208、S209)。
【0055】
ステップS210:再生速度判断部28は、変化後のデータ蓄積量を前記データ量バッファに格納し、処理を終了する。
以上の処理により、再生速度判断部28は、受信バッファ22のデータ蓄積量の増加または減少に応じ、再生速度フラグを変化させる。
(4)再生速度制御処理
図8は、再生速度制御処理の流れの一例を示すフローチャートである。本実施形態例では、速度バッファ29にセットされたフラグに従った速度で音声を再生する。前記再生処理においてステップS33に移行すると、以下の処理が開始される。
【0056】
ステップS211:復号化部23は、受信バッファ22にデータがあるか否かを判断し、データ蓄積量がゼロになるまで以下の処理を行う。ゼロになると再生フラグをリセットし、本処理を終了する。その後、再び再生開始条件が満たされるのを待機する(前記再生処理S34)。
ステップS212:まず、復号化部23は、受信バッファ22から再生するためのブロック(以下、単に現ブロックという)を1つ読み出す。
【0057】
ステップS213:復号化部23は、現ブロック中の圧縮音声符号化情報を伸長してサンプルデータや音量成分値を含むディジタル音声データとし、これを再生速度制御部210に渡す。再生速度制御部210は、音量バッファ(図示せず)から直前のブロックの音量成分値を読み出し、これがしきい値Vを超えていないか否かを判断する。音量バッファ、しきい値Vの値については、第1実施形態例と同様である。
【0058】
ステップS214:再生速度制御部210は、直前ブロックの音量成分値がしきい値Vを超えている、つまり音量が大きい場合、現ブロックをそのまま再生する。音量の差が大きいため、ディジタルデータの破棄や挿入を行わずにそのまま再生するのである。
ステップS215:再生速度制御部210は、前記音量成分値がしきい値Vを超えない場合、ステップS215〜S225のようにして再生速度の制御を行う。まず、再生速度制御部210は、現ブロックに含まれるサンプルデータから順次1つのサンプルデータを抽出する。抽出したサンプルデータを現サンプルデータという。
【0059】
ステップS216、S217、S218、S219、S220:再生速度制御部210は、高速再生フラグバッファ213及び低速再生フラグバッファ214を参照する。高速再生フラグだけがセットされている場合(S216)、再生速度制御部210は、サンプルバッファから直前のサンプルデータを読み出す。そして、現サンプルデータと直前のサンプルデータとの差がしきい値Sを超えていないか否かを判断する(S217)。サンプルバッファは第1実施形態例と同様である。
【0060】
サンプルデータの差がしきい値Sを超えている場合、直前データフラグバッファ212を参照し、直前データ再生フラグがセットされているか否かを判断する(S218)。“Yes”と判断すると、このフラグをリセットし、現サンプルデータを破棄することにより再生速度を増加させる(S219、S220)。連続するサンプルデータの差が小さいので、サンプルデータを破棄しても再生された音声の品質に及ぼす影響が小さいと考えられるからである。なお、直前データ再生フラグをステップS219でリセットするのは、サンプルデータが連続して破棄されるのを防止するためである。
【0061】
逆に、サンプルデータの差がしきい値S以下の場合、現サンプルデータを破棄することなく出力バッファ24に格納し、再生させる(後述するステップS223)。
【0062】
ステップS221、S222:低速再生フラグだけがセットされている場合(S221)、再生速度制御部210は、新たなサンプルデータを作成し、現サンプルデータの前に挿入する(S222)。
ステップS223:再生速度制御部210は、受信バッファのデータ蓄積量が増加しているが連続音の差が大きい場合(S217)、現サンプルデータを出力バッファ24に格納し、これを再生させる。高速再生フラグ及び低速再生フラグの両方がリセットされている場合も同様である。また、データ蓄積量が減少しているため新たなサンプルデータを挿入した場合(S222)、新たなサンプルデータ及び現サンプルデータを出力バッファ24に格納し、これらを再生させる。
【0063】
ステップS224:再生速度制御部210は、現サンプルデータをサンプルバッファに格納し、直前のサンプルデータとして記憶させる。
ステップS225:再生速度制御部210は、直前データ再生フラグをセットする。現サンプルデータが再生されたので、その次のサンプルデータを破棄可能にするためである。
【0064】
ステップS226:再生速度制御部210は、現ブロックに含まれる全てのサンプルデータの再生が終了したか否かを判断する。“No”と判断するとステップS215に戻り、前述の処理を繰り返して現ブロックを再生する。“Yes”と判断すると、ステップS227に移行する。
ステップS227:再生速度制御部210は、ディジタル音声データから得られる現ブロックの音量成分値を、音量バッファに格納する。さらに、再生速度制御処理部210は、受信バッファ22から現ブロックを削除する。
【0065】
ステップS228:再生速度制御部210は、再生速度決定処理サブルーチンを起動させる。これにより、再生速度判断部28は、受信バッファ22のデータ蓄積量の変化に応じた速度フラグを決定する。その後再びステップS211に戻り、受信バッファ22が空になるまで再生を続行する。
以上の処理により、音量が小さい場合にのみデータを削除または挿入し、受信バッファのデータ蓄積量の変化に応じて再生速度に緩急をつけ、再生される音声の品質を高めることができる。
【0066】
[再生速度と受信バッファのデータ蓄積量との関係を示すグラフ]
次に、前記実施形態例に述べた再生速度の制御により、オーバーフローやアンダーフローを防止する模式例について、グラフを用いて説明する。図9は、再生速度と受信バッファ22のデータ蓄積量との関係を示すグラフである。横軸は時間、縦軸は受信バッファのデータ蓄積量を示す。実線は再生速度を変化させた場合、点線は再生速度が一定の場合である。実線上の黒丸は、パケットを受信バッファ22に格納したことを示す。実線上の×印は、1ブロック分の再生が終了したことを示す。データ蓄積量の減少速度が実線と点線とで異なるのは、再生速度を調整しているからである。データ蓄積量の減少を示す実線の傾きが×印を境に小さくなっているは、再生速度が減少しているからである。
【0067】
この例では、パケットP1,P2,P3,P4,P5,P6は、一定の時間間隔で送出されている。受信バッファ22にデータが残っている状態で、受信装置2はパケットP1を受信し、その後パケットP2,P3,P4を想定時間よりも早く受信する。また、パケットP4を受信した後、パケットP5及びP6を想定時間よりも遅く受信する。なお、再生される音声の音量成分は、常に小さいと仮定する。
【0068】
パケットP1、P2,P3,P4の受信直後(時刻T1、T2、T3、T4)はデータ蓄積量が増加するので、再生速度が増加する。しかし、次のパケットが到着する前に1ブロックの再生が終了した場合(時刻T5、T6)、データ蓄積量が減少したと判断され、再生速度が減少する。これにより、受信バッファ22のオーバーフローが防止されている。また、パケットP4の受信後、1ブロック再生するたびに再生速度が減少する。これにより、受信バッファ22のアンダーフローが防止されている。
【0069】
<その他の実施形態例>
(A)前述の実施形態例では、音声通信システムについて説明したが、本発明に係る受信装置は、音声通信だけでなく、動画像通信にも好ましく用いられる。また、静止画像、テキストデータなどの受信装置としても好適である。
(B)コンピュータに前述の処理を実行させるプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。ここで記録媒体としては、コンピュータが読み書き可能なフロッピーディスク、ハードディスク、半導体メモリ、CD-ROM、DVD、光磁気ディスク(MO)、その他のものが挙げられる。
【0070】
【発明の効果】
本発明を用いれば、ストリーム再生方式を採用した通信システムの受信装置側で再生される音声の品質を高めることを期待できる。
【図面の簡単な説明】
【図1】 第1実施形態例に係る通信システムの構成を示すブロック図。
【図2】 第1実施形態例における受信処理及び再生処理。
(a)受信処理の流れを示すフローチャート。
(b)再生処理の流れを示すフローチャート。
【図3】 第1実施形態例における再生速度決定処理の流れを示すフローチャート。
【図4】 第1実施形態例における再生速度制御処理の流れを示すフローチャート。
【図5】 第2実施形態例に係る通信システムの構成を示すブロック図。
【図6】 第2実施形態例における受信処理及び再生処理。
(a)受信処理の流れを示すフローチャート。
(b)再生処理の流れを示すフローチャート。
【図7】 第2実施形態例における再生速度決定処理の流れを示すフローチャート。
【図8】 第2実施形態例における再生速度制御処理の流れを示すフローチャート。
【図9】 本発明における再生速度と受信バッファのデータ蓄積量との関係を示すグラフ。
【図10】 従来の再生速度と受信バッファのデータ蓄積量との関係を示すグラフ。
【符号の説明】
1;送信装置
2;受信装置
3;ネットワーク
22;受信バッファ
28;再生速度判断部
29;速度フラグバッファ
210;再生速度調整部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital data communication system used, for example, in a building broadcasting facility.
[0002]
[Prior art]
In a digital data communication system on a network such as a LAN, communication is performed by packetizing data such as voice, image, and text. When voice or moving image communication is performed in this communication system, it is required that the receiving side receive packets and output continuous data at the same interval as the packet transmission interval on the transmitting side. However, depending on the network traffic situation, the packet transmission time may fluctuate or the packet may be lost, causing the quality of the reproduced voice or image to deteriorate.
[0003]
One of digital communication and reproduction methods for transmitting voice and moving images in real time is a “streaming reproduction method” in which reproduction is performed without waiting for reception of data to the end. In the streaming reproduction method, a transmission buffer and a reception buffer are provided on the transmission device side and the reception device, respectively. The processing of the transmitting device and the receiving device in this method is as follows.
[0004]
For example, in the case of voice communication, an analog voice signal input to a transmission device is converted into digital voice data by an analog / digital converter (ADC) and stored in a transmission buffer. Depending on the communication system, in order to effectively use the bandwidth of the network line, the digital voice data is further encoded into compressed voice encoded information. Digital audio data and compressed audio encoding information (hereinafter collectively referred to as digital audio data) accumulated in the transmission buffer are assembled into packets and transmitted to the receiving device via the network in packet units.
[0005]
The receiving device receives and disassembles the packet, and stores the digital audio data in the receiving buffer. When the amount of data stored in the reception buffer exceeds a certain level, the digital audio data is read from the reception buffer, converted into analog audio data by a digital / analog converter (DAC), and output. Depending on the communication system, a decoding process is performed in which the compressed audio coding information stored in the reception buffer is expanded to generate digital audio data.
[0006]
[Problems to be solved by the invention]
Although the transmission buffer and the reception buffer in the streaming reproduction method described above have some effects in absorbing fluctuations in packet transmission time, they are not sufficient.
For example, due to packet delay, the amount of data stored in the reception buffer becomes zero during reproduction, and reproduction may stop. This is called “underflow” in the reception buffer. Conversely, there are cases where a packet is received in a shorter time than the assumed reception interval and the storage capacity of the reception buffer is exceeded. This is called “overflow” in the reception buffer. In this case, generally, a packet that cannot be absorbed by the reception buffer is discarded. When overflow occurs, the audio data becomes discontinuous, causing noise and deteriorating the audio quality.
[0007]
FIG. 10 shows a situation where underflow and overflow occur in the reception buffer due to fluctuations in packet transmission time. The reception buffer can store four packets. The transmitting device transmits packets P1, P2, P3, P4, P5, P6. The receiving device receives the packet P1 with data remaining in the receiving buffer. Thereafter, if the packets P2, P3, and P4 are received within a time shorter than the expected time, the reproduction speed cannot catch up, and therefore overflow occurs at the time T1 when the packet P4 is accumulated in the reception buffer. However, since the next packet P5 is delayed after receiving the packet P4, the reception buffer becomes empty during reproduction, and an underflow occurs at time T2.
[0008]
An object of the present invention is to provide a technique for improving the quality of reproduced data in a streaming reproduction method used for digital data communication.
[0009]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the first invention of the present application provides a receiving apparatus including a receiving means, a receiving buffer, a reproduction speed determining means, a reproduction speed control means, and a conversion means.
The receiving means is connected to the communication network and receives a packet including digital voice data via the communication network. The reception buffer temporarily stores the digital audio data. The reproduction speed judging means monitors a change in the data accumulation amount of the reception buffer, and the reproduction speed is determined according to the change. magnification Decide. The reproduction speed control means takes out the digital audio data stored in the reception buffer and reproduces the reproduction speed. magnification A reproduction speed control process according to the determination is applied to the digital audio data. The converting means converts the digital audio data after the reproduction speed control processing into analog data for output. The reproduction speed control means is a reproduction speed. When the ratio exceeds 1, when (probability) = ((playback speed ratio) -1) / (playback speed ratio) the lottery based on the probability, winning If the difference between the digital data extracted from the reception buffer and the previously reproduced digital data is less than a predetermined value, the digital data extracted from the reception buffer is discarded. In addition, when the reproduction speed magnification is lower than 1, the reproduction speed control means performs a lottery based on the probability obtained by (probability) = (1− (reproduction speed magnification)) / (reproduction speed magnification) and wins. In this case, sample data is generated based on the digital data extracted from the reception buffer and the previously reproduced digital data, and the generated sample data is inserted before the digital data extracted from the reception buffer. .
[0010]
The reproduction speed control process is specifically the following process. When the reproduction speed magnification is double, the digital audio data is thinned out and the sample data included in the digital audio data is halved for reproduction. When the reproduction speed magnification is 0.5 times, sample data is created and reproduced by doubling the amount of inserter and sample data. If the reproduction speed magnification is 1, the sample data in the digital data read from the reception buffer is reproduced as it is.
[0011]
For example, every time the data amount of the reception buffer changes, the reproduction speed judgment unit compares the data amount before the change with the data amount after the change, and selects one of the reproduction speed magnifications. When the data volume of the reception buffer is increasing, the playback speed magnification is increased, and when the data volume of the reception buffer is decreasing, the playback speed magnification is decreased to prevent overflow or underflow of the reception buffer. Can be prevented.
[0012]
In the first invention, there is provided a receiving apparatus in which the digital data is digital audio data. In this apparatus, the playback speed control means further determines whether or not the volume of the extracted digital audio data exceeds a predetermined value. Magnification exceeds 1 If the difference between the digital audio data extracted from the reception buffer and the previously reproduced digital audio data is less than a predetermined value, the digital audio data extracted from the reception buffer is discarded. May be .
By adjusting the playback speed when the volume of the audio data is low, the unnaturalness of the sound due to the deletion or addition of the data can be made inaudibly inconspicuous.
[0013]
The present invention provides a reception reproduction method including the following steps.
(A) a receiving step connected to a communication network and receiving a packet containing digital data via the communication network;
(B) an accumulation step for temporarily accumulating the digital data in a reception buffer;
(C) monitoring a change in the amount of data stored in the reception buffer, and reproducing speed according to the change magnification Determining the playback speed,
(D) Retrieving the digital data stored in the receiving buffer magnification A reproduction speed control step for performing reproduction speed control processing on the digital data according to the determination of
(E) A conversion step of converting the digital data after the reproduction speed control processing into analog data for output.
[0014]
In this method, the playback speed control step includes a playback speed. When the ratio exceeds 1, when (probability) = ((playback speed ratio) -1) / (playback speed ratio) the lottery based on the probability, winning If the difference between the digital data extracted from the reception buffer and the previously reproduced digital data is less than a predetermined value, the digital data extracted from the reception buffer is discarded. In the playback speed control step, when the playback speed magnification is lower than 1, a lottery is performed based on the probability obtained by (probability) = (1− (playback speed magnification)) / (playback speed magnification). Sample data is generated based on the digital data extracted from the reception buffer and the previously reproduced digital data, and the generated sample data is inserted before the digital data extracted from the reception buffer. .
[0015]
Invention of the present application Provides a reception and reproduction program for causing a computer to execute the steps (A) to (G). There is also a computer-readable recording medium that records this program. Invention of the present application include.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
<Outline of the invention>
The present invention provides a receiving apparatus used in a digital communication system to which a streaming reproduction method is applied. The receiving apparatus according to the present invention adjusts the data reproduction speed according to the change in the data accumulation amount of the receiving buffer. Specifically, the receiving apparatus executes a reproduction speed determination process and a reproduction speed control process in addition to the normal reception process and reproduction process.
[0017]
In the reproduction speed determination process, every time the amount of data stored in the reception buffer changes, the reproduction speed corresponding to the change is determined. Specifically, the playback speed is increased if the amount of data increases. If the amount of data is reduced, the playback speed is reduced. If there is no change in the amount of data, the playback speed remains normal.
In the playback speed control process, the playback speed is controlled according to the determined playback speed. When the reproduction speed is high, the amount of data to be reproduced is reduced by thinning the data, and when the reproduction speed is low, new data is created to increase the data amount. However, the playback speed is controlled only when the volume of the audio data is low, and noise and sound interruption during playback are made inconspicuous. For moving image data, the playback speed is controlled only when the temporal change of the video is small.
[0018]
As a result, overflow and underflow of the reception buffer in the streaming reproduction method can be prevented, and the quality of the reproduced data can be improved.
<First embodiment>
Next, an audio communication system to which the receiving apparatus of the present invention is applied will be described in detail with reference to an embodiment.
[0019]
[Constitution]
FIG. 1 is a block diagram showing a configuration of a communication system according to the first embodiment. The
[0020]
The
[0021]
The
[0022]
The playback
[0023]
The playback
[processing]
Next, the flow of processing performed by the receiving
[0024]
(1) Reception processing
FIG. 2A is a flowchart illustrating an example of a flow of reception processing performed by the
Step S1: The receiving
[0025]
Steps S2, S3, S4: The receiving
Step S5: The receiving
[0026]
With the above processing, the reproduction speed magnification is determined every time data is stored in the
(2) Reproduction processing
FIG. 2B is a flowchart illustrating an example of the flow of reproduction processing performed by the
[0027]
Step S11: The decoding
[0028]
Step S12: The
(3) Playback speed determination process
FIG. 3 is a flowchart showing an example of the flow of the reproduction speed determination process. In this process, the playback
[0029]
Step S101: The reproduction
Steps S102 and S103: Next, the playback
[0030]
Steps S104 and S105: When the data accumulation amount has increased (S102), the reproduction
[0031]
Step S106: The reproduction
Through the above processing, the playback
(4) Playback speed control processing
FIG. 4 is a flowchart showing an example of the flow of the playback speed control process. In this process, the sound is reproduced at a reproduction speed according to the reproduction speed magnification. When the reproduction start condition is satisfied in the reproduction process, the following process is started.
[0032]
Step S111: The playback
[0033]
Step S112: The decoding
Step S113: First, the
[0034]
Step S114: The playback
[0035]
Step S115: If the difference between the volume component values exceeds the threshold value V, the playback
[0036]
Step S116: When the volume component value does not exceed the threshold value V, the playback
[0037]
Steps S117 and S118: The
[0038]
Probability = (magnification-1) / magnification
Steps S119 and S120: The
[0039]
Steps S121 and S122: When the reproduction speed magnification is smaller than 1 (S121), the reproduction
Probability = (1-magnification) / magnification
Step S123: When the lottery is won, the playback
[0040]
Step S124: The reproduction
[0041]
Step S125: The playback
Step S126: The playback
[0042]
Step S127: The playback
Step S128: The playback
[0043]
Through the above processing, the playback
<Second Embodiment>
Next, a communication system using the receiving apparatus according to the second embodiment will be described. The receiving apparatus of this embodiment is different from the receiving apparatus of the first embodiment in that the playback speed is changed during playback, but the playback speed is not changed while playback is stopped.
[0044]
[Constitution]
FIG. 5 is a block diagram showing a configuration of a communication system according to the second embodiment. In FIG. 5, blocks denoted by the same reference numerals as those in FIG. 1 have the same functions as those in the first embodiment. The receiving
[0045]
When the reproduction flag is set in the
[0046]
[processing]
Next, processing performed by the receiving
(1) Reception processing
FIG. 6A is a flowchart illustrating an example of a flow of reception processing performed by the
[0047]
Step S21: The receiving
Steps S22, S23, S24: The receiving
[0048]
Step S25: The receiving
[0049]
Step S26: The receiving
With the above processing, data is stored in the
(2) Reproduction processing
FIG. 6B is a flowchart illustrating an example of the flow of reproduction processing performed by the
[0050]
Step S31: The decoding
Step S32: The decoding
[0051]
Step S33: The
Step S34: The decoding
[0052]
With the above processing, playback is performed when the playback start condition is satisfied. Whether or not playback is in progress is indicated by a flag in the playback flag buffer.
(3) Playback speed determination process
FIG. 7 is a flowchart illustrating an example of the flow of the reproduction speed determination process. In the present embodiment, the playback
[0053]
Step S201: The reproduction
Steps S202 and S203: Next, the playback
[0054]
Steps S204 to S209: When the data accumulation amount has increased, the playback
Sets the high-speed playback flag and resets the low-speed playback flag (S204, S205). On the contrary, when the data accumulation amount is decreasing, the low speed reproduction flag is set and the high speed reproduction flag is reset (S206, S207). When the data accumulation amount is not changed, the high speed reproduction flag and the low speed reproduction are set. Both the flags are reset (S208, S209).
[0055]
Step S210: The reproduction
Through the above processing, the playback
(4) Playback speed control processing
FIG. 8 is a flowchart showing an example of the flow of the playback speed control process. In this embodiment, sound is reproduced at a speed according to the flag set in the
[0056]
Step S211: The decoding
Step S212: First, the
[0057]
Step S213: The decoding
[0058]
Step S214: The reproduction
Step S215: When the volume component value does not exceed the threshold value V, the playback
[0059]
Steps S216, S217, S218, S219, S220: The playback
[0060]
If the difference between the sample data exceeds the threshold value S, the immediately preceding
[0061]
Conversely, if the difference between the sample data is less than or equal to the threshold value S, the current sample data is stored in the
[0062]
Steps S221 and S222: When only the low speed reproduction flag is set (S221), the reproduction
Step S223: When the data accumulation amount in the reception buffer is increased but the difference between continuous sounds is large (S217), the reproduction
[0063]
Step S224: The playback
Step S225: The reproduction
[0064]
Step S226: The playback
Step S227: The playback
[0065]
Step S228: The playback
With the above processing, data can be deleted or inserted only when the volume is low, the playback speed can be increased or decreased according to the change in the amount of data stored in the reception buffer, and the quality of the reproduced audio can be improved.
[0066]
[Graph showing the relationship between playback speed and the amount of data stored in the reception buffer]
Next, a schematic example of preventing overflow and underflow by controlling the reproduction speed described in the above embodiment will be described using graphs. FIG. 9 is a graph showing the relationship between the playback speed and the amount of data stored in the
[0067]
In this example, the packets P1, P2, P3, P4, P5, and P6 are transmitted at regular time intervals. In a state where data remains in the
[0068]
Immediately after receiving the packets P1, P2, P3, P4 (time T1, T2, T3, T4), the data storage amount increases, so the reproduction speed increases. However, if the reproduction of one block is completed before the next packet arrives (time T5, T6), it is determined that the data storage amount has decreased, and the reproduction speed decreases. As a result, overflow of the
[0069]
<Other embodiment examples>
(A) Although the voice communication system has been described in the above embodiment, the receiving apparatus according to the present invention is preferably used not only for voice communication but also for moving picture communication. Further, it is also suitable as a receiving device for still images, text data, and the like.
(B) A program that causes a computer to execute the above-described processing and a computer-readable recording medium that records the program are included in the present invention. Examples of the recording medium include a computer readable / writable floppy disk, hard disk, semiconductor memory, CD-ROM, DVD, magneto-optical disk (MO), and others.
[0070]
【The invention's effect】
By using the present invention, it can be expected to improve the quality of audio reproduced on the receiving device side of a communication system employing a stream reproduction method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a communication system according to a first embodiment.
FIG. 2 shows reception processing and reproduction processing in the first embodiment.
(A) The flowchart which shows the flow of a reception process.
(B) A flowchart showing the flow of the reproduction process.
FIG. 3 is a flowchart showing a flow of playback speed determination processing in the first embodiment.
FIG. 4 is a flowchart showing the flow of playback speed control processing in the first embodiment.
FIG. 5 is a block diagram showing a configuration of a communication system according to a second embodiment.
FIG. 6 shows reception processing and reproduction processing in the second embodiment.
(A) The flowchart which shows the flow of a reception process.
(B) A flowchart showing the flow of the reproduction process.
FIG. 7 is a flowchart showing the flow of playback speed determination processing in the second embodiment.
FIG. 8 is a flowchart showing the flow of playback speed control processing in the second embodiment.
FIG. 9 is a graph showing the relationship between the reproduction speed and the amount of data stored in the reception buffer in the present invention.
FIG. 10 is a graph showing the relationship between the conventional reproduction speed and the amount of data stored in the reception buffer.
[Explanation of symbols]
1: Transmitter
2: Receiving device
3; Network
22: Receive buffer
28: Reproduction speed judgment part
29; Speed flag buffer
210: Playback speed adjustment unit
Claims (3)
前記ディジタルデータを一時的に蓄積する受信バッファと、
前記受信バッファのデータ蓄積量の変化を監視し、前記変化に応じて再生速度倍率を決定する再生速度判断手段と、
前記受信バッファに蓄積されているディジタルデータを取り出し、再生速度倍率の決定に応じた再生速度制御処理を前記ディジタルデータに施す再生速度制御手段と、
前記再生速度制御処理後のディジタルデータを、出力するためのアナログデータに変換する変換手段と、を備え、
前記再生速度制御手段は、
再生速度倍率が1を超える場合、(確率)=((再生速度倍率)−1)/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合かつ前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとの差分が所定値以下の場合、前記受信バッファから取り出したディジタルデータを破棄し、
再生速度倍率が1より低い場合、(確率)=(1−(再生速度倍率))/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合、前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとに基づいてサンプルデータを生成し、生成したサンプルデータを前記受信バッファから取り出したディジタルデータの前に挿入する、
受信装置。Receiving means connected to a communication network and receiving a packet containing digital data via the communication network;
A reception buffer for temporarily storing the digital data;
A reproduction speed judging means for monitoring a change in the amount of data stored in the reception buffer and determining a reproduction speed magnification according to the change;
Reproduction speed control means for taking out digital data stored in the reception buffer and performing reproduction speed control processing on the digital data in accordance with determination of a reproduction speed magnification ;
Conversion means for converting the digital data after the reproduction speed control processing into analog data for output,
The reproduction speed control means includes
When the reproduction speed magnification exceeds 1, a lottery is performed based on the probability obtained by (probability) = ((reproduction speed magnification) −1) / (reproduction speed magnification). If the difference between the data and the previously reproduced digital data is less than or equal to a predetermined value, the digital data retrieved from the reception buffer is discarded,
When the reproduction speed magnification is lower than 1, a lottery is performed based on the probability obtained by (probability) = (1− (reproduction speed magnification)) / (reproduction speed magnification). Generating sample data based on the data and the previously reproduced digital data, and inserting the generated sample data before the digital data retrieved from the reception buffer;
Receiver device.
前記ディジタルデータを受信バッファに一時的に蓄積する蓄積ステップと、
前記受信バッファのデータ蓄積量の変化を監視し、前記変化に応じて再生速度倍率を決定する再生速度判断ステップと、
前記受信バッファに蓄積されているディジタルデータを取り出し、再生速度倍率の決定に応じた再生速度制御処理を前記ディジタルデータに施す再生速度制御ステップと、
前記再生速度制御処理後のディジタルデータを、出力するためのアナログデータに変換する変換ステップと、を含み、
前記再生速度制御ステップでは、
再生速度倍率が1を超える場合、(確率)=((再生速度倍率)−1)/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合かつ前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとの差分が所定値以下の場合、前記受信バッファから取り出したディジタルデータを破棄し、
再生速度倍率が1より低い場合、(確率)=(1−(再生速度倍率))/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合、前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとに基づいてサンプルデータを生成し、生成したサンプルデータを前記受信バッファから取り出したディジタルデータの前に挿入する、
受信再生方法。A receiving step connected to a communication network and receiving a packet containing digital data via the communication network;
An accumulation step of temporarily accumulating the digital data in a reception buffer;
A reproduction speed determination step of monitoring a change in the amount of data stored in the reception buffer and determining a reproduction speed magnification according to the change;
A reproduction speed control step of taking out the digital data stored in the reception buffer and subjecting the digital data to a reproduction speed control process according to the determination of the reproduction speed magnification ,
Converting the digital data after the reproduction speed control processing into analog data for output, and
In the reproduction speed control step,
When the reproduction speed magnification exceeds 1, a lottery is performed based on the probability obtained by (probability) = ((reproduction speed magnification) −1) / (reproduction speed magnification). If the difference between the data and the previously reproduced digital data is less than or equal to a predetermined value, the digital data retrieved from the reception buffer is discarded,
When the reproduction speed magnification is lower than 1, a lottery is performed based on the probability obtained by (probability) = (1− (reproduction speed magnification)) / (reproduction speed magnification). Generating sample data based on the data and the previously reproduced digital data, and inserting the generated sample data before the digital data retrieved from the reception buffer;
Reception playback method.
前記ディジタルデータを受信バッファに一時的に蓄積する蓄積ステップと、
前記受信バッファのデータ蓄積量の変化を監視し、前記変化に応じて再生速度倍率を決定する再生速度判断ステップと、
前記受信バッファに蓄積されているディジタルデータを取り出し、再生速度倍率の決定に応じた再生速度制御処理を、前記記憶ステップで記憶された再生速度制御処理から読み出して前記ディジタルデータに施す再生速度制御ステップと、
前記再生速度制御処理後のディジタルデータを、アナログデータに変換する変換ステップと、をコンピュータに実行させるための受信再生プログラムであって、
前記再生速度制御ステップでは、
再生速度倍率が1を超える場合、(確率)=((再生速度倍率)−1)/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合かつ前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとの差分が所定値以下の場合、前記受信バッファから取り出したディジタルデータを破棄し、
再生速度倍率が1より低い場合、(確率)=(1−(再生速度倍率))/(再生速度倍率)で求められる確率に基づいて抽選を行い、当選した場合、前記受信バッファから取り出したディジタルデータと前回再生したディジタルデータとに基づいてサンプルデータを生成し、生成したサンプルデータを前記受信バッファから取り出したディジタルデータの前に挿入する、
受信再生プログラム。A receiving step connected to a communication network and receiving a packet containing digital data via the communication network;
An accumulation step of temporarily accumulating the digital data in a reception buffer;
A reproduction speed determination step of monitoring a change in the amount of data stored in the reception buffer and determining a reproduction speed magnification according to the change;
A reproduction speed control step for extracting the digital data stored in the reception buffer and reading out the reproduction speed control process corresponding to the determination of the reproduction speed magnification from the reproduction speed control process stored in the storage step and applying it to the digital data When,
A conversion reproduction step for converting the digital data after the reproduction speed control processing into analog data; and a reception reproduction program for causing a computer to execute the conversion step,
In the reproduction speed control step,
When the reproduction speed magnification exceeds 1, a lottery is performed based on the probability obtained by (probability) = ((reproduction speed magnification) −1) / (reproduction speed magnification). If the difference between the data and the previously reproduced digital data is less than or equal to a predetermined value, the digital data retrieved from the reception buffer is discarded,
When the reproduction speed magnification is lower than 1, a lottery is performed based on the probability obtained by (probability) = (1− (reproduction speed magnification)) / (reproduction speed magnification). Generating sample data based on the data and the previously reproduced digital data, and inserting the generated sample data before the digital data retrieved from the reception buffer;
Reception playback program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001132451A JP4350916B2 (en) | 2001-04-27 | 2001-04-27 | Reception device and reception reproduction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001132451A JP4350916B2 (en) | 2001-04-27 | 2001-04-27 | Reception device and reception reproduction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002330180A JP2002330180A (en) | 2002-11-15 |
JP4350916B2 true JP4350916B2 (en) | 2009-10-28 |
Family
ID=18980461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001132451A Expired - Fee Related JP4350916B2 (en) | 2001-04-27 | 2001-04-27 | Reception device and reception reproduction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4350916B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354677A (en) * | 2003-05-29 | 2004-12-16 | Pioneer Electronic Corp | Information processing device, method therefor, program therefor, recording medium recorded with he program, and reproducing device |
JP4534582B2 (en) * | 2004-05-07 | 2010-09-01 | ソニー株式会社 | Audio stream reproduction apparatus and audio stream reproduction method |
US8718452B2 (en) | 2004-07-20 | 2014-05-06 | Panasonic Corporation | Stream data reception/reproduction device and stream data reception/reproduction method |
JP3881992B2 (en) * | 2004-07-30 | 2007-02-14 | シャープ株式会社 | Reception device, reception program, and recording medium on which reception program is recorded |
JP2008005392A (en) * | 2006-06-26 | 2008-01-10 | Kddi Corp | Communication terminal device and buffer controlling method |
JP4915577B2 (en) * | 2007-05-28 | 2012-04-11 | パナソニック株式会社 | Audio transmission system |
JP2009162918A (en) * | 2007-12-28 | 2009-07-23 | Toshiba Microelectronics Corp | Decoding reproduction apparatus and method and receiver |
JP4900299B2 (en) * | 2008-01-30 | 2012-03-21 | オンキヨー株式会社 | Stream playback apparatus, streaming system, and stream playback program |
JP4600698B2 (en) * | 2008-03-21 | 2010-12-15 | オンキヨー株式会社 | Stream reproducing apparatus and program thereof |
WO2010100895A1 (en) * | 2009-03-06 | 2010-09-10 | パナソニック株式会社 | Sound reproduction device and image/sound reproduction device |
-
2001
- 2001-04-27 JP JP2001132451A patent/JP4350916B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002330180A (en) | 2002-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6625655B2 (en) | Method and apparatus for providing continuous playback or distribution of audio and audio-visual streamed multimedia reveived over networks having non-deterministic delays | |
RU2277303C2 (en) | Method for providing video data stream transfer service | |
US7228059B2 (en) | Audio reproducing apparatus and audio reproduction control method for use in the same | |
JP4350916B2 (en) | Reception device and reception reproduction method | |
WO2000067414A2 (en) | A method and apparatus for providing continuous playback of audio and audio-visual streamed multimedia having non-deterministic delays | |
EP1783619B1 (en) | Contents delivery system, client, server, contents delivery method and contents reproducing method | |
JP2003174489A (en) | Streaming distribution device and streaming distribution method | |
JP4113104B2 (en) | Additional information generation method for ensuring continuous reproduction between data strings, recording medium and recording, editing and / or reproducing apparatus for storing this information | |
JP4991671B2 (en) | Information processing apparatus and control method thereof | |
JP2002057708A (en) | Packet fluctuation absorbing method and device therefor | |
JP4376165B2 (en) | Receiver, clock adjustment method, and broadcasting system | |
JPH11202900A (en) | Voice data compressing method and voice data compression system applied with same | |
RU2766575C2 (en) | Transmitting module, transmission method, receiving module, receiving method and program | |
KR102510865B1 (en) | Signal processing device, signal processing method, and program | |
JP4623867B2 (en) | Reception device and reception reproduction method | |
JP2000165844A (en) | System and method for reproducing continuous media streams | |
JP4299475B2 (en) | Reception device and reception reproduction method | |
JP2007183410A (en) | Information reproduction apparatus and method | |
JP3986147B2 (en) | Acoustic signal processing apparatus and audio high-speed playback method | |
KR100931344B1 (en) | Method for providing video streaming service and system, server and user terminal for same | |
JP2004266724A (en) | Real time voice buffer control apparatus | |
JP4730797B2 (en) | Reception device and reception reproduction method | |
JP4299731B2 (en) | Reception device and reception reproduction method | |
JP4338083B2 (en) | Digital audio playback device | |
KR101662737B1 (en) | Method and apparatus for reproducing multimedia data based on controlling reproducing rate |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4350916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140731 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |