JP4062504B2 - 同期化方法、通信システムおよびデータ受信装置 - Google Patents
同期化方法、通信システムおよびデータ受信装置 Download PDFInfo
- Publication number
- JP4062504B2 JP4062504B2 JP2002262522A JP2002262522A JP4062504B2 JP 4062504 B2 JP4062504 B2 JP 4062504B2 JP 2002262522 A JP2002262522 A JP 2002262522A JP 2002262522 A JP2002262522 A JP 2002262522A JP 4062504 B2 JP4062504 B2 JP 4062504B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- value
- decoding
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステム、および、このシステムにおいて、符号化側と復号側を同期させる方法に関する。
【０００２】
【従来の技術】
映像データや音声データなどのデータを、符号化装置においてリアルタイムで圧縮符号化し、符号化装置に対して離れた復号化装置にリアルタイムで伝送し、復号化装置においてリアルタイムで伸長復号するシステムでは、符号化データをバッファに一時記憶させて伝送することによって、復号側でのデータの過不足を防止する。
【０００３】
しかし、送信側の符号化装置と受信側の復号化装置が全く独自に制御されていると、いずれ問題を生じる。
【０００４】
例えば、復号化装置の方が符号化装置よりデータ処理速度が速い場合には、いずれ、バッファに蓄積されたデータを全て復号し尽くしてしまって、復号するべきデータが存在しないバッファアンダーフロー状態となる。逆に、符号化装置の方が復号化装置よりデータ処理速度が速い場合には、いずれ、データがバッファに溜まり過ぎて溢れてしまい、データの損失を来たすバッファオーバーフロー状態となる。
【０００５】
そのため、データを正しく復号するためには、符号化側と復号側を同期させる必要がある。
【０００６】
ＭＰＥＧ(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)２システムでは、基準時刻情報(時刻基準参照値)として、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）ではＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を用い、ＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）ではＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を用いることによって、符号化側と復号側を同期させることができ、一時記憶用のバッファのオーバーフローやアンダーフローを生じることなくデータを正しく復号することができる。
【０００７】
具体的に、ＭＰＥＧ２システムでは、符号化時には、符号化用のクロックを計数するＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）カウンタの出力値のＳＴＣを基準にＳＣＲまたはＰＣＲを生成して、図１１上段に示すように、一定時間間隔で符号化ストリームに挿入する。
【０００８】
復号側では、このＳＣＲまたはＰＣＲを検出して、図１１下段に示すような復号側のＳＴＣ（ＳＴＣカウンタの出力値）と比較し、両者の間の誤差が一定以上になったときには、ＳＣＲまたはＰＣＲの値をＳＴＣカウンタにロードしてＳＴＣの値そのものを更正する。したがって、復号側のＳＴＣの時間間隔は、ＳＣＲまたはＰＣＲによる更正時を除いて一定である。
【０００９】
また、ＭＰＥＧ２システムでは、符号化時、復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）および再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を符号化ストリームに挿入し、復号側では、このＤＴＳおよびＰＴＳとＳＴＣとを比較することによって、データの復号および出力を管理する。
【００１０】
しかしながら、符号化ストリームの伝送路にジッタを生じる場合には、基準時刻情報であるＳＣＲまたはＰＣＲ自体にジッタを生じるため、ＳＣＲまたはＰＣＲによる上記のような同期制御を正しく行うことができない。
【００１１】
すなわち、図１２（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルによって、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、伝送路中でパケット喪失などを生じると、受信側の符号化ストリームは、ＳＣＲまたはＰＣＲの受信間隔が、同図（Ｄ）のＤ１，Ｄ２，Ｄ３で示すように、ばらばらとなって、時刻を正確に更正することができなくなる。
【００１２】
そこで、特開平１１−２１５４９４号および特開２０００−９２１３０には、伝送路にＩＥＥＥ１３９４シリアルインタフェースなどを用いて、伝送路のパケットに伝送路用のタイムスタンプ（時刻情報）を付加することによって、時刻を更正することが示されている。
【００１３】
この方法では、図１３（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、そのパケットに伝送路用のタイムスタンプが付加される。
【００１４】
したがって、受信側の受信直後の符号化ストリームが、パケット喪失などによって同図（Ｄ）に示すようなものとなったときでも、この伝送路用のタイムスタンプにより符号化ストリームの時刻を制御することによって、同図（Ｅ）のＤ０で示すようにＳＣＲまたはＰＣＲを正しい間隔とすることができ、データを正しく復号することができる。
【００１５】
しかしながら、このようにＩＥＥＥ１３９４シリアルインタフェースなどによって伝送路のパケットに伝送路用のタイムスタンプを付加する場合には、システム全体のコストが大幅に増加する。
【００１６】
そこで、特開２００２−１６５１４８には、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じてバッファのデータ蓄積量が変化する（符号化側のデータ処理速度が復号側のデータ処理速度より速いと、バッファのデータ蓄積量が増加し、逆に復号側のデータ処理速度が符号化側のデータ処理速度より速いと、バッファのデータ蓄積量が減少する）ことから、バッファのデータ蓄積量を監視して、データ蓄積量が上側の閾値より多くなったときには、復号用のクロック周波数を高くして復号側のデータ処理速度を速くし、データ蓄積量が下側の閾値より少なくなったときには、復号用のクロック周波数を低くして復号側のデータ処理速度を遅くすることが示されている。
【００１７】
【特許文献１】
特開平１１−２１５４９４号公報。
【特許文献２】
特開２０００−９２１３０公報。
【特許文献３】
特開２００２−１６５１４８公報。
【００１８】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧシステムでは、符号化のビットレートが一定のＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）と、ビットレートが可変のＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）の、いずれを用いることもでき、ＶＢＲを用いることも多い。
【００１９】
そして、ＶＢＲの場合、１秒あたりのデータ量が変化するので、バッファのデータ蓄積量は、必ずしも、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じたものにならない。
【００２０】
そのため、特開２００２−１６５１４８に示された、バッファのデータ蓄積量から符号化側のデータ処理速度と復号側のデータ処理速度との差を検出する方法では、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができず、したがって復号側を符号化側に確実に同期させることができない。
【００２１】
また、符号化ビットレートが一定であっても、例えば、符号化ストリームを無線送信する場合、送信途中でパケットの欠落やデータの化けを生じると、その分のデータがバッファに蓄積されないため、同様にバッファのデータ蓄積量からでは、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができない。
【００２２】
そこで、この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができるようにしたものである。
【００２３】
【課題を解決するための手段】
第１の発明の同期化方法は、
データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値がプラスであるときには上記復号用クロックの周波数を低くし、その積分値がマイナスであるときには上記復号用クロックの周波数を高くするものである。
【００２４】
第２の発明の同期化方法は、
データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値をデータ送信側に送信するとともに、
データ送信側において、その積分値がプラスであるときには符号化用クロックの周波数を高くし、その積分値がマイナスであるときには符号化用クロックの周波数を低くするものである。
【００２５】
上記の同期化方法では、例えば、ＭＰＥＧ２システムの場合、復号側のＳＴＣ（ＳＴＣカウンタの出力値）と、ＭＰＥＧ２−ＰＳのＳＣＲまたはＭＰＥＧ２−ＴＳのＰＣＲとの差分の時間変化が、復号側のデータ処理速度と符号化側のデータ処理速度との差として検出される。
【００２６】
この場合、伝送路にジッタを生じる場合でも、また符号化ビットレートの如何にかかわらず、復号側のＳＴＣおよび符号化ストリーム中のＳＣＲまたはＰＣＲが示す時刻は変わらないので、復号側のデータ処理速度と符号化側のデータ処理速度との差を正確に検出することができる。
【００２７】
したがって、上記のように差分の時間変化の方向に応じて復号用クロックまたは符号化用クロックの周波数を制御することによって、符号化側と復号側を同期させることができる。
【００２８】
このとき、符号化側および復号側の時刻は、絶対時刻のような正確な時刻ではなく、両者の間の誤差が一定範囲内に収まるだけであるが、映像データや音声データを伝送するシステムの時刻調整方法としては、その誤差が映像や音声の乱れを生じることなく映像や音声を視聴できる範囲内であれば、十分である。
【００２９】
さらに、上記の同期化方法では、伝送路のパケットに伝送路用のタイムスタンプを付加する方法とは異なり、システムのコストアップを来たすことがなく、ＭＰＥＧ２などの規格内の情報のみによって、符号化側と復号側を同期させることができる。
【００３０】
【発明の実施の形態】
〔システムの一実施形態の概要：図１〜図４〕
この発明の一実施形態として、テレビ放送の受信用のチューナを備えるベース装置においてテレビ放送の映像および音声のデータをリアルタイムで符号化し、ＭＰＥＧ２システムの符号化ストリームとして表示端末にリアルタイムで無線送信し、表示端末においてリアルタイムで復号するシステムに、この発明を適用した場合を示す。
【００３１】
このシステムは、同時に、ベース装置がモデムを介して電話回線に接続されるなどによって、表示端末において、ベース装置との間の無線通信によって、ベース装置を介してインターネットに接続し、電子メールを送受信することができるものである。
【００３２】
（ベース装置および表示端末の外観構成：図１および図２）
図１は、ベース装置の一例の外観構成を示し、図２は、表示端末の一例の外観構成を示す。
【００３３】
ベース装置１０は、正面部１１と後方部１２を接合して一体化した構造とされる。正面部１１は、後方側に傾いたものとされ、その上部左右位置には、表示端末５０との間の無線通信用のアンテナ１３が設けられ、中央下部には、表示端末５０をベース装置１０に立て掛けるための支持体１４が設けられ、支持体１４の内側には、一対の充電端子１５が設けられる。
【００３４】
また、後方部１２の下部背面には、後述のアンテナ端子や回線端子などの各種端子が設けられる。
【００３５】
表示端末５０の正面には、ＬＣＤ（液晶ディスプレイ）５１が設けられ、その表示画面上には、タッチパネル５２が設けられ、ＬＣＤ５１の左右には、上部にスピーカ５３が設けられ、下部にベース装置１０との間の無線通信用のアンテナ５５が設けられる。
【００３６】
表示端末５０の正面の右側部分には、スピーカ５３の下側に、インデックスボタン５４ａなどを含むキー操作部５４が設けられる。
【００３７】
インデックスボタン５４ａは、これを押すことによって、ＬＣＤ５１上に図示するようなインデックス画面を表示するものであり、ユーザは、タッチペンまたは指で、いずれかのメニューにタッチすることによって、テレビの選局、インターネットへの接続、メールの作成および送信などを行うことができる。
【００３８】
表示端末５０の底面には、一対の充電端子５６が設けられ、右側面には、図では省略したが、メモリカードが装着されるスロットが設けられる。
【００３９】
図では省略したが、表示端末５０の背面には、表示端末５０を自立させるためのＵ形のスタンドが開閉可能に取り付けられ、そのスタンドで囲まれる部分にバッテリ収納部が設けられ、これにバッテリが収納される。
【００４０】
表示端末５０は、手に持って使用し、または上記のスタンドを開いて適当な面上に適当な傾斜角で自立させて使用し、あるいはベース装置１０の正面部１１に立て掛けて使用することができる。
【００４１】
表示端末５０をベース装置１０に立て掛ける場合には、表示端末５０の充電端子５６が、ベース装置１０の充電端子１５に接触し、接続されることによって、表示端末５０に装着されたバッテリを、ベース装置１０によって充電することができる。
【００４２】
（ベース装置および表示端末の機能ブロック構成：図３および図４）
図３に、ベース装置１０の機能ブロック構成の一例を示す。制御部２０は、ＣＰＵ２１を備え、そのバス２２に、ＣＰＵ２１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ２３、およびＣＰＵ２１のワークエリアなどとして機能するＲＡＭ２４などが接続される。
【００４３】
アンテナ端子１７には、テレビ放送の受信用のアンテナ１が接続され、アンテナ１で受信されたテレビ放送信号が、チューナ２６で選局復調され、復調後の映像信号および音声信号が、Ａ/Ｄコンバータ２７でデジタル映像データおよびデジタル音声データに変換されて、バス２２に送出される。
【００４４】
回線端子１８には、電話回線２が接続され、その回線端子１８が、モデム２８を介してバス２２に接続される。また、ブロードバンド対応用に、ＡＤＳＬモデムやＣＡＴＶモデムなどの接続用のイーサネット（登録商標）端子１９が、インタフェース２９を介してバス２２に接続される。
【００４５】
一方、バス２２に、符号化処理部３１、復号化処理部３９およびクロック生成部４１が接続され、符号化処理部３１および復号化処理部３９に、無線通信部４９が接続され、無線通信部４９に、上記のアンテナ１３が接続される。
【００４６】
クロック生成部４１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部３１での符号化および復号化処理部３９での復号化のためのクロックを発生し、基準時刻情報としてのＳＣＲまたはＰＣＲ、復号の時刻管理情報であるＤＴＳ、および再生出力の時刻管理情報であるＰＴＳなどの情報を生成するものである。
【００４７】
無線通信部４９は、表示端末５０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００４８】
そして、符号化処理部３１において、Ａ/Ｄコンバータ２７からバス２２に送出された、テレビ放送の映像および音声のデータが符号化されるとともに、その符号化データに、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどが挿入されて、ＭＰＥＧ２システムの符号化ストリーム（ＭＰＥＧ２−ＰＳまたはＭＰＥＧ２−ＴＳ）が得られ、その符号化ストリームが、無線通信部４９によって表示端末５０に送信される。
【００４９】
その他の、バス２２に得られて表示端末５０に送信される、インターネット上で得られたデータやメールの受信データなどのデータも、符号化処理部３１で処理されて、無線通信部４９によって表示端末５０に送信される。
【００５０】
また、後述のように表示端末５０からベース装置１０に送信された、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、無線通信部４９で受信され、復号化処理部３９で処理されて、バス２２に取り込まれる。
【００５１】
図４に、表示端末５０の機能ブロック構成の一例を示す。制御部６０は、ＣＰＵ６１を備え、そのバス６２に、ＣＰＵ６１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ６３、およびＣＰＵ６１のワークエリアなどとして機能するＲＡＭ６４などが接続される。
【００５２】
バス６２には、表示制御部６５を介してＬＣＤ５１が接続されるとともに、Ｄ／Ａコンバータ６７および音声増幅回路６８を介してスピーカ５３が接続される。また、タッチパネル５２が、座標検出部６６を介してバス６２に接続されるとともに、図２に示したインデックスボタン５４ａなどを含むキー操作部５４が、入力インタフェース６９を介してバス６２に接続される。
【００５３】
一方、バス６２に、復号化処理部７１、符号化処理部７９およびクロック生成部８１が接続され、復号化処理部７１および符号化処理部７９に、無線通信部８９が接続され、無線通信部８９に、上記のアンテナ５５が接続される。
【００５４】
クロック生成部８１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部７９での符号化および復号化処理部７１での復号化のためのクロックを発生し、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどの情報を生成するものである。
【００５５】
無線通信部８９は、ベース装置１０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００５６】
そして、復号化処理部７１において、ベース装置１０から送信された、符号化された映像データおよび音声データが多重化された符号化ストリームから、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、それぞれ復号されて、バス６２に送出されて、ＬＣＤ５１上に映像が表示され、スピーカ５３から音声が出力される。
【００５７】
その他の、ベース装置１０から送信された、インターネット上で得られたデータやメールの受信データなどのデータも、復号化処理部７１で処理されて、バス６２に送出される。
【００５８】
また、表示端末５０からベース装置１０に送信される、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、符号化処理部７９で処理されて、無線通信部８９によってベース装置１０に送信される。
【００５９】
〔同期化方法の実施形態：図５〜図１０〕
上述した実施形態での、この発明の同期化方法を、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合につき示す。
【００６０】
図５に、ベース装置１０の符号化処理部３１およびクロック生成部４１の例を示す。ただし、クロック生成部４１は、符号化処理部３１用の部分のみを示したものである。
【００６１】
クロック生成部４１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路４２、そのクロックを計数するＳＴＣカウンタ４３、および、ＳＴＣカウンタ４３の出力値のＳＴＣを元にＳＣＲ，ＤＴＳおよびＰＴＳを生成する時刻情報生成回路４４を備えるものとして構成される。
【００６２】
そして、符号化処理部３１では、映像エンコーダ３３および音声エンコーダ３４で、入力の映像データおよび音声データが、それぞれクロック発生回路４２からのクロックによって符号化され、マルチプレクサ３５で、それぞれの符号化データが多重化されるとともに、符号化データにＳＣＲ，ＤＴＳおよびＰＴＳが挿入され、その多重化後の符号化ストリームが、送信バッファ３６を通じて無線通信部４９に送出され、表示端末５０に送信される。
【００６３】
図６に、表示端末５０の復号化処理部７１およびクロック生成部８１の例を示す。ただし、クロック生成部８１は、復号化処理部７１用の部分のみを示したものである。
【００６４】
クロック生成部８１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路８２、そのクロックを計数するＳＴＣカウンタ８３、および、制御部６０からの後述の同期化のためのデジタル制御データＤｃをアナログ制御電圧Ｖｃに変換してクロック発生回路８２に供給するＤ／Ａコンバータ８５を備えるものとして構成される。
【００６５】
クロック発生回路８２は、ＶＣＸＯ（電圧制御水晶発振器）によって構成され、制御電圧Ｖｃによって出力クロック周波数が２７ＭＨｚを中心に後述のような範囲内で変えられる。
【００６６】
そして、復号化処理部７１では、時刻情報検出回路７２で、ベース装置１０から送信された符号化ストリーム（この例ではＭＰＥＧ２−ＰＳ）から、ＳＣＲ，ＤＴＳおよびＰＴＳが検出され、抽出される。
【００６７】
その抽出されたＳＣＲは、ＳＴＣカウンタ８３の出力値のＳＴＣとともに、制御部６０に取り込まれ、後述のように同期制御のために用いられる。また、抽出されたＤＴＳおよびＰＴＳも、制御部６０に取り込まれ、復号および再生出力の時刻管理に供される。
【００６８】
さらに、復号化処理部７１では、時刻情報検出回路７２を通じた符号化ストリームが、デマルチプレクサ７３に供給されて、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、受信バッファ７４および７５を通じて映像デコーダ７６および音声デコーダ７７に供給されて、映像デコーダ７６および音声デコーダ７７で、それぞれクロック発生回路８２からのクロックによって復号される。
【００６９】
制御部６０は、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分の時間変化から、復号側のデータ処理速度の、符号化側のデータ処理速度に対する相対的な速さを検出する。
【００７０】
図７は、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より高い場合）で、制御部６０は、一定時間間隔Ｔｄの時点ｔ１，ｔ２‥‥で、ＳＴＣおよびＳＣＲを取り込み、両者の差分ｄの変化分Δｄを検出する。
【００７１】
時点ｔ１での差分をｄ１、時点ｔ２での差分をｄ２とすると、時点ｔ２での差分の変化分は、（ｄ２−ｄ１）であり、図７は、差分ｄが時間の経過に伴ってプラス方向に変化し、変化分Δｄがプラスになる場合である。
【００７２】
図８（Ａ）（Ｂ）は、この差分ｄの変化の様子、および後述するクロック周波数の制御の様子を示したものである。
【００７３】
図８（Ａ）に示すように、符号化ストリーム中のＳＣＲは一定時間間隔（ＭＰＥＧ２−ＰＳのＳＣＲの再送周期は４００ｍ秒以内と定められているので、４００ｍ秒以下の一定時間間隔）Ｔｃで挿入され、その値（時刻）は一定時間ずつ変化する。
【００７４】
これに対して、図７のように復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、図８（Ａ）の時点ｔａ以前で示すように、復号側のＳＴＣが同じ一定時間ずつ変化するときの時間間隔Ｔａが、ＳＣＲのそれＴｃより短くなり、図８（Ｂ）の時点ｔａ以前の期間Ｐａで示すように、ＳＴＣおよびＳＣＲの取り込み時点でのＳＴＣとＳＣＲとの差分が、時間の経過に伴ってプラス方向に変化する。
【００７５】
この場合、図７に示したＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄは、図８（Ａ）に示したＳＣＲの再送周期Ｔｃより長ければ、これと無関係に設定することができる。具体的には、取り込み時間間隔Ｔｄを再送周期Ｔｃの整数倍とすればよい。
【００７６】
図７とは逆に、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より低い場合）には、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００７７】
そして、このようなＳＴＣとＳＣＲとの差分ｄの変化分Δｄを、ＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄより十分長い時間に渡って積算（平均化）し、その積算値（平均値）の正負を判別して、積算値がプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を低くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を低くする。
【００７８】
逆に、積算値がマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を高くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を高くする。
【００７９】
したがって、図８（Ａ）（Ｂ）の場合、時点ｔａにおいて、差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断されることによって、復号側のクロック周波数が下げられる。
【００８０】
その結果、時点ｔａ以後の期間Ｐｂでは、図７とは逆に、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００８１】
そして、時点ｔｂにおいて、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断されることによって、復号側のクロック周波数が上げられる。
【００８２】
このように、一定時間間隔で、差分ｄの変化分Δｄの積算値の正負から、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かが判断され、その判断結果に応じて、復号側が符号化側に同期するように復号側のクロック周波数が制御される。
【００８３】
この場合、符号化側と復号側のデータ処理速度の差がゼロにならなくても、問題はない。符号化側と復号側との間でデータ処理速度が異なるまま処理を継続すると、いずれ、図６の受信バッファ７４および７５がオーバーフロー状態またはアンダーフロー状態となって破綻を来たすが、上述したようにタイミングを見計らって復号側のデータ処理速度を変化させることによって、受信バッファ７４および７５の破綻を未然に防止することができる。
【００８４】
復号側のクロック周波数、すなわちクロック発生回路８２の出力クロック周波数は、２７ＭＨｚを中心に、例えば、２６．９９９７ＭＨｚ〜２７．０００３ＭＨｚ程度の範囲で制御する。この程度の範囲であれば、映像および音声への影響は非常に少なく、クロック周波数の変化を視覚的または聴覚的に感知することはできない。
【００８５】
ＳＴＣとＳＣＲとの差分ｄの変化分Δｄを積算する時間、ないし、その時間内でのＳＴＣおよびＳＣＲのサンプリング数は、システムの条件に合わせて適宜設定することができ、例えば、時間としては１〜２秒、サンプリング数としては１０前後とする。
【００８６】
また、このようにＳＴＣとＳＣＲとの差分ｄの変化分Δｄを一定時間内で積算（平均化）して、差分ｄの時間変化の傾向を判断し、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを判断するので、例えば、図７の時点ｔ６では、差分ｄとしてｄ６が算出されるべきところ、ジッタのために時点ｔ６ではＳＣＲが検出されず、時点ｔ６より時間Ｔｃだけ前の時点に検出されて制御部６０に保持されたＳＣＲが時点ｔ６のＳＣＲとされて、時点ｔ６の差分ｄとして、ｄ６に対してエラーを含むｄ６’が算出された場合でも、変化分Δｄの一定時間内の積算値（平均値）は、差分ｄの時間変化の傾向を正しく示すものとなる。
【００８７】
図９は、上述した実施形態で表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの一例を示し、１タスク処理の場合である。
【００８８】
この例のクロック周波数制御処理ルーチン９０では、まずステップ９１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにする。
【００８９】
次に、ステップ９３に進んで、ＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ９４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ９５に進む。
【００９０】
ステップ９５では、ｎが最大値Ｎに達したか否かを判断する。最大値Ｎは、上述したように１０前後に設定される。
【００９１】
そして、ｎが最大値Ｎに達していないときには、ステップ９５からステップ９２に進んで、一定時間待った上で、ステップ９３に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９２】
ｎが最大値Ｎに達したときには、ステップ９５からステップ９６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ９６からステップ９７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ９６からステップ９８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【００９３】
ステップ９７でクロック周波数を下げ、またはステップ９８でクロック周波数を上げたら、ステップ９９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにし、さらにステップ１００に進んで、一定時間待った上で、ステップ９３に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９４】
ステップ９２および１００での待ち時間は、ステップ９３〜９５および９２のループ処理時間とステップ９３〜９６、９７または９８、９９および１００のループ処理時間とが等しくなるように設定することが望ましい。実際上、後者のループ処理時間の方が前者のループ処理時間より長くなるので、ステップ９２での待ち時間をステップ１００での待ち時間より長くする。
【００９５】
図１０は、表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの他の例を示し、２タスク処理の場合である。
【００９６】
この例のクロック周波数制御処理ルーチン１１０では、メイン処理タスク１２０において、まずステップ１２１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにした上で、ステップ１２２に進んで、他タスク、すなわちサブ処理タスク１３０からのデータを待つ。
【００９７】
サブ処理タスク１３０では、まずステップ１３１で、ＳＴＣおよびＳＣＲを取得し、次にステップ１３２に進んで、タスク間通信によって、他タスク、すなわちメイン処理タスク１２０にデータを送信し、次にステップ１３３に進んで、一定時間待った上で、ステップ１３１に戻って、ＳＴＣおよびＳＣＲの取得、および他タスクへの送信を繰り返す。
【００９８】
メイン処理タスク１２０では、ステップ１２２からステップ１２３に進んで、タスク間通信によりサブ処理タスク１３０から取得したデータによってＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ１２４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ１２５に進む。
【００９９】
ステップ１２５では、ｎが最大値Ｎに達したか否かを判断し、ｎが最大値Ｎに達していないときには、ステップ１２５からステップ１２２に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１００】
ｎが最大値Ｎに達したときには、ステップ１２５からステップ１２６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ１２６からステップ１２７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ１２６からステップ１２８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【０１０１】
ステップ１２７でクロック周波数を下げ、またはステップ１２８でクロック周波数を上げたら、ステップ１２９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにした上で、ステップ１２２に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１０２】
この例では、ＳＴＣおよびＳＣＲの取得を別タスクとすることによって、一定時間ごとの精度を上げることができる。
【０１０３】
〔他の例または実施形態〕
上述した実施形態は、復号側のクロック周波数を制御する場合であるが、上述したように復号側において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を符号化側に送って、符号化側のクロック周波数を制御するようにシステムを構成してもよい。
【０１０４】
具体的に、図５および図６の実施形態では、上述したように表示端末５０の制御部６０において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を表示端末５０とベース装置１０との間の無線通信によってベース装置１０に送信し、その検出結果に応じてベース装置１０の制御部２０が、クロック発生回路４２の出力クロック周波数を制御する構成とする。
【０１０５】
この場合、符号化側のクロック周波数を制御するので、上述した例とは逆に、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、クロック発生回路４２の出力クロック周波数を高くし、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合には、クロック発生回路４２の出力クロック周波数を低くする。
【０１０６】
また、上述した例は、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合であるが、符号化ストリームがＭＰＥＧ２−ＴＳ、基準時刻情報がＰＣＲである場合でも、全く同様である。
【０１０７】
また、上述した例は、ベース装置１０および表示端末５０からなるシステムにおいて、ベース装置１０の符号化処理部３１および表示端末５０の復号化処理部７１によって、ベース装置１０を符号化側とし、表示端末５０を復号側として、ベース装置１０から表示端末５０に符号化ストリームを送信する場合であるが、表示端末５０の符号化処理部７９およびベース装置１０の復号化処理部３９によって、表示端末５０を符号化側とし、ベース装置１０を復号側として、表示端末５０からベース装置１０に符号化ストリームを送信する場合についても、同様の方法によって符号化側と復号側を同期させることができる。
【０１０８】
さらに、上述した実施形態は、ベース装置１０から表示端末５０に、テレビの映像および音声のデータを送信できると同時に、表示端末５０において、インターネットに接続し、電子メールを送受信できる場合であるが、この発明は、例えば、ベース装置から表示端末に、テレビの映像および音声のデータを送信して、表示端末において、液晶ディスプレイやプラズマディスプレイなどのディスプレイ上に映像を表示し、スピーカから音声を出力する、単なるテレビシステムにも適用することができ、一般に、映像データや音声データなどのデータを、リアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムに適用することができる。
【０１０９】
【発明の効果】
上述したように、この発明によれば、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができる。
【図面の簡単な説明】
【図１】実施形態のシステムを構成するベース装置の外観構成を示す図である。
【図２】実施形態のシステムを構成する表示端末の外観構成を示す図である。
【図３】ベース装置の機能ブロック構成の一例を示す図である。
【図４】表示端末の機能ブロック構成の一例を示す図である。
【図５】ベース装置の符号化処理部およびクロック生成部の一例を示す図である。
【図６】表示端末の復号化処理部およびクロック生成部の一例を示す図である。
【図７】この発明の同期化方法の説明に供する図である。
【図８】この発明の同期化方法の説明に供する図である。
【図９】復号側の制御部が実行するクロック周波数制御処理ルーチンの一例を示す図である。
【図１０】復号側の制御部が実行するクロック周波数制御処理ルーチンの他の例を示す図である。
【図１１】ＭＰＥＧ２システムにおける同期化方法の説明に供する図である。
【図１２】伝送路にジッタを生じる場合の説明に供する図である。
【図１３】伝送路用のタイムスタンプを用いる場合の説明に供する図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
【発明の属する技術分野】
この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステム、および、このシステムにおいて、符号化側と復号側を同期させる方法に関する。
【０００２】
【従来の技術】
映像データや音声データなどのデータを、符号化装置においてリアルタイムで圧縮符号化し、符号化装置に対して離れた復号化装置にリアルタイムで伝送し、復号化装置においてリアルタイムで伸長復号するシステムでは、符号化データをバッファに一時記憶させて伝送することによって、復号側でのデータの過不足を防止する。
【０００３】
しかし、送信側の符号化装置と受信側の復号化装置が全く独自に制御されていると、いずれ問題を生じる。
【０００４】
例えば、復号化装置の方が符号化装置よりデータ処理速度が速い場合には、いずれ、バッファに蓄積されたデータを全て復号し尽くしてしまって、復号するべきデータが存在しないバッファアンダーフロー状態となる。逆に、符号化装置の方が復号化装置よりデータ処理速度が速い場合には、いずれ、データがバッファに溜まり過ぎて溢れてしまい、データの損失を来たすバッファオーバーフロー状態となる。
【０００５】
そのため、データを正しく復号するためには、符号化側と復号側を同期させる必要がある。
【０００６】
ＭＰＥＧ(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)２システムでは、基準時刻情報(時刻基準参照値)として、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）ではＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を用い、ＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）ではＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を用いることによって、符号化側と復号側を同期させることができ、一時記憶用のバッファのオーバーフローやアンダーフローを生じることなくデータを正しく復号することができる。
【０００７】
具体的に、ＭＰＥＧ２システムでは、符号化時には、符号化用のクロックを計数するＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）カウンタの出力値のＳＴＣを基準にＳＣＲまたはＰＣＲを生成して、図１１上段に示すように、一定時間間隔で符号化ストリームに挿入する。
【０００８】
復号側では、このＳＣＲまたはＰＣＲを検出して、図１１下段に示すような復号側のＳＴＣ（ＳＴＣカウンタの出力値）と比較し、両者の間の誤差が一定以上になったときには、ＳＣＲまたはＰＣＲの値をＳＴＣカウンタにロードしてＳＴＣの値そのものを更正する。したがって、復号側のＳＴＣの時間間隔は、ＳＣＲまたはＰＣＲによる更正時を除いて一定である。
【０００９】
また、ＭＰＥＧ２システムでは、符号化時、復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）および再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を符号化ストリームに挿入し、復号側では、このＤＴＳおよびＰＴＳとＳＴＣとを比較することによって、データの復号および出力を管理する。
【００１０】
しかしながら、符号化ストリームの伝送路にジッタを生じる場合には、基準時刻情報であるＳＣＲまたはＰＣＲ自体にジッタを生じるため、ＳＣＲまたはＰＣＲによる上記のような同期制御を正しく行うことができない。
【００１１】
すなわち、図１２（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルによって、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、伝送路中でパケット喪失などを生じると、受信側の符号化ストリームは、ＳＣＲまたはＰＣＲの受信間隔が、同図（Ｄ）のＤ１，Ｄ２，Ｄ３で示すように、ばらばらとなって、時刻を正確に更正することができなくなる。
【００１２】
そこで、特開平１１−２１５４９４号および特開２０００−９２１３０には、伝送路にＩＥＥＥ１３９４シリアルインタフェースなどを用いて、伝送路のパケットに伝送路用のタイムスタンプ（時刻情報）を付加することによって、時刻を更正することが示されている。
【００１３】
この方法では、図１３（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、そのパケットに伝送路用のタイムスタンプが付加される。
【００１４】
したがって、受信側の受信直後の符号化ストリームが、パケット喪失などによって同図（Ｄ）に示すようなものとなったときでも、この伝送路用のタイムスタンプにより符号化ストリームの時刻を制御することによって、同図（Ｅ）のＤ０で示すようにＳＣＲまたはＰＣＲを正しい間隔とすることができ、データを正しく復号することができる。
【００１５】
しかしながら、このようにＩＥＥＥ１３９４シリアルインタフェースなどによって伝送路のパケットに伝送路用のタイムスタンプを付加する場合には、システム全体のコストが大幅に増加する。
【００１６】
そこで、特開２００２−１６５１４８には、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じてバッファのデータ蓄積量が変化する（符号化側のデータ処理速度が復号側のデータ処理速度より速いと、バッファのデータ蓄積量が増加し、逆に復号側のデータ処理速度が符号化側のデータ処理速度より速いと、バッファのデータ蓄積量が減少する）ことから、バッファのデータ蓄積量を監視して、データ蓄積量が上側の閾値より多くなったときには、復号用のクロック周波数を高くして復号側のデータ処理速度を速くし、データ蓄積量が下側の閾値より少なくなったときには、復号用のクロック周波数を低くして復号側のデータ処理速度を遅くすることが示されている。
【００１７】
【特許文献１】
特開平１１−２１５４９４号公報。
【特許文献２】
特開２０００−９２１３０公報。
【特許文献３】
特開２００２−１６５１４８公報。
【００１８】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧシステムでは、符号化のビットレートが一定のＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）と、ビットレートが可変のＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）の、いずれを用いることもでき、ＶＢＲを用いることも多い。
【００１９】
そして、ＶＢＲの場合、１秒あたりのデータ量が変化するので、バッファのデータ蓄積量は、必ずしも、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じたものにならない。
【００２０】
そのため、特開２００２−１６５１４８に示された、バッファのデータ蓄積量から符号化側のデータ処理速度と復号側のデータ処理速度との差を検出する方法では、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができず、したがって復号側を符号化側に確実に同期させることができない。
【００２１】
また、符号化ビットレートが一定であっても、例えば、符号化ストリームを無線送信する場合、送信途中でパケットの欠落やデータの化けを生じると、その分のデータがバッファに蓄積されないため、同様にバッファのデータ蓄積量からでは、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができない。
【００２２】
そこで、この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができるようにしたものである。
【００２３】
【課題を解決するための手段】
第１の発明の同期化方法は、
データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値がプラスであるときには上記復号用クロックの周波数を低くし、その積分値がマイナスであるときには上記復号用クロックの周波数を高くするものである。
【００２４】
第２の発明の同期化方法は、
データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値をデータ送信側に送信するとともに、
データ送信側において、その積分値がプラスであるときには符号化用クロックの周波数を高くし、その積分値がマイナスであるときには符号化用クロックの周波数を低くするものである。
【００２５】
上記の同期化方法では、例えば、ＭＰＥＧ２システムの場合、復号側のＳＴＣ（ＳＴＣカウンタの出力値）と、ＭＰＥＧ２−ＰＳのＳＣＲまたはＭＰＥＧ２−ＴＳのＰＣＲとの差分の時間変化が、復号側のデータ処理速度と符号化側のデータ処理速度との差として検出される。
【００２６】
この場合、伝送路にジッタを生じる場合でも、また符号化ビットレートの如何にかかわらず、復号側のＳＴＣおよび符号化ストリーム中のＳＣＲまたはＰＣＲが示す時刻は変わらないので、復号側のデータ処理速度と符号化側のデータ処理速度との差を正確に検出することができる。
【００２７】
したがって、上記のように差分の時間変化の方向に応じて復号用クロックまたは符号化用クロックの周波数を制御することによって、符号化側と復号側を同期させることができる。
【００２８】
このとき、符号化側および復号側の時刻は、絶対時刻のような正確な時刻ではなく、両者の間の誤差が一定範囲内に収まるだけであるが、映像データや音声データを伝送するシステムの時刻調整方法としては、その誤差が映像や音声の乱れを生じることなく映像や音声を視聴できる範囲内であれば、十分である。
【００２９】
さらに、上記の同期化方法では、伝送路のパケットに伝送路用のタイムスタンプを付加する方法とは異なり、システムのコストアップを来たすことがなく、ＭＰＥＧ２などの規格内の情報のみによって、符号化側と復号側を同期させることができる。
【００３０】
【発明の実施の形態】
〔システムの一実施形態の概要：図１〜図４〕
この発明の一実施形態として、テレビ放送の受信用のチューナを備えるベース装置においてテレビ放送の映像および音声のデータをリアルタイムで符号化し、ＭＰＥＧ２システムの符号化ストリームとして表示端末にリアルタイムで無線送信し、表示端末においてリアルタイムで復号するシステムに、この発明を適用した場合を示す。
【００３１】
このシステムは、同時に、ベース装置がモデムを介して電話回線に接続されるなどによって、表示端末において、ベース装置との間の無線通信によって、ベース装置を介してインターネットに接続し、電子メールを送受信することができるものである。
【００３２】
（ベース装置および表示端末の外観構成：図１および図２）
図１は、ベース装置の一例の外観構成を示し、図２は、表示端末の一例の外観構成を示す。
【００３３】
ベース装置１０は、正面部１１と後方部１２を接合して一体化した構造とされる。正面部１１は、後方側に傾いたものとされ、その上部左右位置には、表示端末５０との間の無線通信用のアンテナ１３が設けられ、中央下部には、表示端末５０をベース装置１０に立て掛けるための支持体１４が設けられ、支持体１４の内側には、一対の充電端子１５が設けられる。
【００３４】
また、後方部１２の下部背面には、後述のアンテナ端子や回線端子などの各種端子が設けられる。
【００３５】
表示端末５０の正面には、ＬＣＤ（液晶ディスプレイ）５１が設けられ、その表示画面上には、タッチパネル５２が設けられ、ＬＣＤ５１の左右には、上部にスピーカ５３が設けられ、下部にベース装置１０との間の無線通信用のアンテナ５５が設けられる。
【００３６】
表示端末５０の正面の右側部分には、スピーカ５３の下側に、インデックスボタン５４ａなどを含むキー操作部５４が設けられる。
【００３７】
インデックスボタン５４ａは、これを押すことによって、ＬＣＤ５１上に図示するようなインデックス画面を表示するものであり、ユーザは、タッチペンまたは指で、いずれかのメニューにタッチすることによって、テレビの選局、インターネットへの接続、メールの作成および送信などを行うことができる。
【００３８】
表示端末５０の底面には、一対の充電端子５６が設けられ、右側面には、図では省略したが、メモリカードが装着されるスロットが設けられる。
【００３９】
図では省略したが、表示端末５０の背面には、表示端末５０を自立させるためのＵ形のスタンドが開閉可能に取り付けられ、そのスタンドで囲まれる部分にバッテリ収納部が設けられ、これにバッテリが収納される。
【００４０】
表示端末５０は、手に持って使用し、または上記のスタンドを開いて適当な面上に適当な傾斜角で自立させて使用し、あるいはベース装置１０の正面部１１に立て掛けて使用することができる。
【００４１】
表示端末５０をベース装置１０に立て掛ける場合には、表示端末５０の充電端子５６が、ベース装置１０の充電端子１５に接触し、接続されることによって、表示端末５０に装着されたバッテリを、ベース装置１０によって充電することができる。
【００４２】
（ベース装置および表示端末の機能ブロック構成：図３および図４）
図３に、ベース装置１０の機能ブロック構成の一例を示す。制御部２０は、ＣＰＵ２１を備え、そのバス２２に、ＣＰＵ２１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ２３、およびＣＰＵ２１のワークエリアなどとして機能するＲＡＭ２４などが接続される。
【００４３】
アンテナ端子１７には、テレビ放送の受信用のアンテナ１が接続され、アンテナ１で受信されたテレビ放送信号が、チューナ２６で選局復調され、復調後の映像信号および音声信号が、Ａ/Ｄコンバータ２７でデジタル映像データおよびデジタル音声データに変換されて、バス２２に送出される。
【００４４】
回線端子１８には、電話回線２が接続され、その回線端子１８が、モデム２８を介してバス２２に接続される。また、ブロードバンド対応用に、ＡＤＳＬモデムやＣＡＴＶモデムなどの接続用のイーサネット（登録商標）端子１９が、インタフェース２９を介してバス２２に接続される。
【００４５】
一方、バス２２に、符号化処理部３１、復号化処理部３９およびクロック生成部４１が接続され、符号化処理部３１および復号化処理部３９に、無線通信部４９が接続され、無線通信部４９に、上記のアンテナ１３が接続される。
【００４６】
クロック生成部４１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部３１での符号化および復号化処理部３９での復号化のためのクロックを発生し、基準時刻情報としてのＳＣＲまたはＰＣＲ、復号の時刻管理情報であるＤＴＳ、および再生出力の時刻管理情報であるＰＴＳなどの情報を生成するものである。
【００４７】
無線通信部４９は、表示端末５０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００４８】
そして、符号化処理部３１において、Ａ/Ｄコンバータ２７からバス２２に送出された、テレビ放送の映像および音声のデータが符号化されるとともに、その符号化データに、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどが挿入されて、ＭＰＥＧ２システムの符号化ストリーム（ＭＰＥＧ２−ＰＳまたはＭＰＥＧ２−ＴＳ）が得られ、その符号化ストリームが、無線通信部４９によって表示端末５０に送信される。
【００４９】
その他の、バス２２に得られて表示端末５０に送信される、インターネット上で得られたデータやメールの受信データなどのデータも、符号化処理部３１で処理されて、無線通信部４９によって表示端末５０に送信される。
【００５０】
また、後述のように表示端末５０からベース装置１０に送信された、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、無線通信部４９で受信され、復号化処理部３９で処理されて、バス２２に取り込まれる。
【００５１】
図４に、表示端末５０の機能ブロック構成の一例を示す。制御部６０は、ＣＰＵ６１を備え、そのバス６２に、ＣＰＵ６１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ６３、およびＣＰＵ６１のワークエリアなどとして機能するＲＡＭ６４などが接続される。
【００５２】
バス６２には、表示制御部６５を介してＬＣＤ５１が接続されるとともに、Ｄ／Ａコンバータ６７および音声増幅回路６８を介してスピーカ５３が接続される。また、タッチパネル５２が、座標検出部６６を介してバス６２に接続されるとともに、図２に示したインデックスボタン５４ａなどを含むキー操作部５４が、入力インタフェース６９を介してバス６２に接続される。
【００５３】
一方、バス６２に、復号化処理部７１、符号化処理部７９およびクロック生成部８１が接続され、復号化処理部７１および符号化処理部７９に、無線通信部８９が接続され、無線通信部８９に、上記のアンテナ５５が接続される。
【００５４】
クロック生成部８１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部７９での符号化および復号化処理部７１での復号化のためのクロックを発生し、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどの情報を生成するものである。
【００５５】
無線通信部８９は、ベース装置１０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００５６】
そして、復号化処理部７１において、ベース装置１０から送信された、符号化された映像データおよび音声データが多重化された符号化ストリームから、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、それぞれ復号されて、バス６２に送出されて、ＬＣＤ５１上に映像が表示され、スピーカ５３から音声が出力される。
【００５７】
その他の、ベース装置１０から送信された、インターネット上で得られたデータやメールの受信データなどのデータも、復号化処理部７１で処理されて、バス６２に送出される。
【００５８】
また、表示端末５０からベース装置１０に送信される、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、符号化処理部７９で処理されて、無線通信部８９によってベース装置１０に送信される。
【００５９】
〔同期化方法の実施形態：図５〜図１０〕
上述した実施形態での、この発明の同期化方法を、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合につき示す。
【００６０】
図５に、ベース装置１０の符号化処理部３１およびクロック生成部４１の例を示す。ただし、クロック生成部４１は、符号化処理部３１用の部分のみを示したものである。
【００６１】
クロック生成部４１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路４２、そのクロックを計数するＳＴＣカウンタ４３、および、ＳＴＣカウンタ４３の出力値のＳＴＣを元にＳＣＲ，ＤＴＳおよびＰＴＳを生成する時刻情報生成回路４４を備えるものとして構成される。
【００６２】
そして、符号化処理部３１では、映像エンコーダ３３および音声エンコーダ３４で、入力の映像データおよび音声データが、それぞれクロック発生回路４２からのクロックによって符号化され、マルチプレクサ３５で、それぞれの符号化データが多重化されるとともに、符号化データにＳＣＲ，ＤＴＳおよびＰＴＳが挿入され、その多重化後の符号化ストリームが、送信バッファ３６を通じて無線通信部４９に送出され、表示端末５０に送信される。
【００６３】
図６に、表示端末５０の復号化処理部７１およびクロック生成部８１の例を示す。ただし、クロック生成部８１は、復号化処理部７１用の部分のみを示したものである。
【００６４】
クロック生成部８１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路８２、そのクロックを計数するＳＴＣカウンタ８３、および、制御部６０からの後述の同期化のためのデジタル制御データＤｃをアナログ制御電圧Ｖｃに変換してクロック発生回路８２に供給するＤ／Ａコンバータ８５を備えるものとして構成される。
【００６５】
クロック発生回路８２は、ＶＣＸＯ（電圧制御水晶発振器）によって構成され、制御電圧Ｖｃによって出力クロック周波数が２７ＭＨｚを中心に後述のような範囲内で変えられる。
【００６６】
そして、復号化処理部７１では、時刻情報検出回路７２で、ベース装置１０から送信された符号化ストリーム（この例ではＭＰＥＧ２−ＰＳ）から、ＳＣＲ，ＤＴＳおよびＰＴＳが検出され、抽出される。
【００６７】
その抽出されたＳＣＲは、ＳＴＣカウンタ８３の出力値のＳＴＣとともに、制御部６０に取り込まれ、後述のように同期制御のために用いられる。また、抽出されたＤＴＳおよびＰＴＳも、制御部６０に取り込まれ、復号および再生出力の時刻管理に供される。
【００６８】
さらに、復号化処理部７１では、時刻情報検出回路７２を通じた符号化ストリームが、デマルチプレクサ７３に供給されて、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、受信バッファ７４および７５を通じて映像デコーダ７６および音声デコーダ７７に供給されて、映像デコーダ７６および音声デコーダ７７で、それぞれクロック発生回路８２からのクロックによって復号される。
【００６９】
制御部６０は、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分の時間変化から、復号側のデータ処理速度の、符号化側のデータ処理速度に対する相対的な速さを検出する。
【００７０】
図７は、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より高い場合）で、制御部６０は、一定時間間隔Ｔｄの時点ｔ１，ｔ２‥‥で、ＳＴＣおよびＳＣＲを取り込み、両者の差分ｄの変化分Δｄを検出する。
【００７１】
時点ｔ１での差分をｄ１、時点ｔ２での差分をｄ２とすると、時点ｔ２での差分の変化分は、（ｄ２−ｄ１）であり、図７は、差分ｄが時間の経過に伴ってプラス方向に変化し、変化分Δｄがプラスになる場合である。
【００７２】
図８（Ａ）（Ｂ）は、この差分ｄの変化の様子、および後述するクロック周波数の制御の様子を示したものである。
【００７３】
図８（Ａ）に示すように、符号化ストリーム中のＳＣＲは一定時間間隔（ＭＰＥＧ２−ＰＳのＳＣＲの再送周期は４００ｍ秒以内と定められているので、４００ｍ秒以下の一定時間間隔）Ｔｃで挿入され、その値（時刻）は一定時間ずつ変化する。
【００７４】
これに対して、図７のように復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、図８（Ａ）の時点ｔａ以前で示すように、復号側のＳＴＣが同じ一定時間ずつ変化するときの時間間隔Ｔａが、ＳＣＲのそれＴｃより短くなり、図８（Ｂ）の時点ｔａ以前の期間Ｐａで示すように、ＳＴＣおよびＳＣＲの取り込み時点でのＳＴＣとＳＣＲとの差分が、時間の経過に伴ってプラス方向に変化する。
【００７５】
この場合、図７に示したＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄは、図８（Ａ）に示したＳＣＲの再送周期Ｔｃより長ければ、これと無関係に設定することができる。具体的には、取り込み時間間隔Ｔｄを再送周期Ｔｃの整数倍とすればよい。
【００７６】
図７とは逆に、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より低い場合）には、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００７７】
そして、このようなＳＴＣとＳＣＲとの差分ｄの変化分Δｄを、ＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄより十分長い時間に渡って積算（平均化）し、その積算値（平均値）の正負を判別して、積算値がプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を低くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を低くする。
【００７８】
逆に、積算値がマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を高くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を高くする。
【００７９】
したがって、図８（Ａ）（Ｂ）の場合、時点ｔａにおいて、差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断されることによって、復号側のクロック周波数が下げられる。
【００８０】
その結果、時点ｔａ以後の期間Ｐｂでは、図７とは逆に、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００８１】
そして、時点ｔｂにおいて、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断されることによって、復号側のクロック周波数が上げられる。
【００８２】
このように、一定時間間隔で、差分ｄの変化分Δｄの積算値の正負から、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かが判断され、その判断結果に応じて、復号側が符号化側に同期するように復号側のクロック周波数が制御される。
【００８３】
この場合、符号化側と復号側のデータ処理速度の差がゼロにならなくても、問題はない。符号化側と復号側との間でデータ処理速度が異なるまま処理を継続すると、いずれ、図６の受信バッファ７４および７５がオーバーフロー状態またはアンダーフロー状態となって破綻を来たすが、上述したようにタイミングを見計らって復号側のデータ処理速度を変化させることによって、受信バッファ７４および７５の破綻を未然に防止することができる。
【００８４】
復号側のクロック周波数、すなわちクロック発生回路８２の出力クロック周波数は、２７ＭＨｚを中心に、例えば、２６．９９９７ＭＨｚ〜２７．０００３ＭＨｚ程度の範囲で制御する。この程度の範囲であれば、映像および音声への影響は非常に少なく、クロック周波数の変化を視覚的または聴覚的に感知することはできない。
【００８５】
ＳＴＣとＳＣＲとの差分ｄの変化分Δｄを積算する時間、ないし、その時間内でのＳＴＣおよびＳＣＲのサンプリング数は、システムの条件に合わせて適宜設定することができ、例えば、時間としては１〜２秒、サンプリング数としては１０前後とする。
【００８６】
また、このようにＳＴＣとＳＣＲとの差分ｄの変化分Δｄを一定時間内で積算（平均化）して、差分ｄの時間変化の傾向を判断し、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを判断するので、例えば、図７の時点ｔ６では、差分ｄとしてｄ６が算出されるべきところ、ジッタのために時点ｔ６ではＳＣＲが検出されず、時点ｔ６より時間Ｔｃだけ前の時点に検出されて制御部６０に保持されたＳＣＲが時点ｔ６のＳＣＲとされて、時点ｔ６の差分ｄとして、ｄ６に対してエラーを含むｄ６’が算出された場合でも、変化分Δｄの一定時間内の積算値（平均値）は、差分ｄの時間変化の傾向を正しく示すものとなる。
【００８７】
図９は、上述した実施形態で表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの一例を示し、１タスク処理の場合である。
【００８８】
この例のクロック周波数制御処理ルーチン９０では、まずステップ９１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにする。
【００８９】
次に、ステップ９３に進んで、ＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ９４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ９５に進む。
【００９０】
ステップ９５では、ｎが最大値Ｎに達したか否かを判断する。最大値Ｎは、上述したように１０前後に設定される。
【００９１】
そして、ｎが最大値Ｎに達していないときには、ステップ９５からステップ９２に進んで、一定時間待った上で、ステップ９３に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９２】
ｎが最大値Ｎに達したときには、ステップ９５からステップ９６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ９６からステップ９７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ９６からステップ９８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【００９３】
ステップ９７でクロック周波数を下げ、またはステップ９８でクロック周波数を上げたら、ステップ９９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにし、さらにステップ１００に進んで、一定時間待った上で、ステップ９３に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９４】
ステップ９２および１００での待ち時間は、ステップ９３〜９５および９２のループ処理時間とステップ９３〜９６、９７または９８、９９および１００のループ処理時間とが等しくなるように設定することが望ましい。実際上、後者のループ処理時間の方が前者のループ処理時間より長くなるので、ステップ９２での待ち時間をステップ１００での待ち時間より長くする。
【００９５】
図１０は、表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの他の例を示し、２タスク処理の場合である。
【００９６】
この例のクロック周波数制御処理ルーチン１１０では、メイン処理タスク１２０において、まずステップ１２１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにした上で、ステップ１２２に進んで、他タスク、すなわちサブ処理タスク１３０からのデータを待つ。
【００９７】
サブ処理タスク１３０では、まずステップ１３１で、ＳＴＣおよびＳＣＲを取得し、次にステップ１３２に進んで、タスク間通信によって、他タスク、すなわちメイン処理タスク１２０にデータを送信し、次にステップ１３３に進んで、一定時間待った上で、ステップ１３１に戻って、ＳＴＣおよびＳＣＲの取得、および他タスクへの送信を繰り返す。
【００９８】
メイン処理タスク１２０では、ステップ１２２からステップ１２３に進んで、タスク間通信によりサブ処理タスク１３０から取得したデータによってＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ１２４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ１２５に進む。
【００９９】
ステップ１２５では、ｎが最大値Ｎに達したか否かを判断し、ｎが最大値Ｎに達していないときには、ステップ１２５からステップ１２２に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１００】
ｎが最大値Ｎに達したときには、ステップ１２５からステップ１２６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ１２６からステップ１２７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ１２６からステップ１２８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【０１０１】
ステップ１２７でクロック周波数を下げ、またはステップ１２８でクロック周波数を上げたら、ステップ１２９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにした上で、ステップ１２２に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１０２】
この例では、ＳＴＣおよびＳＣＲの取得を別タスクとすることによって、一定時間ごとの精度を上げることができる。
【０１０３】
〔他の例または実施形態〕
上述した実施形態は、復号側のクロック周波数を制御する場合であるが、上述したように復号側において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を符号化側に送って、符号化側のクロック周波数を制御するようにシステムを構成してもよい。
【０１０４】
具体的に、図５および図６の実施形態では、上述したように表示端末５０の制御部６０において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を表示端末５０とベース装置１０との間の無線通信によってベース装置１０に送信し、その検出結果に応じてベース装置１０の制御部２０が、クロック発生回路４２の出力クロック周波数を制御する構成とする。
【０１０５】
この場合、符号化側のクロック周波数を制御するので、上述した例とは逆に、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、クロック発生回路４２の出力クロック周波数を高くし、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合には、クロック発生回路４２の出力クロック周波数を低くする。
【０１０６】
また、上述した例は、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合であるが、符号化ストリームがＭＰＥＧ２−ＴＳ、基準時刻情報がＰＣＲである場合でも、全く同様である。
【０１０７】
また、上述した例は、ベース装置１０および表示端末５０からなるシステムにおいて、ベース装置１０の符号化処理部３１および表示端末５０の復号化処理部７１によって、ベース装置１０を符号化側とし、表示端末５０を復号側として、ベース装置１０から表示端末５０に符号化ストリームを送信する場合であるが、表示端末５０の符号化処理部７９およびベース装置１０の復号化処理部３９によって、表示端末５０を符号化側とし、ベース装置１０を復号側として、表示端末５０からベース装置１０に符号化ストリームを送信する場合についても、同様の方法によって符号化側と復号側を同期させることができる。
【０１０８】
さらに、上述した実施形態は、ベース装置１０から表示端末５０に、テレビの映像および音声のデータを送信できると同時に、表示端末５０において、インターネットに接続し、電子メールを送受信できる場合であるが、この発明は、例えば、ベース装置から表示端末に、テレビの映像および音声のデータを送信して、表示端末において、液晶ディスプレイやプラズマディスプレイなどのディスプレイ上に映像を表示し、スピーカから音声を出力する、単なるテレビシステムにも適用することができ、一般に、映像データや音声データなどのデータを、リアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムに適用することができる。
【０１０９】
【発明の効果】
上述したように、この発明によれば、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができる。
【図面の簡単な説明】
【図１】実施形態のシステムを構成するベース装置の外観構成を示す図である。
【図２】実施形態のシステムを構成する表示端末の外観構成を示す図である。
【図３】ベース装置の機能ブロック構成の一例を示す図である。
【図４】表示端末の機能ブロック構成の一例を示す図である。
【図５】ベース装置の符号化処理部およびクロック生成部の一例を示す図である。
【図６】表示端末の復号化処理部およびクロック生成部の一例を示す図である。
【図７】この発明の同期化方法の説明に供する図である。
【図８】この発明の同期化方法の説明に供する図である。
【図９】復号側の制御部が実行するクロック周波数制御処理ルーチンの一例を示す図である。
【図１０】復号側の制御部が実行するクロック周波数制御処理ルーチンの他の例を示す図である。
【図１１】ＭＰＥＧ２システムにおける同期化方法の説明に供する図である。
【図１２】伝送路にジッタを生じる場合の説明に供する図である。
【図１３】伝送路用のタイムスタンプを用いる場合の説明に供する図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
Claims (6)
- データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値がプラスであるときには上記復号用クロックの周波数を低くし、その積分値がマイナスであるときには上記復号用クロックの周波数を高くする同期化方法。 - データ送信側で、データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムでデータ受信側に送信し、データ受信側で、その送信された符号化データをリアルタイムで受信し、復号するシステムにおいて、
データ受信側において、所定の時間間隔の検出時点で、復号用クロックを計数するカウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値をデータ送信側に送信するとともに、
データ送信側において、その積分値がプラスであるときには符号化用クロックの周波数を高くし、その積分値がマイナスであるときには符号化用クロックの周波数を低くする同期化方法。 - データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムで送信するデータ送信装置と、その送信された符号化データをリアルタイムで受信し、復号するデータ受信装置とからなる通信システムであって、
上記データ受信装置は、
上記符号化データを受信する手段と、
復号用クロックを発生する手段と、
上記復号用クロックによって上記符号化データを復号する手段と、
上記復号用クロックを計数するカウントと、
所定の時間間隔の検出時点で、上記カウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値がプラスであるときには上記復号用クロックの周波数を低くし、その積分値がマイナスであるときには上記復号用クロックの周波数を高くする演算制御手段と、
を備えることを特徴とする通信システム。 - データをリアルタイムで符号化し、基準時刻情報を挿入して、リアルタイムで送信するデータ送信装置と、その送信された符号化データをリアルタイムで受信し、復号するデータ受信装置とからなる通信システムであって、
上記データ受信装置は、
復号用クロックを発生する手段と、
上記復号用クロックによって上記符号化データを復号する手段と、
上記復号用クロックを計数するカウントと、
所定の時間間隔の検出時点で、上記カウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出する手段と、
その積算値を上記データ送信装置に送信し、上記データ送信装置から上記符号化データを受信する手段とを備え、
上記データ送信装置は、
符号化用クロックを発生する手段と、
上記符号化用クロックによってデータを符号化する手段と、
上記符号化データを上記データ受信装置に送信し、上記データ受信装置から上記積算値を受信する手段と、
上記積分値がプラスであるときには上記符号化用クロックの周波数を高くし、上記積分値がマイナスであるときには上記符号化用クロックの周波数を低くする制御手段とを備える、
ことを特徴とする通信システム。 - 請求項３または４の通信システムにおいて、
上記データ送信装置は、映像データおよび音声データを符号化して、上記データ受信装置に無線送信するものであり、上記データ受信装置は、その符号化された映像データおよび音声データを受信し復号して、ディスプレイ上に映像を表示し、音声出力装置から音声を出力するものである通信システム。 - 基準時刻情報が挿入されてデータ送信装置から送信された符号化データをリアルタイムで受信し復号するデータ受信装置であって、
上記符号化データを受信する手段と、
復号用クロックを発生する手段と、
上記復号用クロックによって上記符号化データを復号する手段と、
上記復号用クロックを計数するカウントと、
所定の時間間隔の検出時点で、上記カウンタの出力値と上記基準時刻情報の値との差分を検出して、その差分の直前の検出時点における差分に対する変化分を算出し、上記時間間隔より十分長い時間に渡る積算期間ごとに、その変化分を積算して、当該積算期間における積算値を算出し、その積算値がプラスであるときには上記復号用クロックの周波数を低くし、その積分値がマイナスであるときには上記復号用クロックの周波数を高くする演算制御手段と、
を備えることを特徴とするデータ受信装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262522A JP4062504B2 (ja) | 2002-09-09 | 2002-09-09 | 同期化方法、通信システムおよびデータ受信装置 |
| US10/658,825 US7362838B2 (en) | 2002-09-09 | 2003-09-08 | Synchronization method and system, and decoder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262522A JP4062504B2 (ja) | 2002-09-09 | 2002-09-09 | 同期化方法、通信システムおよびデータ受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004104395A JP2004104395A (ja) | 2004-04-02 |
| JP4062504B2 true JP4062504B2 (ja) | 2008-03-19 |
Family
ID=32262545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002262522A Expired - Fee Related JP4062504B2 (ja) | 2002-09-09 | 2002-09-09 | 同期化方法、通信システムおよびデータ受信装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7362838B2 (ja) |
| JP (1) | JP4062504B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9497452B2 (en) * | 2002-01-22 | 2016-11-15 | Broadcom Corporation | System and method of transmission and reception of video using compressed differential time stamps |
| WO2005067252A1 (ja) * | 2004-01-07 | 2005-07-21 | Matsushita Electric Industrial Co., Ltd. | データ受信装置 |
| KR101029807B1 (ko) * | 2004-01-09 | 2011-04-22 | 엘지전자 주식회사 | Ｐｖｒ 및 ｐｖｒ 기능을 갖는 ｄｍｂ 수신기 |
| JP4643276B2 (ja) * | 2005-01-11 | 2011-03-02 | 株式会社東芝 | 無線受信装置 |
| US8929464B2 (en) * | 2005-03-25 | 2015-01-06 | Sharp Laboratories Of America, Inc. | Video entropy decoding with graceful degradation |
| JP4380598B2 (ja) * | 2005-06-16 | 2009-12-09 | 株式会社日立製作所 | 受信装置及び受信方法 |
| WO2007004611A1 (ja) * | 2005-07-06 | 2007-01-11 | Sharp Kabushiki Kaisha | 出力回路、制御プログラム製品および制御方法 |
| JP4699250B2 (ja) * | 2006-03-20 | 2011-06-08 | 三菱電機株式会社 | 無線装置 |
| US8149925B2 (en) * | 2006-03-23 | 2012-04-03 | Intel Corporation | Chase algorithm based differential decoder for soft decision Reed Solomon decoding in a QAM system |
| JP4952057B2 (ja) * | 2006-05-24 | 2012-06-13 | 日本電気株式会社 | クロック異常検出方法及びクロック異常検出プログラム |
| KR101358710B1 (ko) * | 2006-12-23 | 2014-02-11 | 삼성전자주식회사 | 이동통신단말기에서의 예약기능 구동장치 및 방법 |
| US8036330B2 (en) * | 2006-12-29 | 2011-10-11 | Samsung Electronics Co., Ltd. | System and method for frequency synchronization in a wireless non-hierarchical network |
| US8315262B2 (en) * | 2007-09-21 | 2012-11-20 | Telefonaktiebolaget L M Ericsson (Publ) | Reverse timestamp method and network node for clock recovery |
| US7990909B2 (en) * | 2007-11-02 | 2011-08-02 | Ciena Corporation | Synchronization of network nodes |
| US8208497B2 (en) * | 2007-12-28 | 2012-06-26 | Qualcomm Incorporated | Time stamped packet data interface between a modem and an RF unit |
| JP5094478B2 (ja) * | 2008-03-06 | 2012-12-12 | 株式会社日立製作所 | 受信装置 |
| JP4438878B2 (ja) * | 2008-03-17 | 2010-03-24 | ソニー株式会社 | 受信装置、クロック同期方法およびコンピュータプログラム |
| US8194756B2 (en) * | 2008-05-28 | 2012-06-05 | Broadcom Corporation | Using program clock references to assist in transport of video stream to wireless device |
| KR20100025745A (ko) * | 2008-08-28 | 2010-03-10 | 삼성전자주식회사 | 신호 처리 장치 및 방법 |
| US8396133B2 (en) * | 2009-04-21 | 2013-03-12 | Qualcomm Incorporated | Synchronizing video frames without hardware timestamps |
| EP2323392B1 (en) * | 2009-11-03 | 2012-01-04 | Tektronix International Sales GmbH | Method and apparatus for measuring delay within a compressed digital stream |
| KR101180540B1 (ko) * | 2010-10-20 | 2012-09-06 | 연세대학교 산학협력단 | 스트리밍 서비스 송/수신 장치 및 방법 |
| JP2012114815A (ja) * | 2010-11-26 | 2012-06-14 | Mitsubishi Electric Corp | 位相同期装置および位相同期方法 |
| JP2012134848A (ja) * | 2010-12-22 | 2012-07-12 | Sony Corp | 信号処理装置、及び信号処理方法 |
| JP2014075736A (ja) * | 2012-10-05 | 2014-04-24 | Sony Corp | サーバ装置および情報処理方法 |
| JP6320012B2 (ja) * | 2013-12-04 | 2018-05-09 | 株式会社日立情報通信エンジニアリング | 通信装置、通信プログラム、通信方法 |
| US9736806B2 (en) * | 2014-02-28 | 2017-08-15 | Qualcomm Incorporated | Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
| JP3134048B2 (ja) * | 1996-03-07 | 2001-02-13 | 三菱電機株式会社 | クロック再生装置およびクロック再生方法 |
| JPH10210019A (ja) * | 1997-01-21 | 1998-08-07 | Mitsubishi Electric Corp | クロック再生装置およびクロック再生方法 |
| JP2988418B2 (ja) * | 1997-03-12 | 1999-12-13 | 日本電気株式会社 | クロック同期化システム |
| JP3433071B2 (ja) * | 1997-10-29 | 2003-08-04 | 富士通株式会社 | クロック周波数同期装置 |
| TW376629B (en) * | 1997-12-19 | 1999-12-11 | Toshiba Corp | Digital image decoding method and device |
| US6973258B1 (en) * | 1998-10-02 | 2005-12-06 | Lg Electronics Inc. | Method and apparatus for recording digital data streams |
| JP3526225B2 (ja) * | 1998-11-04 | 2004-05-10 | シャープ株式会社 | デジタル放送受信装置 |
| JP2001045051A (ja) * | 1999-07-27 | 2001-02-16 | Victor Co Of Japan Ltd | サーバクライアント型システム |
-
2002
- 2002-09-09 JP JP2002262522A patent/JP4062504B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-08 US US10/658,825 patent/US7362838B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7362838B2 (en) | 2008-04-22 |
| JP2004104395A (ja) | 2004-04-02 |
| US20040109519A1 (en) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4062504B2 (ja) | 同期化方法、通信システムおよびデータ受信装置 | |
| EP1684519B1 (en) | System and method for multimedia delivery in a wireless environment | |
| JP4361561B2 (ja) | データ受信装置及びデータ受信方法 | |
| US6493832B1 (en) | Communication apparatus which handles a time stamp | |
| US5668841A (en) | Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks | |
| JP3053717B2 (ja) | 受信機においてタイミングを回復する装置 | |
| JP4193297B2 (ja) | 通信装置および方法、通信システム、並びに記録媒体 | |
| US8582947B2 (en) | Method and apparatus for processing video and audio data received in decoding system | |
| US20140092254A1 (en) | Dynamic delay handling in mobile live video production systems | |
| JP2006109000A (ja) | オーディオビデオ同期システム及びモニター装置 | |
| US20010004366A1 (en) | Communication apparatus, communication method and storage medium | |
| US6377588B1 (en) | Method and apparatus for reducing jitter of a program clock reference in a transport stream of MPEG over ATM, and MPEG decoder | |
| US20160088339A1 (en) | Reproducing device and method of reproducing data | |
| JP2007258932A (ja) | パケット伝送システム | |
| EP1758288A1 (en) | Transport stream processing device and transport stream processing method | |
| JP4081936B2 (ja) | 通信装置、通信方法、および記録媒体 | |
| JP4092705B2 (ja) | ストリーム送信装置および受信装置、ならびに送受信方法 | |
| US20040234019A1 (en) | Asynchronous transport stream receiver of digital broadcasting receiving system employing DVB-ASI mode and method for transmitting asynchronous transport stream thereof | |
| JP5800999B2 (ja) | デジタル放送受信装置およびデジタル放送受信方法 | |
| CN109889876B (zh) | 一种基于直通音频的ts传输流音视频同步装置和方法 | |
| US20070230512A1 (en) | Receiving apparatus and transmitting/receiving method | |
| JP4224749B2 (ja) | 通信装置、通信方法、および記録媒体 | |
| JP3736396B2 (ja) | ストリーム送信装置および受信装置 | |
| US7898574B2 (en) | Image processor and operating method thereof | |
| JP4212404B2 (ja) | ストリーム受信機のシステムクロック制御装置及びシステムクロック制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |