JP3130464B2 - データ復号装置 - Google Patents

データ復号装置

Info

Publication number
JP3130464B2
JP3130464B2 JP1737096A JP1737096A JP3130464B2 JP 3130464 B2 JP3130464 B2 JP 3130464B2 JP 1737096 A JP1737096 A JP 1737096A JP 1737096 A JP1737096 A JP 1737096A JP 3130464 B2 JP3130464 B2 JP 3130464B2
Authority
JP
Japan
Prior art keywords
decoding
data
value
audio
pts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1737096A
Other languages
English (en)
Other versions
JPH09214351A (ja
Inventor
康祐 斯波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohm Co Ltd
Original Assignee
Rohm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohm Co Ltd filed Critical Rohm Co Ltd
Priority to JP1737096A priority Critical patent/JP3130464B2/ja
Priority to TW086100050A priority patent/TW364980B/zh
Priority to KR1019970000576A priority patent/KR970063950A/ko
Priority to US08/790,898 priority patent/US6088063A/en
Priority to CN97100596A priority patent/CN1101104C/zh
Publication of JPH09214351A publication Critical patent/JPH09214351A/ja
Application granted granted Critical
Publication of JP3130464B2 publication Critical patent/JP3130464B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は符号化データを復
号し、該データに含まれる出力指定時刻にこの復号デー
タを出力する装置に関する。この発明は、例えばMPE
Gデコーダに適用することができる。
【0002】
【従来の技術】国際符号化標準MPEGに代表されるよ
うに、画像と音声を圧縮して符号化し、CD−ROM、
DAT等の各種記憶媒体に格納する技術が普及しつつあ
る。今日、家電メーカーやコンピュータ・メーカーがマ
ルチメディア情報家電の開発に注力しており、MPEG
に準拠した商品の市場導入を図っている。以下、MPE
Gの復号を概説する。
【0003】MPEGでは、画像と音声が別々に符号化
される。このため、復号時に両者の同期をとるために、
パック単位で付与されるSCR(System Clock Referen
ce)およびパケット単位で付与されるPTS(Presenta
tion Time Stamp )という情報が利用される。
【0004】図1はMPEGによる符号化データの1パ
ックのデータ構成を示す図である。パックとは符号化デ
ータの一単位であり、パックに関する情報を格納するヘ
ッダ2、ビデオ画像の符号化データを格納する画像パケ
ット4、および音声の符号化データを格納する音声パケ
ット6からなる。ヘッダ2にはSCR12が格納され
る。
【0005】画像および音声パケット4、6はそれぞれ
ヘッダ8、10を持ち、これらの中にPTS14、16
が格納される。画像パケット4の中には、MPEGのラ
ンダムアクセスの単位であるGOP(Group Of Picture
s )などが格納される。画像パケット4と音声パケット
6は通常1パック中に複数個存在する。これらパケット
は図2の分離器34によって画像・音声各パケットに分
離されてからBSバッファに格納される。BSバッファ
とは、入力された符号化データを一旦格納するFIFO
構造のテンポラリーバッファで、MPEGの復号器で
は、これを画像用と音声用の領域に分けて使用する。
【0006】SCR12は符号化器が復号器に送るシス
テム時刻と考えることができ、具体的には符号化器の内
部時計のリード値である。内部時計は通常90KHzの
基準クロックを用い、これを33ビットのカウンタで計
数することによって、約10マイクロ秒を単位とする1
日程度の時刻を表現する。一方、復号器も内部時計(本
明細書では以降これをSSC(System Synchronous Clo
ck)と呼ぶ)を持つ。SSCも90KHzの基準クロッ
クと33ビットのカウンタから構成される。このカウン
タは所期の値のロードが可能なプリセッタブルタイプで
ある。
【0007】一方、PTS14、16はそれぞれ当該パ
ケットを復号した後、これを表示または出力(以下単に
「出力」という)するための出力指定時刻である。出力
指定時刻は符号化器が符号化の際に、復号器のために決
める。例えば、SCR12がT0であり、復号器がパッ
クを受け取った瞬間からt0後に画像パケット4と音声
パケット6を同時に出力させたい場合、PTS14、1
6は「T0+t0」とする。
【0008】以上の構成によって画像と音声の出力を同
期化する方法は、大別して以下の2つである。
【0009】(1)SCRを基準とする方法(以下「S
CR基準モード」という) 復号器がパック毎にSCR12を自装置のSSCにロー
ドし、随時内部時計の時間合せを行う。画像と音声の出
力はSSCとそれぞれのPTSを独立して比較すること
によって行う。
【0010】(2)音声PTSを基準とする方法(以下
「音声PTS基準モード」という) 音声は少しでもずれると不自然さが知覚されるため、ま
ず音声のみを最良のタイミングで出力する。このタイミ
ングは当然ながら音声PTSを基準に判断されるが、音
声の出力時刻はサンプリング周波数(MPEG1で32
KHzなど)の一周期単位の離散値をとるため、実際の
出力時刻と音声PTSには微妙なずれが生じる。そこ
で、音声を出力した瞬間に、その出力のきっかけとなっ
た音声PTSをSSCにロードすることによってSSC
を補正し、新たなSSCを基準に画像の出力時刻を合わ
せ込む。SCRは初回受信時の時間合せのみに利用す
る。なお、この方法はISO/IECの11172−1
で推奨されており、(1)よりもこの方法が採用される
場合が多い。
【0011】復号器は復号が完了した瞬間にこれらの時
刻判定を行う。その際、PTSに比べてSSCが小さな
値(PTS>SSC)であれば出力を待つ。ただし、こ
の差が大きい場合は同じフレームを2回表示するなどの
遅延処理を行う。一方、PTSよりもSSCが大きい場
合(PTS<SSC)は、すでに出力されているべき画
像等の復号が遅れているため、これを即座に出力する。
この差が大きい場合はフレームを1枚飛ばすなどの促進
処理を行う。
【0012】
【発明が解決しようとする課題】PTSは符号化器が設
定するため、符号化器または復号器の状況によって以下
の不都合が生じる。
【0013】(1)最終出力される画像と音声にタイミ
ングのずれが生じうる 例えば復号した後に音声にDSP処理を加えるとき、最
終出力段で音声が画像よりも遅れる。従来の復号器に
は、システムの組み方によって両者に生じるタイミング
のずれを吸収するための配慮はない。
【0014】(2)遅延処理または促進処理が多発しう
る 例えば画像の復号が大きく遅れている判定されたとき
には、画像に関する促進処理(すなわちカット)が起こ
る。遅延/促進処理はフレームなどを単位に行われ、1
回の処理に伴う変化量(例えば1/30秒)が大きい。
このため、促進処理の後に遅延処理が発生し、この後ま
た促進処理が発生するような悪循環が考えられる。
【0015】[本発明の目的]本発明はこれらの課題に
鑑みてなされたものであり、その目的は、システムの組
み方、復号速度のばらつきなどを考慮して最適な出力タ
イミングを実現するとともに、無用な遅延/促進処理を
削減するデータ復号装置を提供することにある。この目
的のために本発明のデータ復号装置は、出力指定時刻に
対して一定の操作を加える。
【0016】
【課題を解決するための手段】発明のデータ復号装置
は、符号化データを復号化すると共に復号の促進処理お
よび遅延処理を行なう復号手段と、前記復号手段から出
力された復号データをメモリに格納する格納手段と、前
記符号化データに含まれる出力指定時刻データに対して
所定の操作値を設定する設定手段と、装置内時刻を計時
する計時手段と、前記復号手段が復号データを出力した
ときに前記計時手段から出力される装置内時刻データと
前記出力指定時刻データに前記操作値を加算した時刻デ
ータとを比較し、復号処理の遅速を判定する判定手段と
を有し、前記判定手段の判定結果に応じて、前記復号手
段は復号の促進処理及び遅延処理を行ない、前記設定手
段は前記操作値を自動調整することを特徴とする。
【0017】この本発明のデータ復号装置において、
記格納手段は前記メモリの空き領域の残量状態に応じて
信号を出力し、前記設定手段は該信号に応じて前記操作
値を自動調整するものとすることもできる。
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【発明の実施の形態】本発明の好適な実施形態を適宜図
面を参照しながら説明する。
【0024】[1]全体の構成 図2は実施形態に係るデータ復号装置の全体構成図であ
る。この装置はMPEGデコーダであり、大別して、復
号処理回路20、バッファ22およびこれらを統括制御
するホストCPU24からなる。復号処理回路20全体
を1個のLSIに集積することも可能である。
【0025】同図に示すとおり、復号処理回路20はホ
ストCPU24とシステムバス26を介して接続され
る。このバスはアドレス、データ、および必要なコマン
ド等制御信号を含む。復号処理回路20は主に、音声と
画像の同期をとるシステム同期制御部28、音声を復号
する音声復号器30、画像を復号する画像復号器32、
符号化データであるシステムBS(ビットストリーム)
を入力してこれを音声と画像に分離する分離器34、バ
ッファ22に対する書込/読出を制御するメモリ制御部
36からなる。一方、バッファ22は音声BS、画像B
Sをそれぞれ格納するための音声BSバッファ22a、
画像BSバッファ22b、および復号した画像フレーム
(I、P、Bピクチャ)を出力するまで格納しておく画
像フレームバッファ22cからなる。各バッファの容量
は予め定められている。
【0026】この構成においてシステムBSが入力され
ると、まず分離器34が図1に示すパックのフォーマッ
トに従い、これを既知の方法で音声BSと画像BSに分
離する。これらはメモリ制御部36に渡される。このと
き、パックのSCRも抽出され、システム同期制御部2
8に渡される。これが同期制御に使用される。
【0027】メモリ制御部36は音声BSと画像BSを
一旦バッファ22に格納し、実際に復号すべきときにこ
れらを読み出す。読み出した音声BS、画像BSはそれ
ぞれ音声復号器30、画像復号器32に与えられる。こ
れらの読出/書込(R/W)制御の他に、音声BSバッ
ファ22aと画像BSバッファ22bの詰まり具合をそ
れぞれのバッファについて監視し、バッファの全領域が
空いていれば「エンプティ」、全領域がふさがっていれ
ば「フル」信号をホストCPU24に通知する。通知の
ための信号は、音声、画像についてそれぞれフルとエン
プティの2本で、合計4本とする(図中では統括的にF
/E信号と書いている)。なお、エンプティ、フルの判
定のために、メモリ制御部36は音声BSバッファ22
aと画像BSバッファ22bの読出/書込単位領域毎に
有効データの存否を示すフラグを持っているものとす
る。
【0028】音声復号器30、画像復号器32はそれぞ
れ音声BS、画像BSを復号するとともに、音声PT
S、画像PTSを抽出する。復号した画像データは一旦
メモリ制御部36を介して画像フレームバッファ22c
に格納され、PTSに従って出力される。2つのPTS
はシステム同期制御部28にも与えられる。
【0029】システム同期制御部28は2つのPTSと
SCRを用いて復号データの出力タイミングを監視およ
び判定する。判定には、後述するオフセット値またはマ
ージン値が利用される。判定の結果、音声の復号タイミ
ングの遅速に応じて「AFAST(Audio Fast :音声が
速すぎる)」「ASLOW(Audio Slow :音声が遅すぎ
る)」を音声復号器30に出力する。画像復号器32に
は同様に「VFAST(Video Fast :画像が速すぎ
る)」「VSLOW(Video Slow :画像が遅すぎる)」
を出力する。2つの復号器では、これらの遅速表示信号
に従い、復号の促進または遅延処理を行う。最も簡単な
場合、例えば「VFAST」がくれば同じフレーム(ピ
クチャ)を2回出力し、「VSLOW」がくればフレー
ムを1枚飛ばす。音声の場合は1サンプル分を2回出力
するか飛ばすかの処理となる。ただし、音声PTS基準
モードの場合、音声に対する処理は原則としてなされな
い。
【0030】[2]システム同期制御部28の構成 図3はシステム同期制御部28の詳細構成図である。シ
ステムバス26に接続された4つの33ビットレジス
タ、音声オフセット値レジスタ100、音声マージン値
レジスタ101、画像オフセット値レジスタ102、画
像マージン値レジスタ103は、音声または画像の遅速
判定の際の操作値を保持するもので、書込はホストCP
U24から行われる。オフセット値とは、遅速判定の
際、PTSとSSCを比較するときにPTSに加えるべ
き値で、具体的には、PTS+オフセット値とSSCの
大小比較が行われる。一方、マージン値とは判定許容値
であり、具体的には、PTS±マージン値とSSCの比
較が行われる。ただし、音声PTS基準モードでは、音
声オフセット値レジスタ100と音声マージン値レジス
タ101は必要ない。復号処理回路20をLSI化し、
音声PTS基準モードとSCR基準モードのいずれも選
択可能とする場合は、4つのレジスタをすべて持った上
で、音声に関連する遅速判定部分全体を無効化(ディセ
ーブル)できる構成にすればよい。
【0031】SSCカウンタ106は、プリセット(カ
ウント開始の際の値のロード)可能な33ビットのアッ
プカウンタで、SCR基準モードならSCR、音声PT
S基準モードなら音声PTSが適宜ロードされる。分周
器108はシステムクロックCLKを分周して90KH
zを生成し、SSCカウンタ106はこの90KHzの
クロックをカウントする。
【0032】操作値セレクタ110は後述の判定制御器
112の選択指示であるSELA信号(3ビット)に従
い、4つのレジスタ100〜103およびSSCカウン
タ106の値からいずれか1つを選択して加減算器11
4に出力する。加減算器114の出力は34ビットのア
キュムレータ116に保持され、キャリーが出たときは
Cout信号として判定制御器112に伝えられる。ア
キュムレータ116は加減算の際に、計算途中の値を一
時的に退避するために利用される。
【0033】PTSセレクタ118は同様に判定制御器
112の選択指示SELB信号(2ビット)に従い、音
声PTS、画像PTS、アキュムレータ116の値から
いずれか1つを選択して加減算器114に出力する。
【0034】判定制御器112はPTSに操作値を加味
した値とSSCを比較するために、後述の手順に従い、
レジスタ値をSELA信号によって選択し、PTSをS
ELB信号で選択する。これで計算に必要な値が加減算
器114に入力されることになるため、この後、加減算
器114に対して加算または減算(SUB/ADD)の
指示を行う。判定制御器112はCout信号を見てA
SLOW以下4つの判定結果信号を出力する。なお、こ
れら4つの信号は音声復号器30、画像復号器32に与
えられるだけでなく、STATUS信号(4ビット)と
してホストCPU24から読み出すことができる。ホス
トCPU24はSTATUS信号の状況をポーリングに
よって監視し、後述の方法に従ってレジスタ100〜1
03の値を自動調整する。
【0035】[3]復号処理の遅速判定 ここでは操作値(オフセット値、マージン値)を利用し
た遅速判定と、さらにそれ以外の条件を加味した遅速判
定をこの順に説明する。
【0036】(1)オフセット値の設定による判定 PTS+オフセット値がSSCと一致している場合に
「適正」と判定する方法である。図4はオフセット値を
設定した後、復号の遅速を判定する手順を示すフローチ
ャート図である。図中、オフセット値はOFFSET、
アキュムレータ116に保持されている値をACCと表
記する。
【0037】同図に示すとおり、まずOFFSETの設
定を行う(S10)。オフセット設定が必要な理由が装
置固有の問題、例えば音声の復号のみが速すぎる等に起
因し、設定すべき値が予め判明しているときは、オフセ
ット値をROM等に記述しておき、装置の電源投入時に
ホストCPU24から自動的に書き込む構成とすればよ
い。一方、システムの組み方によって後発的に設定要因
が生じる場合は、システムを構築する者またはサービス
マン等が装置出荷後に設定が可能なように、例えばデッ
プスイッチを設ける方法もある。この場合、電源投入時
にスイッチの設定値が読み込まれ、これをそのままOF
FSETに設定すればよい。いずれの場合も、復号が遅
い場合にはオフセット値を正、速い場合には負とする方
向で設定する。
【0038】つぎに、PTSとOFFSETを加算して
これをACCに格納する(S11)。いま音声の場合を
例にとれば、図3において操作値セレクタ110で入力
a、PTSセレクタ118で入力fを選択し、加減算器
114には加算を指示する。この結果、ACCに所望の
値が入る。つづいて、ACCからSSCを引き、結果を
ACCに格納する(S12)。これは、 PTS+OFFSET−SSC (式1) を行うことに等しい。実際には、操作値セレクタ110
で入力e、PTSセレクタ118で入力hを選択し、加
減算器114には減算を指示すればよい。このときさら
に、後にインデックスとして利用するnを0クリアとし
ておく。
【0039】ここで判定制御器112で、Cout信号
の値を調べ(S13)、以下の分岐処理を行う。
【0040】1.復号速度が「適正」の場合 式1は0となるからキャリーは立たずCoutは0のま
まである。従ってS13のNからS15へ進み、n=0
だからS16へ進む。ここでACCから1を引き、nを
1にしてS13へ戻る。1を引く直前にACCは0だっ
たから、S16の終了時点でACCは−1になり、Co
utが1に変化し、S13のYを辿ってS14に進む。
ここでnは1になっているため、S18へ進んで「適
正」と判定され、処理を終える。
【0041】2.復号速度が「遅い」の場合 式1が負になるため、S13からS14へ進み、nが0
なのでS17へ進んで「遅い」と判定される。
【0042】3.復号速度が「速い」の場合 式1は正でCoutは0のままであるから、S15、S
16へ進む。S16でACCから1を引いても、もとの
値が正だから、これは負にならない。従って、S13へ
戻った後、再度S15へ進む。今回はnが1であるた
め、S19へ進んで「速い」と判定される。こうして判
定が終了すれば、以下、必要な促進/遅延処理を行えば
よい。
【0043】以上、オフセット値を用いた判定によれ
ば、例えば装置の復号が速すぎる場合や、装置が音声と
画像を出力した後、一方の信号に処理を加えることによ
って遅れが生じる場合などに有効に対応することができ
る。前者の場合は、システムの許容範囲内で負のオフセ
ット値を設定することにより、無用な遅延処理の発生を
抑制することができ、後者の場合は、本来復号とは関係
のないところで発生するタイミングのずれを正確に吸収
することができる。
【0044】(2)マージン値の設定による判定 つづいて、マージン値を用いた判定例を説明する。これ
は、PTS−マージン値<SSC<PTS+マージン値
が成立する場合に「適正」と判定する方法である。この
方法の利点は、ある許容範囲を設けることができるた
め、ある瞬間に対する前後のみで判定する(1)よりも
「適正」と判定される場合が増えることにある。例えば
遅延/促進処理をフレーム単位で行う場合、1回の処理
に伴う変化量(例えば1/30秒)をマージン値にとる
ことにより、遅延処理と促進処理が交互に発生する事態
を回避することができる。
【0045】図5はマージン値を設定した後、復号の遅
速を判定する手順を示すフローチャート図である。図
中、マージン値をMARGINと表記する。同図におい
て図4と異なる処理を中心に説明する。
【0046】同図に示すとおり、まずMARGINの設
定を行い(S30)、PTSとMARGINを加算して
これをACCに格納する(S31)。つぎに、ACCか
らSSCを引き、結果をACCに格納する(S32)。
これは、 PTS+MARGIN−SSC (式2) の計算に相当する。ここで判定制御器112で、Cou
t信号の値を調べ(S33)、以下の分岐処理を行う。
【0047】1.復号速度が「適正」の場合 「適正」の場合は、PTS+MARGIN>SSCが成
立するため、式2は正となる。従ってS33のNからS
34へ進み、こんどはPTS−MARGINをACCに
格納してこれからSSCを引く(S35)。ここではP
TS−MARGIN<SSCが成立するため、Cout
が1となり、S36のYに進んで「適正」と判定され
る。
【0048】2.復号速度が「遅い」の場合 式2が負になるため、S33からS39へ進み、「遅
い」と判定される。
【0049】3.復号速度が「速い」の場合 PTS+MARGIN>SSCは成立するため、「適
正」の場合同様S35まで進む。ここでは、マージン値
を引いてもまだPTSの方が大きいため、PTS−MA
RGIN>SSCとなり、Coutは0のままとなる。
この結果、S38に進んで「速い」と判定され、終了す
る。
【0050】(3)オフセット、マージン値両方の設定
による判定 つぎに、オフセットとマージンを組合せる例を説明す
る。(3)は(1)(2)の効果を併せ持つことができ
る。
【0051】図6はオフセット値とマージン値を設定し
た後、復号の遅速を判定する手順を示すフローチャート
図である。同図において図4、5と異なる処理を中心に
説明する。
【0052】同図に示すとおり、まずOFFSETとM
ARGINの設定を行い(S50)、PTSとOFFS
ETを加算してこれをACCに格納する(S51)。こ
の後、S52、53は図4のS12、13と同じ処理で
あり、Coutに応じて以下の分岐処理を行う。
【0053】1.復号速度が「適正」の場合 「適正」の場合、もしCoutが1なら、PTSにMA
RGINを加えたときにこれが0となるはずである。一
方、Coutが0のときは、PTSからMARGINを
引いたときに1になるはずである。以下のステップはこ
の手順に沿う。
【0054】まず、S53でCoutが1のときS54
に進み、nは0だからS55に進む。ここでACCにM
ARGINを足し、nを1に変更する。この時点でCo
utは0となっている。この後S53に戻り、今度はS
56に分岐する。ここでnは1であるため、S59で
「適正」と判定される。
【0055】一方、S53でCoutが0のときはS5
6に進み、nは0ゆえS57に進む。ここでACCから
MARGINを引き、nを2に変更する。この時点でC
outは1になっている。この後S53に戻り、逆にS
54に進む。ここでnは2であるため、同様にS59で
「適正」と判定される。
【0056】2.復号速度が「遅い」の場合 S53でCoutは1であり、S54、55と進む。こ
こでACCにMARGINを足してもCoutは1のま
まであるため、S53に戻ったとき、再度S54に進
む。ここでnは1になっていたため、S58で「遅い」
と判定される。
【0057】3.復号速度が「速い」の場合 S53でCoutは0であり、S56、57と進む。こ
こでACCからMARGINを引いてもCoutは0の
ままであるため、S53に戻ったとき、再度S56に進
む。ここでnは2になっていたため、S60で「速い」
と判定される。
【0058】(4)上記以外の条件を加味した判定方法 (1)〜(3)に加えて、さらに他の条件を導入する。
ここではBSバッファ22a,bの格納状況、すなわち
図2においてメモリ制御部36から出力されるF/E
(フル/エンプティ)信号を用いる。ホストCPU24
はこの4本の信号をポーリングによって監視するか、ま
たはこれらの信号の変化によってホストCPU24に割
込等をかける構成とする。この構成で、実際に「フル」
が発生すれば「遅い」、「エンプティ」が発生すれば
「速い」、それらが発生しない間は「適正」と判定す
る。
【0059】判定後は判定結果に従って前記レジスタ値
の自動調整を行う。このときの注意は、「フル」すなわ
ち「遅い」ときにオフセット値を小さくすることであ
る。これは、BSバッファ22a,bがフルの状態を促
進処理によって早期に解消するための措置である。この
結果、ユーザが調整を全く意識する必要なしに、BSバ
ッファ22a,bを適度な格納状態に保つことができ
る。
【0060】[4]レジスタ値の自動調整 本実施形態では、判定結果に応じてオフセット値または
マージン値を自動調整する。この場合は[3](4)同
様、例えばホストCPU24からAFAST等4本のS
TATUS信号をポーリングで監視し、例えばある回数
続けてAFASTがアクティブになっていれば、システ
ムの許容範囲内で音声のオフセット値を減らしていく
か、マージン値を大きくしていく等の処理を行う。値
は、ホストCPU24が自ら該当するレジスタ値を更新
して変更する。
【0061】以上が実施形態に係る装置の詳細である。
なお、本実施形態については、以下の変形または改良も
可能である。
【0062】1.判定制御器112では加減算器114
のCoutを利用して判定を行ったが、加減算器114
の後段に比較器を設けてもよい。この場合、比較器の一
方にはSSCの値を常時入力し、他方には加減の結果得
られるPTS+OFFSET等をセレクタで切り換えて
入力すればよい。この態様をとれば判定のステップ数を
減らすことができる。
【0063】2.F/E信号による遅速判定はホストC
PU24が中心に行ったが、これはシステム同期制御部
28で行ってもよい。この場合はシステム同期制御部2
8が4本の信号の変化を監視すればよい。
【0064】3.促進処理としてフレームのカットを挙
げたが、これは別の処理であってもよい。例えば、復号
精度を落として復号速度を上げることが考えられる。
【0065】4.データ復号装置としてMPEGデコー
ダを説明したが、装置内時刻と出力指定時刻を比較する
装置であれば、当然MPEG以外に適用可能である。
【0066】
【発明の効果】本発明によれば、システムの組み方、復
号速度のばらつきなどを考慮して最適な出力タイミング
を実現するとともに、無用な遅延/促進処理を削減する
データ復号装置を提供することができる。本発明はデー
タ復号装置の製造段階、システム構築段階、販売後の段
階等、いずれの時期においても実施可能である。さら
に、遅速判定のための各種レジスタ値を自動調整する
、ユーザなどが調整を意識する必要もなく、予めシス
テムが許容する範囲で最適なPTS判定方法を実現する
ことができる。
【図面の簡単な説明】
【図1】 MPEGによる符号化データの1パックのデ
ータ構成を示す図である。
【図2】 実施形態に係るデータ復号装置の全体構成図
である。
【図3】 実施形態に係るシステム同期制御部28の詳
細構成図である。
【図4】 オフセット値を設定した後、復号の遅速を判
定する手順を示すフローチャート図である。
【図5】 マージン値を設定した後、復号の遅速を判定
する手順を示すフローチャート図である。
【図6】 オフセット値とマージン値を設定した後、復
号の遅速を判定する手順を示すフローチャート図であ
る。
【符号の説明】
2,8,10 ヘッダ、4 画像パケット、6 音声パ
ケット、12 SCR、14,16 PTS、20 復
号処理回路、22 バッファ、22a 音声BSバッフ
ァ、22b 画像BSバッファ、22c 画像フレーム
バッファ、24ホストCPU、26 システムバス、2
8 システム同期制御部、30 音声復号器、32 画
像復号器、34 分離器、36 メモリ制御部、100
音声オフセット値レジスタ、101 音声マージン値
レジスタ、102 画像オフセット値レジスタ、103
画像マージン値レジスタ、106 SSCカウンタ、
108 分周器、110 操作値セレクタ、112 判
定制御器、114 加減算器、116 アキュムレー
タ、118 PTSセレクタ。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 符号化データを復号化すると共に復号の
    促進処理および遅延処理を行なう復号手段と、 前記復号手段から出力された復号データをメモリに格納
    する格納手段と、 前記符号化データに含まれる出力指定時刻データに対し
    て所定の 操作値を設定する設定手段と、 装置内時刻を計時する計時手段と、前記復号手段が復号データを出力したときに前記計時手
    段から出力される装置内時刻データと前記出力指定時刻
    データに前記操作値を加算した時刻データとを比較し、
    復号処理の遅速を判定する判定手段とを有し、 前記判定手段の判定結果に応じて、前記復号手段は復号
    の促進処理及び遅延処理を行ない、前記設定手段は前記
    操作値を自動調整する ことを特徴とするデータ復号装
    置。
  2. 【請求項2】 請求項1に記載されたデータ復号装置に
    おいて、前記格納手段は前記メモリの空き領域の残量状態に応じ
    て信号を出力し、前記設定手段は該信号に応じて前記操
    作値を自動調整することを特徴とする データ復号装置。
JP1737096A 1996-02-02 1996-02-02 データ復号装置 Expired - Fee Related JP3130464B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP1737096A JP3130464B2 (ja) 1996-02-02 1996-02-02 データ復号装置
TW086100050A TW364980B (en) 1996-02-02 1997-01-04 Data decoding device
KR1019970000576A KR970063950A (ko) 1996-02-02 1997-01-11 데이터 복호장치
US08/790,898 US6088063A (en) 1996-02-02 1997-01-29 Data encoding method and apparatus for outputting encoded data at a designated time
CN97100596A CN1101104C (zh) 1996-02-02 1997-02-03 用于在一个指定时间输出编码数据的数据编码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1737096A JP3130464B2 (ja) 1996-02-02 1996-02-02 データ復号装置

Publications (2)

Publication Number Publication Date
JPH09214351A JPH09214351A (ja) 1997-08-15
JP3130464B2 true JP3130464B2 (ja) 2001-01-31

Family

ID=11942148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1737096A Expired - Fee Related JP3130464B2 (ja) 1996-02-02 1996-02-02 データ復号装置

Country Status (5)

Country Link
US (1) US6088063A (ja)
JP (1) JP3130464B2 (ja)
KR (1) KR970063950A (ja)
CN (1) CN1101104C (ja)
TW (1) TW364980B (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
GB2326781B (en) * 1997-05-30 2001-10-10 British Broadcasting Corp Video and audio signal processing
JP3418966B2 (ja) * 1997-10-09 2003-06-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 同期化方法及びデコーダ
KR100294663B1 (ko) * 1997-12-29 2001-09-17 구자홍 엠펙디코더및디코딩제어방법
US6081299A (en) * 1998-02-20 2000-06-27 International Business Machines Corporation Methods and systems for encoding real time multimedia data
JP3422686B2 (ja) 1998-06-12 2003-06-30 三菱電機株式会社 データ復号装置及びデータ復号方法
JP2000278136A (ja) * 1999-03-19 2000-10-06 Mitsubishi Electric Corp 復号装置
US6512552B1 (en) * 1999-03-29 2003-01-28 Sony Corporation Subpicture stream change control
US6636269B1 (en) * 1999-08-18 2003-10-21 Webtv Networks, Inc. Video timing system and method
JP4161487B2 (ja) * 1999-11-01 2008-10-08 ソニー株式会社 データ復号装置及び方法
TW526666B (en) * 2000-03-29 2003-04-01 Matsushita Electric Ind Co Ltd Reproducing method for compression coded data and device for the same
KR20020039693A (ko) * 2000-08-16 2002-05-27 요트.게.아. 롤페즈 멀티미디어 애플리케이션 재생 방법
US6975363B1 (en) * 2000-08-31 2005-12-13 Microsoft Corporation Methods and systems for independently controlling the presentation speed of digital video frames and digital audio samples
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US20020089602A1 (en) 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
US6633937B2 (en) * 2000-12-21 2003-10-14 National Instruments Corporation GPIB system and method which performs autopolling using heuristics
US6940873B2 (en) * 2000-12-27 2005-09-06 Keen Personal Technologies, Inc. Data stream control system for associating counter values with stored selected data packets from an incoming data transport stream to preserve interpacket time interval information
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
TW499818B (en) * 2001-03-29 2002-08-21 Winbond Electronics Corp Audio/video packet synchronous decoding method
US7012650B2 (en) * 2001-06-14 2006-03-14 Sony Corporation Start/stop audio encoder apparatus and method for synchronizing digital audio and video signals
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US20060104356A1 (en) * 2004-11-15 2006-05-18 Microsoft Corporation Timing for decoder buffer examination
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8027560B2 (en) * 2007-02-05 2011-09-27 Thales Avionics, Inc. System and method for synchronizing playback of audio and video
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
EP3386193A1 (en) * 2017-04-04 2018-10-10 Thomson Licensing Method of delivery of audiovisual content and corresponding device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3496725B2 (ja) * 1992-10-16 2004-02-16 ソニー株式会社 多重化データ分離装置
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
US5486864A (en) * 1993-05-13 1996-01-23 Rca Thomson Licensing Corporation Differential time code method and apparatus as for a compressed video signal
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ
US5473385A (en) * 1994-06-07 1995-12-05 Tv/Com Technologies, Inc. Clock correction in a video data decoder using video synchronization signals
JP2910575B2 (ja) * 1994-09-26 1999-06-23 日本電気株式会社 音声信号処理回路と画像・音声デコーダ
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
US5588029A (en) * 1995-01-20 1996-12-24 Lsi Logic Corporation MPEG audio synchronization system using subframe skip and repeat
IT1268195B1 (it) * 1994-12-23 1997-02-21 Sip Decodificatore per segnali audio appartenenti a sequenze audiovisive compresse e codificate.
IT1268196B1 (it) * 1994-12-23 1997-02-21 Sip Dispositivo per la ricetrasmissione e decodifica di sequenze audiovisivi compresse.
JP4297518B2 (ja) * 1995-03-06 2009-07-15 沖電気工業株式会社 音声・ビデオ復号装置
US5726989A (en) * 1995-11-06 1998-03-10 Stellar One Corporation Method for ensuring synchronization of MPEG-1 data carried in an MPEG-2 transport stream

Also Published As

Publication number Publication date
KR970063950A (ko) 1997-09-12
TW364980B (en) 1999-07-21
CN1162798A (zh) 1997-10-22
CN1101104C (zh) 2003-02-05
JPH09214351A (ja) 1997-08-15
US6088063A (en) 2000-07-11

Similar Documents

Publication Publication Date Title
JP3130464B2 (ja) データ復号装置
JP3215087B2 (ja) オーディオとビデオの同期方法及びデジタルビデオプロセッサ
JP3698376B2 (ja) 同期再生装置
US5754729A (en) Apparatus for controlling the decoding operation in accordance with discontinuity in the stored data
US8285113B2 (en) Method for generating additional information for guaranteeing seamless playback between data streams, recording medium storing the information, and recording, editing and/or playback apparatus using the same
US5951690A (en) Synchronizing an audio-visual stream synchronized to a clock with a video display that is synchronized to a different clock
US7760770B2 (en) Stream data processing apparatus and stream data processing method
KR100490403B1 (ko) 오디오 스트림의 버퍼링 제어 방법 및 그 장치
JP3052824B2 (ja) オーディオ再生時刻調整回路
US5818547A (en) Timing detection device and method
JP3100308B2 (ja) 画像及び音声情報の再生システム
JPH08214296A (ja) デコーダおよびmpegシステムデコーダ
KR100428921B1 (ko) 가변비트레이트데이터의기록장치및기록방법과,재생장치및재생방법
KR100207687B1 (ko) 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법
JP2002290910A (ja) マルチメディア情報記録再生装置
JP3917346B2 (ja) 画像復号装置及び画像復号方法
JP2004023686A (ja) Mpeg2デコーダ
JPH10308936A (ja) 映像配信システム、データ配信方法及び媒体
JP2002281498A (ja) 受信再生装置
JP3165661B2 (ja) 音声同期再生装置
US20090110364A1 (en) Reproduction apparatus and reproduction method
JP2907118B2 (ja) データ転送回路
JPH11261636A (ja) 記録再生装置及び記録再生方法
JPH1042254A (ja) 動画像データ再生方式
KR20040051238A (ko) Dvd 재생기에서 스트림 속도 제어 장치

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees