JP2002281445A - オーディオ・ビデオ復号再生装置とその同期再生方法 - Google Patents

オーディオ・ビデオ復号再生装置とその同期再生方法

Info

Publication number
JP2002281445A
JP2002281445A JP2001078988A JP2001078988A JP2002281445A JP 2002281445 A JP2002281445 A JP 2002281445A JP 2001078988 A JP2001078988 A JP 2001078988A JP 2001078988 A JP2001078988 A JP 2001078988A JP 2002281445 A JP2002281445 A JP 2002281445A
Authority
JP
Japan
Prior art keywords
audio
video
decoding
ptc
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001078988A
Other languages
English (en)
Other versions
JP4380930B2 (ja
Inventor
Shiyouko Osada
将高 長田
Takeshi Yamaguchi
武史 山口
Tatsunori Saito
龍則 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001078988A priority Critical patent/JP4380930B2/ja
Publication of JP2002281445A publication Critical patent/JP2002281445A/ja
Application granted granted Critical
Publication of JP4380930B2 publication Critical patent/JP4380930B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

(57)【要約】 【課題】 伝送路誤りによるオーディオ復号出力とビデ
オ復号出力の同期ずれや再生の途切れを低減する。 【解決手段】 PTCが付加されたオーディオ・ビデオ
多重信号を受け取ってオーディオ、ビデオ符号化データ
に分離し(1)、分離された符号化データをメモリ2,
6に一時的に保存する。各メモリ2,6に保存された各
符号化データからPTCを読み取り(3,7)、装置内
で発生されるSTCを基準にPTCに基づくオーディオ
・ビデオ復号処理を行う(4,8)。ここで、各符号化
データのPTCをSTCと比較して同期・非同期を検出
し、同期状態では復号許可、非同期状態では復号不許可
を復号処理部4,8に送出し、復号処理を開始/停止さ
せる(5)。但し、復号処理部4,8は、復号許可が与
えられているがPTSが送られてこない場合には、自走
して復号処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、オーディオ・ビデ
オを含むマルチメディア情報のディジタル通信・放送シ
ステムにおいて、伝送路誤りが生じても、オーディオ復
号出力とビデオ復号出力との同期をとるようになされた
オーディオ・ビデオ復号再生装置とその同期再生方法に
関する。
【0002】
【従来の技術】近年、オーディオ・ビデオの多彩な表現
を可能とするマルチメディア情報のディジタル通信、デ
ィジタル放送(衛星放送、地上波放送、ケーブル放送
等)の実用化が盛んに進められている。このようなシス
テムの送信側における信号処理過程では、オーディオ信
号とビデオ信号が別々に扱われ、ディジタル処理段階で
互いに独立して符号化された後、多重されて伝送され
る。このため、受信側においては、受信出力からオーデ
ィオ符号化データ及びビデオ符号化データを分離した
後、互いに独立して復号し、復号されたオーディオ信号
とビデオ信号を、互いに同期をとって再生する必要があ
る。
【0003】このように受信側で復号されたオーディオ
信号及びビデオ信号の同期を取るために、例えばMPE
G(Moving Picture Experts Group)2またはMPEG
4等の方式では、送信側において、オーディオ符号化デ
ータ、ビデオ符号化データそれぞれのパケットヘッダに
プレゼンテーションタイムスタンプ(以下、PTS)を
含めるようにしている。このPTSは、パケット内の情
報再生タイミングを決定するタイムスタンプで、その値
は、オーディオ符号化データ、ビデオ符号化データそれ
ぞれの生成中に動作しているシステムタイムクロック
(以下、STC)を基準とする。このため、受信側にお
いて、送信側と同じSTCを動作させ、オーディオ符号
化データ、ビデオ符号化データそれぞれの復号時にPT
Sを抽出し、STCが示す時刻に基づいて各PTSによ
って示される時刻に各符号化データの復号を開始するこ
とで、両復号信号の同期再生が実現される。
【0004】上記のようなシステムの中で、従来のオー
ディオ・ビデオ復号再生装置では、(1)STCとPT
Sが最初に所定の関係になった時点でオーディオ復号部
及びビデオ復号部に復号許可信号を送り、以降は復号許
可を維持する手法、(2)オーディオ符号化データ及び
ビデオ符号化データの各パケットに含まれるPTSを全
てチェックして、所定の関係であれば、オーディオ復号
部またはビデオ復号部にそのたびに復号許可信号を送
り、所定の関係を満たさなければ、復号不許可信号を送
る手法、のいずれかの手法が取られていた。
【0005】
【発明が解決しようとする課題】しかしながら、上記の
ような従来のオーディオ・ビデオ同期再生手法では、伝
送路誤りが生じた時の対策が十分になされておらず、伝
送路誤りが発生した場合には、誤ったタイミングでオー
ディオとビデオを再生してしまうことがあった。また、
伝送路誤りの影響が大きい場合には、オーディオ及びビ
デオの出力信号が頻繁に途切れて、品質が極端に劣化し
てしまうこともあった。
【0006】本発明は、上記のような問題を解決するた
めになされたもので、オーディオ符号データとビデオ符
号データをそれぞれ復号する場合に、伝送路誤りによる
オーディオ復号出力とビデオ復号出力の同期ずれや再生
の途切れを低減することのできるオーディオ・ビデオ復
号再生装置とその同期再生方法を提供することを目的と
する。
【0007】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明に係るオーディオ・ビデオ復号再生装置と
その同期再生方法は、以下のように構成される。
【0008】(1)オーディオ符号化データ、ビデオ符
号化データがそれぞれ独立してパケット化され、各パケ
ットには互いに同期して再生するためのシステム管理時
刻(以下、STC)に基づく再生時刻管理情報(以下、
PTC)が付加されたオーディオ・ビデオ多重信号を受
け取り、オーディオ・ビデオ復号再生を行うオーディオ
・ビデオ復号再生装置とその同期再生方法において、前
記多重信号をオーディオ符号化データとビデオ符号化デ
ータに分離する分離手段と、この分離手段で分離された
オーディオ符号化データを一時的に保存するオーディオ
符号化データ保存手段と、前記分離手段で分離されたビ
デオ符号化データを一時的に保存するビデオ符号化デー
タ保存手段と、前記オーディオ符号化データ保存手段か
らオーディオ符号化データを取り出して前記PTCを読
み取るオーディオPTC読み取り手段と、前記ビデオ符
号化データ保存手段からビデオ符号化データを取り出し
て前記PTCを読み取るビデオPTC読み取り手段と、
前記STCを生成するSTC生成手段と、前記オーディ
オ符号化データ保存手段からオーディオ符号化データを
取り出して、前記STCを基準に、前記オーディオPT
Cに基づいて復号処理を行うオーディオ復号手段と、前
記ビデオ符号化データ保存手段からビデオ符号化データ
を取り出して、前記STCを基準に、前記ビデオPTC
に基づいて復号処理を行うビデオ復号手段と、前記オー
ディオPTC読み取り手段及びビデオPTC読み取り手
段で得られたそれぞれのPTCと前記STC生成手段で
生成されたSTCとを比較して同期・非同期を検出し、
同期が取れているときは復号許可の情報を、同期が取れ
ていないときは復号不許可の情報を前記オーディオ復号
手段及びビデオ復号手段に送出する同期制御手段とを具
備し、前記同期制御手段は、前記PTSを最初に検出し
たときに、最初のPTSに関する所定の関係を満たして
いるとき、そのPTSを誤り無しと判断し、所定の関係
を満たしていないとき、そのPTSを誤り有りと判断し
て次のPTSのサーチを行い、2番目以降のPTSに関
しては、2番目以降のPTSに関する所定の関係を満た
しているとき、前記オーディオ復号手段及びビデオ復号
手段に復号許可の情報を送り、満たしていなければ復号
不許可の情報を送り、前記オーディオ復号手段及びビデ
オ復号手段は、それぞれ前記復号許可/不許可の情報に
基づいて復号処理を開始/停止するようにしたことを特
徴とする。
【0009】(2)(1)の構成において、前記同期制
御手段は、前記オーディオ符号化データ、ビデオ符号化
データそれぞれについて、そのフレーム周期で各PTC
と前記STCとを比較することを特徴とする。
【0010】(3)(1)の構成において、前記同期制
御手段は、前記オーディオ符号化データ、ビデオ符号化
データそれぞれについて、最初のPTCを検出したと
き、予め設定される固定値t1に対して式(1) 0<(PTS−STC)<t1 …(1) を満たす場合にはそのPTCを誤り無しと判断し、式
(1)を満たさない場合にはそのPTCを誤り有りと判
断して、そのPTCを捨てて次のPTCをサーチするこ
とを特徴とする。
【0011】(4)(3)の構成において、前記同期制
御手段は、検出したPTCを誤り無しと判断したとき、
式(2) STC−PTS≧0 …(2) を満たす場合には前記オーディオ復号手段、ビデオ復号
手段に復号許可の情報を送り、式(2)を満たしていな
い場合には前記オーディオ復号手段、ビデオ復号手段に
復号不許可の情報を送ることを特徴とする。
【0012】(5)(4)の構成において、前記オーデ
ィオ復号手段は、前記復号不許可の情報が与えられたと
き、無音を出力することを特徴とする。
【0013】(6)(3)の構成において、前記同期制
御手段は、2番目以降のPTSが検出されたとき、予め
設定される固定値t2に対して式(3) |STC−PTS|<t2 …(3) を満たす場合には、前記オーディオ復号手段、ビデオ復
号手段に復号許可の情報を送ることを特徴とする。
【0014】(7)(6)の構成において、前記同期制
御手段は、2番目以降のPTSについて、前記式(3)
を満たさないPTSが連続でN回以下ならば前記オーデ
ィオ復号手段、ビデオ復号手段を自走させ、前記式
(3)を満たさないPTSが連続してN(Nは予め設定
される固定値)回を越える場合には、前記オーディオ符
号化データ保存手段、ビデオ符号化データ保存手段にそ
れぞれ保存されたオーディオ符号化データの先頭まで読
み飛ばすことによって保存データをリセットすることを
特徴とする。
【0015】(8)(6)の構成において、前記同期制
御手段は、オーディオ復号手段がM(Mは予め設定され
る固定値)フレーム連続でPTSを検出することなく自
走した場合には、前記オーディオ符号化データ保存手
段、ビデオ符号化データ保存手段に蓄えられたオーディ
オ符号化データ、ビデオ符号化データの先頭まで読み飛
ばすことによって保存データをリセットすることを特徴
とする。
【0016】(9)(8)の構成において、2番目以降
のPTSを処理する過程で、前記FIFOメモリに蓄え
られたオーディオ符号化データ、またはビデオ符号化デ
ータの先頭まで読み飛ばすことによってリセットした後
の処理では、最初のPTSを検出した時と同じ処理に戻
ることを特徴とする。
【0017】すなわち、本発明は、最初のPTSを検出
した時に、最初のPTSに関する所定の関係を満たして
いれば、そのPTSを誤り無しと判断し、所定の関係を
満たしていなければ、そのPTSを誤り有りと判断して
次のPTSをサーチすることにより、最初のPTSの信
頼性を高める。
【0018】また、2番目以降のPTSに関しては、2
番目以降のPTSに関する所定の関係を満たしていれ
ば、オーディオ復号装置、及びビデオ復号装置に復号許
可信号を送り、満たしていなければ復号不許可信号を送
ることによって、状況に応じて、オーディオ復号装置、
及びビデオ復号装置に許可/不許可を与える条件を変え
ている。
【0019】以上により本発明では、最初のPTSの信
頼性を高め、また2番目以降のPTSが誤った時に、そ
の影響を少なくすることにより、オーディオ出力とビデ
オ出力の同期を取る際の誤り耐性を強くすることができ
る。
【0020】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。
【0021】図1は本発明に係るオーディオ・ビデオ復
号再生装置の構成を示すブロック図である。図1におい
て、図示しない受信処理部で得られたオーディオ符号化
データ及びビデオ符号化データの多重ストリームは、分
離部1でオーディオ符号化データ、ビデオ符号化データ
に分離される。
【0022】オーディオ符号化データは、先読み先出し
メモリ(以下、FIFOメモリ)2に一旦保存され、要
求に応じて順次読み出されてPTS読み取り部3及びオ
ーディオ復号部4に供給される。PTS読み取り部3
は、FIFOメモリ2からオーディオ符号化データを読
み出して各パケットヘッダからPTSを読み取るもの
で、ここで得られたPTSはオーディオ復号部4及び同
期制御部5に供給される。
【0023】同様に、ビデオ符号化データは、FIFO
メモリ6に一旦保存され、要求に応じて順次読み出され
てPTS読み取り部7及びビデオ復号部8に供給され
る。PTS読み取り部7は、FIFOメモリ6からビデ
オ符号化データを読み出して各パケットヘッダからPT
Sを読み取るもので、ここで得られたPTSはビデオ復
号部8及び同期制御部5に供給される。
【0024】一方、図示しない受信処理部で生成される
システムタイムクロック(以下、STC)はSTC読み
取り部9に供給される。このSTC読み取り部9は、S
TCをカウントすることでシステム内の基準時刻を設定
する。この基準時刻情報は同期制御部5に供給される。
この同期制御部5は、STC読み取り部9で得られた基
準時刻とPTS読み取り部3、7で得られたPTSが示
す再生時刻とを比較する。そして、両者が所定の関係に
あれば同期状態、それ以外では非同期状態と判定し、そ
の判定結果に基づいて復号許可/不許可情報をオーディ
オ復号部4、ビデオ復号部8に送出する。
【0025】上記オーディオ復号部4は、同期制御部5
から復号許可の情報が送られてきた場合には、FIFO
メモリ2からオーディオ符号化データを取り込み、ST
Cによる基準時刻に基づいてPTSが示す再生時刻にオ
ーディオ符号化データの復号処理を開始し、復号不許可
の情報が送られてきた場合には、PTSの再生時刻によ
らず、オーディオ符号化データの復号処理を停止する。
ここで、オーディオ復号部4は、独自のクロックを持っ
てフレーム周期で動作し、復号許可の情報が送られてき
ているにもかかわらず、PTS読み取り部3からPTS
が送られてこない場合には、自走して復号処理を行う。
【0026】同様に、上記ビデオ復号部8は、独自のク
ロックを持ってフレーム周期で動作しており、同期制御
部5から復号許可の情報が送られてきた場合には、FI
FOメモリ6からビデオ符号化データを取り込み、ST
Cによる基準時刻に基づいてPTSが示す再生時刻にビ
デオ符号化データの復号処理を開始し、復号不許可の情
報が送られてきた場合には、PTSの再生時刻によら
ず、ビデオ符号化データの復号処理を停止する。ここ
で、ビデオ復号部8は、独自のクロックを持ってフレー
ム周期で動作し、復号許可の情報が送られてきているに
もかかわらず、PTS読み取り部7からPTSが送られ
てこない場合には、自走して復号処理を行う。
【0027】以上のように構成されたオーディオ・ビデ
オ復号再生装置において、図2を参照してその同期再生
動作を説明する。
【0028】図2は同期再生動作を説明するためのフロ
ーチャートである。尚、ここではオーディオ符号化デー
タを復号する場合について説明するが、当然、同様の処
理をビデオ符号化データの復号処理や、その他同期を取
る必要のある制御処理に適用することも可能である。
【0029】まず、受信された多重符号化データは分離
部1でオーディオ符号化データ及びビデオ符号化データ
に分離され、それぞれの復号系に送られる。このうち、
オーディオ符号化データはFIFOメモリ2に蓄えられ
る。ここで、分離部1がFIFOメモリ2に書き込んだ
オーディオ符号化データの最後のアドレスをライトポイ
ンタ、PTS読み取り装置3がFIFOメモリから読み
込んだオーディオ符号化データの最後のアドレスをリー
ドポインタと表現する。
【0030】PTS読み取り装置3は、ライトポインタ
とリードポインタの値を見て、FIFOメモリ2に読み
込み可能なオーディオ符号化データが存在する場合には
読み込みを開始し、読み込み可能なオーディオ符号化デ
ータが存在しない場合には読み込みを停止する。
【0031】また、オーディオ復号部4は、独自のクロ
ックを持ってフレーム周期で動作しており、各フレーム
の先頭でPTSが存在している場合には、同期制御部5
からの復号許可/不許可情報をチェックし、PTSが存
在していない場合には自走する。
【0032】ここからの動作は、図2のフローチャート
を参照して、[過程1]〜[過程5]に分けて説明す
る。
【0033】[過程1]PTS読み取り部3は、FIF
Oメモリ2から順次オーディオ符号化データを読み込ん
でPTSをサーチする(S1)。PTS読み取り装置3
が最初のPTSを検出すると、その値は同期制御部5に
送られる。この同期制御部5では、STC読み取り部9
から送られてくるSTCに対して、システムごとに決定
できる固定値としてt1を設定し、次式(1)を判定す
る(S2)。 0<(PTS−STC)<t1 …(1) PTS読み取り部3から送られてきたPTSが式(1)
を満たす場合には、そのPTSは誤り無しと判断して
[過程2]に進む。PTS読み取り部3から送られてき
たPTSが式(1)を満たしていない場合には、そのP
TSは誤り有りと判断して、次のPTSをサーチし、
[過程1]を繰り返す。また、[過程1]中では、同期
制御部5は、オーディオ復号部4に対して復号不許可の
情報を送る。この結果、オーディオ復号部5は復号処理
を停止し、無音を出し続ける。
【0034】尚、上記式(1)の意味するところは以下
の通りである。
【0035】すなわち、PTSは将来の出力時間を示す
ものであり、PTS検出時には必ず、 0<(PTS−STC) が成り立つ。また、PTSがあまりに大きな値である場
合、FIFOメモリ量の制約などから、システムに破綻
をきたす可能性がある。実際、オーディオ符号化データ
の中に含まれるPTSが誤りなく送られてきた場合に
は、上記のような破綻をきたすことはない。以上のよう
に、システム上破綻をきたさないような(PTS−ST
C)の上限を求め、t1を決定する。以上から、式
(1)を満たさない場合には、PTSに誤りが生じてい
ると判断するものである。
【0036】[過程2]同期制御部5は、STC読み取
り部9から送られてくるSTCの値が、PTS読み取り
部3から送られてきたPTSの値に対して次式(2) STC−PTS≧0 …(2) を満たすまで待機し、式(2)を満たした時点で[過程
3]に進む(S3,S4)。
【0037】[過程3]同期制御部5は、式(2)を満
たした後に、オーディオ復号部4に復号許可の情報を与
える。この結果、オーディオ復号部4は復号を開始し、
復号後、オーディオ信号の出力を開始する(S5)。
【0038】ここで、図3に示すように、1パケット内
に複数のオーディオフレームが存在する場合がある。こ
の場合には、PTS読み取り部3から送られてきたPT
Sは、そのパケットの先頭のフレームiに対応するもの
であるので、パケット内の2番目以降のフレームi+1
とi+2についてはPTSが存在しない。このため、オ
ーディオ復号部4では、2番目以降のフレームについて
は自走して復号処理を実行する。
【0039】これに対し、オーディオ符号化方式が非同
期の場合には、図4に示すように、必ずしもパケットの
先頭とフレームの先頭が一致するわけではない。この場
合には、当該PTSは、当該パケット内でヘッダが最初
に現れるフレームiに対応するものである。このため、
2番目以降のフレームi+1、i+2についてはPTS
が存在しないので、オーディオ復号部4は自走して復号
処理を実行する。
【0040】尚、上記式(2)の意味するところは以下
の通りである。
【0041】ビデオと同期を取るためには、STC=P
TSとなった瞬間に出力を開始することが必要である
が、STC読み取り部9は周期的にSTCを読み込むた
め、その周期によっては厳密にSTC=PTSとなるS
TCをタイミングよく読み込むことは難しい。このた
め、同期制御部5がオーディオ復号部4に復号許可を与
える条件として、式(2)を満足させることで、判断処
理に冗長を持たせている。
【0042】次のPTSに対して、システムごとまたは
データごとに決定できる固定値としてt2を設定し、次
式(3)を判定する(S6,S7)。 |STC−PTS|<t2 …(3) 式(3)を満たす場合には、オーディオ復号部4に復号
許可の情報を送る。
【0043】オーディオ復号部4は、当該PTSに対応
するパケット内先頭のフレームを復号し、当該パケット
内の2番目以降のフレームに関しては自走して、自走し
たフレーム数mをカウント後、[過程3]を繰り返す
(S8,S9)。尚、自走フレーム数mが、システムご
とに決定できる固定値Mを越える場合には、[過程5]
へ進む。当該PTSが式(3)を満たさない場合には
[過程4]へ進む。
【0044】また、上記[過程3]の意味するところは
以下の通りである。
【0045】[過程2]から[過程3]へ遷移する過程
において、式(2)の条件のように冗長を持たせてお
り、またSTC読み取り部9が周期的にSTCを読み込
むため、厳密にSTC=PTSとなるタイミングでST
Cを読み込むことは難しい。上記を考慮して、システム
ごと、またはデータごとにt2を決定して、条件式
(3)のように冗長を持たせている。
【0046】1パケット内に存在するオーディオフレー
ム数には限りがある。そのフレーム数をαとすると、誤
りのない正常系では、自走するフレーム数がαを越える
ことはあり得ない。自走するフレーム数がαを越えると
いうことは、何らかの誤りが発生していることと等価で
あるため、αをもとにシステムごと、またはデータごと
にMを決定し、連続して自走するフレーム数mがMを越
えた場合には[過程5]に進むものとしている。
【0047】[過程4]ここでは、式(3)を満たさな
いPTSの連続発生回数nをカウントし、システムごと
に決定できる固定値Nを超える場合には[過程5]へ、
nがNを越えない場合には[過程3]へ進む(S10,
S11)。
【0048】ここで、式(3)を満たさないPTSの連
続発生回数をカウントする意味は以下の通りである。
【0049】誤りの無い正常系のシステムにおいては、
PTSが式(3)を満たさない場合には即座に、同期が
取れていないと判断することができる。しかしながら、
無線通信、無線放送などのように、誤りが頻繁に発生す
るシステムにおいては、PTSに誤りが入るたびに、実
際には同期が取れているにもかかわらず、同期が取れて
いないと判断してリセット、またはミュートなどの手段
を取ってしまうことがあり、出力音の品質が悪くなる。
[過程4]のような手段であれば、同期は取れていなが
らPTSが誤っている場合には、後から来る誤りの無い
PTSに対して、式(3)を満たすことになり、誤りの
あるPTSの影響を受けずに正常系へと戻ることができ
る。但し、(N+1)回連続で式(3)を満たさない場
合には、誤りが原因であれ、同期が取れていないことが
原因であれ、[過程5]へと進むことになる。
【0050】[過程5]同期が取れていないと判断して
リセットする(S12)。リセット後は[過程1]へ戻
る。尚、リセット手段は以下の通りである。
【0051】(リセット方法)同期制御部5はオーディ
オ復号部4に復号不許可の情報を与え、オーディオ復号
部4は無音を出す。同時に、図5に示すように、FIF
Oメモリ2のリードポインタをライトポインタまで進め
る。これによって、分離部1がFIFOメモリ2に書み
込み済みのオーディオ符号化データを全て読み飛ばすこ
とになる。
【0052】リセットすることの意味は以下の通りであ
る。
【0053】[過程5]へ来る過程においては、実際に
同期が取れていない場合と、誤りが頻繁に発生している
場合が考えられる。いずれの場合であっても、現状を維
持しながら再同期することは難しいため、リセットする
ことによりリードポインタを初期状態に戻して、[過程
1]から同期を取り直す。
【0054】以上の[過程1]〜[過程5]を繰り返す
ことにより、誤りから受ける影響を少なくしながら、同
期を保つことができる。
【0055】したがって、上記構成によるオーディオ・
ビデオ復号再生装置によれば、最初のPTSの信頼性を
高め、また2番目以降のPTSが誤った時に、その影響
を少なくすることができ、これによってオーディオ出力
とビデオ出力の同期を取る際の誤り耐性を強くすること
ができ、伝送路誤りによるオーディオ復号出力とビデオ
復号出力の同期ずれや再生の途切れを低減することがで
きる。
【0056】
【発明の効果】以上のように本発明によれば、オーディ
オ符号データとビデオ符号データをそれぞれ復号する場
合に、伝送路誤りによるオーディオ復号出力とビデオ復
号出力の同期ずれや再生の途切れを低減することのでき
るオーディオ・ビデオ復号再生装置とその同期再生方法
を提供することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態におけるオーディオ・ビ
デオ復号再生装置の構成を示すブロック図。
【図2】 同実施形態のオーディオ符号化データ復号処
理の手順を示すフローチャート。
【図3】 同実施形態において、パケット内のPTSと
フレームの対応を説明するための図。
【図4】 同実施形態において、非同期符号化方式の場
合のパケット内のPTSとフレームの対応を説明するた
めの図。
【図5】 同実施形態において、リセット方法を説明す
るための図。
【符号の説明】
1…分離部 2…FIFOメモリ 3…PTS読み取り部 4…オーディオ復号部 5…同期制御部 6…FIFOメモリ 7…PTS読み取り部 8…ビデオ復号部 9…STC読み取り部
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/24 (72)発明者 斉藤 龍則 神奈川県川崎市幸区柳町70番地 株式会社 東芝柳町事業所内 Fターム(参考) 5C053 GA11 GB10 GB11 GB14 GB37 KA01 5C059 KK34 RB02 RB14 RC03 RC04 RC32 RE03 RF28 SS01 SS06 UA05 UA34 5C063 AB03 AB05 AC01 AC05 CA12 CA14 CA16 DA01 DA13 5K047 AA11 CC02 CC11 DD01 DD02 KK03 MM12

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 オーディオ符号化データ、ビデオ符号化
    データがそれぞれ独立してパケット化され、各パケット
    には互いに同期して再生するためのシステム管理時刻
    (以下、STC)に基づく再生時刻管理情報(以下、P
    TC)が付加されたオーディオ・ビデオ多重信号を受け
    取り、オーディオ・ビデオ復号再生を行うオーディオ・
    ビデオ復号再生装置において、 前記多重信号をオーディオ符号化データとビデオ符号化
    データに分離する分離手段と、 この分離手段で分離されたオーディオ符号化データを一
    時的に保存するオーディオ符号化データ保存手段と、 前記分離手段で分離されたビデオ符号化データを一時的
    に保存するビデオ符号化データ保存手段と、 前記オーディオ符号化データ保存手段からオーディオ符
    号化データを取り出して前記PTCを読み取るオーディ
    オPTC読み取り手段と、 前記ビデオ符号化データ保存手段からビデオ符号化デー
    タを取り出して前記PTCを読み取るビデオPTC読み
    取り手段と、 前記STCを生成するSTC生成手段と、 前記オーディオ符号化データ保存手段からオーディオ符
    号化データを取り出して、前記STCを基準に、前記オ
    ーディオPTCに基づいて復号処理を行うオーディオ復
    号手段と、 前記ビデオ符号化データ保存手段からビデオ符号化デー
    タを取り出して、前記STCを基準に、前記ビデオPT
    Cに基づいて復号処理を行うビデオ復号手段と、 前記オーディオPTC読み取り手段及びビデオPTC読
    み取り手段で得られたそれぞれのPTCと前記STC生
    成手段で生成されたSTCとを比較して同期・非同期を
    検出し、同期が取れているときは復号許可の情報を、同
    期が取れていないときは復号不許可の情報を前記オーデ
    ィオ復号手段及びビデオ復号手段に送出する同期制御手
    段とを具備し、 前記同期制御手段は、前記PTSを最初に検出したとき
    に、最初のPTSに関する所定の関係を満たしていると
    き、そのPTSを誤り無しと判断し、所定の関係を満た
    していないとき、そのPTSを誤り有りと判断して次の
    PTSのサーチを行い、2番目以降のPTSに関して
    は、2番目以降のPTSに関する所定の関係を満たして
    いるとき、前記オーディオ復号手段及びビデオ復号手段
    に復号許可の情報を送り、満たしていなければ復号不許
    可の情報を送り、 前記オーディオ復号手段及びビデオ復号手段は、それぞ
    れ前記復号許可/不許可の情報に基づいて復号処理を開
    始/停止するようにしたことを特徴とするオーディオ・
    ビデオ復号再生装置。
  2. 【請求項2】 前記同期制御手段は、前記オーディオ符
    号化データ、ビデオ符号化データそれぞれについて、そ
    のフレーム周期で各PTCと前記STCとを比較するこ
    とを特徴とする請求項1記載のオーディオ・ビデオ復号
    再生装置。
  3. 【請求項3】 前記同期制御手段は、前記オーディオ符
    号化データ、ビデオ符号化データそれぞれについて、最
    初のPTCを検出したとき、予め設定される固定値t1
    に対して式(1) 0<(PTS−STC)<t1 …(1) を満たす場合にはそのPTCを誤り無しと判断し、式
    (1)を満たさない場合にはそのPTCを誤り有りと判
    断して、そのPTCを捨てて次のPTCをサーチするこ
    とを特徴とする請求項1記載のオーディオ・ビデオ復号
    再生装置。
  4. 【請求項4】 前記同期制御手段は、検出したPTCを
    誤り無しと判断したとき、式(2) STC−PTS≧0 …(2) を満たす場合には前記オーディオ復号手段、ビデオ復号
    手段に復号許可の情報を送り、式(2)を満たしていな
    い場合には前記オーディオ復号手段、ビデオ復号手段に
    復号不許可の情報を送ることを特徴とする請求項3記載
    のオーディオ・ビデオ復号再生装置。
  5. 【請求項5】 前記オーディオ復号手段は、前記復号不
    許可の情報が与えられたとき、無音を出力することを特
    徴とする請求項4記載のオーディオ・ビデオ復号再生装
    置。
  6. 【請求項6】 前記同期制御手段は、2番目以降のPT
    Sが検出されたとき、予め設定される固定値t2に対し
    て式(3) |STC−PTS|<t2 …(3) を満たす場合には、前記オーディオ復号手段、ビデオ復
    号手段に復号許可の情報を送ることを特徴とする請求項
    3記載のオーディオ・ビデオ復号再生装置。
  7. 【請求項7】 前記同期制御手段は、2番目以降のPT
    Sについて、前記式(3)を満たさないPTSが連続で
    N回以下ならば前記オーディオ復号手段、ビデオ復号手
    段を自走させ、前記式(3)を満たさないPTSが連続
    してN(Nは予め設定される固定値)回を越える場合に
    は、前記オーディオ符号化データ保存手段、ビデオ符号
    化データ保存手段にそれぞれ保存されたオーディオ符号
    化データの先頭まで読み飛ばすことによって保存データ
    をリセットすることを特徴とする請求項6記載のオーデ
    ィオ・ビデオ復号再生装置。
  8. 【請求項8】 前記同期制御手段は、オーディオ復号手
    段がM(Mは予め設定される固定値)フレーム連続でP
    TSを検出することなく自走した場合には、前記オーデ
    ィオ符号化データ保存手段、ビデオ符号化データ保存手
    段に蓄えられたオーディオ符号化データ、ビデオ符号化
    データの先頭まで読み飛ばすことによって保存データを
    リセットすることを特徴とする請求項6記載のオーディ
    オ・ビデオ復号再生装置。
  9. 【請求項9】 2番目以降のPTSを処理する過程で、
    前記FIFOメモリに蓄えられたオーディオ符号化デー
    タ、またはビデオ符号化データの先頭まで読み飛ばすこ
    とによってリセットした後の処理では、最初のPTSを
    検出した時と同じ処理に戻ることを特徴とする請求項8
    記載のオーディオ・ビデオ復号再生装置。
  10. 【請求項10】 オーディオ符号化データ、ビデオ符号
    化データがそれぞれ独立してパケット化され、各パケッ
    トには互いに同期して再生するためのシステム管理時刻
    (以下、STC)に基づく再生時刻管理情報(以下、P
    TC)が付加されたオーディオ・ビデオ多重信号を受け
    取り、 前記多重信号をオーディオ符号化データとビデオ符号化
    データに分離する分離手段と、 この分離手段で分離されたオーディオ符号化データを一
    時的に保存するオーディオ符号化データ保存手段と、 前記分離手段で分離されたビデオ符号化データを一時的
    に保存するビデオ符号化データ保存手段とを備え、 前記オーディオ符号化データ保存手段及びビデオ符号化
    データ保存手段にそれぞれ保存されたオーディオ符号化
    データ及びビデオ符号化データの復号再生を行うオーデ
    ィオ・ビデオ復号再生装置の同期再生方法において、 前記オーディオ符号化データ保存手段からオーディオ符
    号化データを取り出して前記PTCを読み取るオーディ
    オPTC読み取り手段と、 前記ビデオ符号化データ保存手段からビデオ符号化デー
    タを取り出して前記PTCを読み取るビデオPTC読み
    取り手段と、 前記STCを生成するSTC生成手段と、 前記オーディオ符号化データ保存手段からオーディオ符
    号化データを取り出して、前記STCを基準に、前記オ
    ーディオPTCに基づいて復号処理を行うオーディオ復
    号手段と、 前記ビデオ符号化データ保存手段からビデオ符号化デー
    タを取り出して、前記STCを基準に、前記ビデオPT
    Cに基づいて復号処理を行うビデオ復号手段と、 前記オーディオPTC読み取り手段及びビデオPTC読
    み取り手段で得られたそれぞれのPTCと前記STC生
    成手段で生成されたSTCとを比較して同期・非同期を
    検出し、同期が取れているときは復号許可の情報を、同
    期が取れていないときは復号不許可の情報を前記オーデ
    ィオ復号手段及びビデオ復号手段に送出する同期制御手
    段とを具備し、 前記同期制御手段は、前記PTSを最初に検出したとき
    に、最初のPTSに関する所定の関係を満たしていると
    き、そのPTSを誤り無しと判断し、所定の関係を満た
    していないとき、そのPTSを誤り有りと判断して次の
    PTSのサーチを行い、2番目以降のPTSに関して
    は、2番目以降のPTSに関する所定の関係を満たして
    いるとき、前記オーディオ復号手段及びビデオ復号手段
    に復号許可の情報を送り、満たしていなければ復号不許
    可の情報を送り、 前記オーディオ復号手段及びビデオ復号手段は、それぞ
    れ前記復号許可/不許可の情報に基づいて復号処理を開
    始/停止するようにしたことを特徴とするオーディオ・
    ビデオ復号再生装置の同期再生方法。
  11. 【請求項11】 前記同期制御手段は、前記オーディオ
    符号化データ、ビデオ符号化データそれぞれについて、
    そのフレーム周期で各PTCと前記STCとを比較する
    ことを特徴とする請求項10記載のオーディオ・ビデオ
    復号再生装置の同期再生方法。
  12. 【請求項12】 前記同期制御手段は、前記オーディオ
    符号化データ、ビデオ符号化データそれぞれについて、
    最初のPTCを検出したとき、予め設定される固定値t
    1に対して式(1) 0<(PTS−STC)<t1 …(1) を満たす場合にはそのPTCを誤り無しと判断し、式
    (1)を満たさない場合にはそのPTCを誤り有りと判
    断して、そのPTCを捨てて次のPTCをサーチするこ
    とを特徴とする請求項10記載のオーディオ・ビデオ復
    号再生装置の同期再生方法。
  13. 【請求項13】 前記同期制御手段は、検出したPTC
    を誤り無しと判断したとき、式(2) STC−PTS≧0 …(2) を満たす場合には前記オーディオ復号手段、ビデオ復号
    手段に復号許可の情報を送り、式(2)を満たしていな
    い場合には前記オーディオ復号手段、ビデオ復号手段に
    復号不許可の情報を送ることを特徴とする請求項12記
    載のオーディオ・ビデオ復号再生装置の同期再生方法。
  14. 【請求項14】 前記オーディオ復号手段は、前記復号
    不許可の情報が与えられたとき、無音を出力することを
    特徴とする請求項13記載のオーディオ・ビデオ復号再
    生装置の同期再生方法。
  15. 【請求項15】 前記同期制御手段は、2番目以降のP
    TSが検出されたとき、予め設定される固定値t2に対
    して式(3) |STC−PTS|<t2 …(3) を満たす場合には、前記オーディオ復号手段、ビデオ復
    号手段に復号許可の情報を送ることを特徴とする請求項
    12記載のオーディオ・ビデオ復号再生装置の同期再生
    方法。
  16. 【請求項16】 前記同期制御手段は、2番目以降のP
    TSについて、前記式(3)を満たさないPTSが連続
    でN回以下ならば前記オーディオ復号手段、ビデオ復号
    手段を自走させ、前記式(3)を満たさないPTSが連
    続してN(Nは予め設定される固定値)回を越える場合
    には、前記オーディオ符号化データ保存手段、ビデオ符
    号化データ保存手段にそれぞれ保存されたオーディオ符
    号化データの先頭まで読み飛ばすことによって保存デー
    タをリセットすることを特徴とする請求項15記載のオ
    ーディオ・ビデオ復号再生装置の同期再生方法。
  17. 【請求項17】 前記同期制御手段は、オーディオ復号
    手段がM(Mは予め設定される固定値)フレーム連続で
    PTSを検出することなく自走した場合には、前記オー
    ディオ符号化データ保存手段、ビデオ符号化データ保存
    手段に蓄えられたオーディオ符号化データ、ビデオ符号
    化データの先頭まで読み飛ばすことによって保存データ
    をリセットすることを特徴とする請求項15記載のオー
    ディオ・ビデオ復号再生装置の同期再生方法。
  18. 【請求項18】 2番目以降のPTSを処理する過程
    で、前記FIFOメモリに蓄えられたオーディオ符号化
    データ、またはビデオ符号化データの先頭まで読み飛ば
    すことによってリセットした後の処理では、最初のPT
    Sを検出した時と同じ処理に戻ることを特徴とする請求
    項17記載のオーディオ・ビデオ復号再生装置の同期再
    生方法。
JP2001078988A 2001-03-19 2001-03-19 オーディオ・ビデオ復号再生装置とその同期再生方法 Expired - Fee Related JP4380930B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001078988A JP4380930B2 (ja) 2001-03-19 2001-03-19 オーディオ・ビデオ復号再生装置とその同期再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001078988A JP4380930B2 (ja) 2001-03-19 2001-03-19 オーディオ・ビデオ復号再生装置とその同期再生方法

Publications (2)

Publication Number Publication Date
JP2002281445A true JP2002281445A (ja) 2002-09-27
JP4380930B2 JP4380930B2 (ja) 2009-12-09

Family

ID=18935514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001078988A Expired - Fee Related JP4380930B2 (ja) 2001-03-19 2001-03-19 オーディオ・ビデオ復号再生装置とその同期再生方法

Country Status (1)

Country Link
JP (1) JP4380930B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117323A1 (ja) * 2004-05-28 2005-12-08 Matsushita Electric Industrial Co., Ltd. トランスポートストリーム処理装置およびトランスポートストリーム処理方法
KR100561414B1 (ko) 2003-02-24 2006-03-16 삼성전자주식회사 브라우저블 슬라이드 쇼 제공을 위한 데이터 복호 장치,그 복호 방법 및 이를 위한 정보저장매체
JP2006340102A (ja) * 2005-06-02 2006-12-14 Nec Electronics Corp 同期再生装置および同期再生方法
EP1739963A1 (en) * 2005-06-30 2007-01-03 Kabushiki Kaisha Toshiba Information playback apparatus and information playback method
CN100379279C (zh) * 2004-06-01 2008-04-02 三洋电机株式会社 解码装置
WO2009040955A1 (ja) * 2007-09-28 2009-04-02 Fujitsu Limited エラー判定装置およびエラー判定方法
WO2010017742A1 (zh) * 2008-08-11 2010-02-18 深圳华为通信技术有限公司 解码***中接收视音频数据的处理方法及装置
US10397633B2 (en) * 2012-06-22 2019-08-27 Saturn Licensing Llc Receiver apparatus and synchronization processing method thereof

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100561414B1 (ko) 2003-02-24 2006-03-16 삼성전자주식회사 브라우저블 슬라이드 쇼 제공을 위한 데이터 복호 장치,그 복호 방법 및 이를 위한 정보저장매체
US7706400B2 (en) 2004-05-28 2010-04-27 Panasonic Corporation Transport stream processing device and transport stream processing method
JPWO2005117323A1 (ja) * 2004-05-28 2008-04-03 松下電器産業株式会社 トランスポートストリーム処理装置およびトランスポートストリーム処理方法
WO2005117323A1 (ja) * 2004-05-28 2005-12-08 Matsushita Electric Industrial Co., Ltd. トランスポートストリーム処理装置およびトランスポートストリーム処理方法
CN100379279C (zh) * 2004-06-01 2008-04-02 三洋电机株式会社 解码装置
JP2006340102A (ja) * 2005-06-02 2006-12-14 Nec Electronics Corp 同期再生装置および同期再生方法
EP1739963A1 (en) * 2005-06-30 2007-01-03 Kabushiki Kaisha Toshiba Information playback apparatus and information playback method
WO2009040955A1 (ja) * 2007-09-28 2009-04-02 Fujitsu Limited エラー判定装置およびエラー判定方法
US8290284B2 (en) 2007-09-28 2012-10-16 Fujitsu Limited Error determination device and error determination method
JP5212374B2 (ja) * 2007-09-28 2013-06-19 富士通株式会社 エラー判定装置およびエラー判定方法
WO2010017742A1 (zh) * 2008-08-11 2010-02-18 深圳华为通信技术有限公司 解码***中接收视音频数据的处理方法及装置
US8582947B2 (en) 2008-08-11 2013-11-12 Huawei Technologies Co., Ltd. Method and apparatus for processing video and audio data received in decoding system
US10397633B2 (en) * 2012-06-22 2019-08-27 Saturn Licensing Llc Receiver apparatus and synchronization processing method thereof

Also Published As

Publication number Publication date
JP4380930B2 (ja) 2009-12-09

Similar Documents

Publication Publication Date Title
US5396497A (en) Synchronization of audio/video information
US6148135A (en) Video and audio reproducing device and video decoding device
EP0618728B1 (en) Synchronization of audio/video information
US6449352B1 (en) Packet generating method, data multiplexing method using the same, and apparatus for coding and decoding of the transmission data
US20080101478A1 (en) Decoding device and decoding method
US20060013123A1 (en) Method and apparatus for processing transmission error in DMB system
US8872970B2 (en) System and method for transport stream sync byte detection with transport stream having multiple emulated sync bytes
US20040252978A1 (en) Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
US7839925B2 (en) Apparatus for receiving packet stream
US7706400B2 (en) Transport stream processing device and transport stream processing method
JP2002281445A (ja) オーディオ・ビデオ復号再生装置とその同期再生方法
KR101143907B1 (ko) 디지털 방송 재생 방법 및 장치
EP1641262B1 (en) Circuit for processing video signal containing information such as closed caption
RU2308098C2 (ru) Воспроизводящее устройство и способ и записывающий носитель
US20070147785A1 (en) Method of detecting information break position of multiplexed stream, sound digital broadcast recording apparatus, and recording control method
JPH06343065A (ja) デコーディングシステム、デマルチプレクス方法および信号処理方法
US6556626B1 (en) MPEG decoder, MPEG system decoder and MPEG video decoder
JP2002290910A (ja) マルチメディア情報記録再生装置
JP2003339019A (ja) 記録再生装置および記録再生方法
JP3917346B2 (ja) 画像復号装置及び画像復号方法
JP2001111610A (ja) 情報データ伝送システムの受信装置
JPH10210483A (ja) 動画像再生装置及びその方法
TWI762980B (zh) 數位串流錯誤檢查方法與電路系統
JP4373654B2 (ja) マルチメディア復号再生装置とその同期制御方法
RU2401465C2 (ru) Устройство и способ воспроизведения

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees