JP3133630B2 - Mpegシステムデコーダ - Google Patents
MpegシステムデコーダInfo
- Publication number
- JP3133630B2 JP3133630B2 JP31711594A JP31711594A JP3133630B2 JP 3133630 B2 JP3133630 B2 JP 3133630B2 JP 31711594 A JP31711594 A JP 31711594A JP 31711594 A JP31711594 A JP 31711594A JP 3133630 B2 JP3133630 B2 JP 3133630B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- circuit
- audio
- mpeg
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
ture Expert Group )システムデコーダに関するもので
ある。
な量でかつ、多種多様であり、これらの情報を高速に処
理することがマルチメディアの実用化を図る上で必要と
なってくる。情報を高速に処理するためには、データの
圧縮・伸長技術が不可欠となる。そのようなデータの圧
縮・伸長技術として「MPEG」方式が挙げられる。こ
のMPEG方式は、ISO(International Organizati
on for Standardization)/IEC(Intarnational El
ectrotechnical Commission )傘下のMPEG委員会
(ISO/IEC JTC1/SC29/WG11)によって標準化されつつあ
る。
る。パート1の「MPEGシステムパート」(ISO/IEC
IS 1172 Part1:Systems )では、ビデオデータとオーデ
ィオデータの多重化構造(マルチプレクス・ストラクチ
ャ)および同期方式が規定される。パート2の「MPE
Gビデオパート」(ISO/IEC IS 1172 Part2:Video )で
は、ビデオデータの高能率符号化方式、およびビデオデ
ータのフォーマットが規定される。パート3の「MPE
Gオーディオパート」(ISO/IEC IS 1172 Part3:Audio
)では、オーディオデータの高能率符号化方式、およ
びオーディオデータのフォーマットが規定される。
の違いにより、現在のところ、MPEG−1,MPEG
−2の2つの方式がある。MPEGビデオパートで取り
扱われるビデオデータは動画に関するものであり、その
動画は1秒間に数十個(例えば、30個)のフレームによ
って構成されている。ビデオデータは、シーケンス(Seq
uence)、GOP(Group Of Pictures )、ピクチャ、ス
ライス(Slice) 、マクロブロック(Macroblock)、ブロッ
クの順に6層の階層構造から成る。MPEG−1におい
てフレームはピクチャに対応している。MPEG−2に
おいては、フレーム又はフィールドをピクチャに対応さ
せることもできる。フィールドは、2個で1つのフレー
ムを構成している。ピクチャにフレームが対応している
構造はフレーム構造と呼ばれ、ピクチャにフィールドが
対応している構造はフィールド構造と呼ばれる。
圧縮技術を用いる。フレーム間予測は、フレーム間のデ
ータを時間的な相関に基づいて圧縮する。フレーム間予
測では、双方向予測が行われる。双方向予測とは、過去
の再生画像(又は、ピクチャ)から現在の再生画像を予
測する順方向予測と、未来の再生画像から現在の再生画
像を予測する逆方向予測とを併用することである。
cture ),Pピクチャ(Predictive-Picture),Bピク
チャ(Bidirectionally predictive-Picture)と呼ばれ
る3つのタイプのピクチャを規定している。Iピクチャ
は、過去や未来の再生画像とは無関係に、独立して生成
される。Pピクチャは順方向予測(過去のIピクチャま
たはPピクチャからの予測)により生成される。Bピク
チャは双方向予測により生成される。双方向予測におい
てBピクチャは、以下に示す3つの予測のうちいずれか
1つにより生成される。過去のIピクチャまたはPピ
クチャからの予測、未来のIピクチャまたはPピクチ
ャからの予測、過去および未来のIピクチャまたはP
ピクチャからの予測。そして、これらI,P,Bピクチ
ャがそれぞれエンコードされる。つまり、Iピクチャは
過去や未来のピクチャが無くても生成される。これに対
し、Pピクチャは過去のピクチャが無いと生成されず、
Bピクチャは過去または未来のピクチャが無いと生成さ
れない。
周期的に生成される。次に、Iピクチャよりも数フレー
ム先のフレームがPピクチャとして生成される。このP
ピクチャは、過去から現在への一方向(順方向)の予測
により生成される。続いて、Iピクチャの前、Pピクチ
ャの後に位置するフレームがBピクチャとして生成され
る。このBピクチャを生成するとき、順方向予測,逆方
向予測,双方向予測の3つの中から最適な予測方法が選
択される。一般的に連続した動画では、現在の画像とそ
の前後の画像とは良く似ており、異なっているのはその
一部分に過ぎない。そこで、前のフレーム(例えば、I
ピクチャ)と次のフレーム(例えば、Pピクチャ)とは
同じであると仮定し、両フレーム間に変化があればその
差分(Bピクチャ)のみを抽出して圧縮する。これによ
り、フレーム間のデータを時間的な相関に基づいて圧縮
することができる。
てエンコードされたビデオデータのデータ列(ビットス
トリーム)は、MPEGビデオストリーム(以下、ビデ
オストリームと略す)と呼ばれる。また、MPEGオー
ディオパートに準拠してエンコードされたオーディオデ
ータのデータ列は、MPEGオーディオストリーム(以
下、オーディオストリームと略す)と呼ばれる。そし
て、ビデオストリームとオーディオストリームは、MP
EGシステムパートに準拠して時分割多重化され、1本
のデータ列としてのMPEGシステムストリーム(以
下、システムストリームと略す)となる。システムスト
リームはマルチプレックスストリームとも呼ばれる。M
PEG−1は主にCD−ROM(Compact Disc-Read Onl
y Memory) などの蓄積メディアに対応しており、MPE
G−2はMPEG−1をも含む幅広い範囲のアプリケー
ションに対応している。
コードまでの流れは、以下のようになっている。MPE
Gシステムエンコーダ(以下、システムエンコーダと略
す)は、ビデオデータとオーディオデータのそれぞれを
連係を保ちながら別個にエンコードを行い、ビデオスト
リームとオーディオストリームを生成する。次に、MP
EGシステムエンコーダに装備されたマルチプレクサ
(Multiplexer )(MUX)は、伝送媒体または記録媒
体のフォーマットに適合するように、ビデオストリーム
とオーディオストリームの多重化を行い、システムスト
リームを生成する。そのシステムストリームは、伝送媒
体を介してMUXから伝送されるか、または記録媒体に
記録される。
ムデコーダと略す)に装備されたデマルチプレクサ(De
multiplexer )(DMUX)は、システムストリームを
ビデオストリームとオーディオストリームに分離する。
次に、システムデコーダは各ストリームを個別にデコー
ドして、ビデオのデコード出力(以下、ビデオ出力とい
う)とオーディオのデコード出力(以下、オーディオ出
力という)を生成する。そして、ビデオ出力はディスプ
レイへ、オーディオ出力はD/A(Digital/Analog)コ
ンバータおよび低周波増幅器を介してスピーカへそれぞ
れ出力される。
k)で構成され、各パックは複数のパケット(Packet)
で構成される。各パケットの中には、複数のアクセスユ
ニットが存在している。アクセスユニットとはデコード
再生を行うときの単位で、ビデオストリームの場合は1
つのピクチャに対応し、オーディオストリームの場合は
1つのオーディオフレームに対応している。
ックヘッダを付与し、パケットの先頭にパケットヘッダ
を付与する。パックヘッダは、SCR(System Clock R
eference)と呼ばれる同期再生用の基準時刻等の参照情
報を含む。ここで、再生とはビデオ出力とオーディオ出
力の外部への出力を意味する。
ータかオーディオデータかを識別するための情報や、タ
イムスタンプ(Time Stamp)(以下、TSと略す)と呼
ばれるデコード再生の時刻を管理するための情報を含
む。パケット長は、伝送媒体やアプリケーションに強く
依存し、例えば、ATM(Asynchronous Transfer Mod
e)のように、53バイトと短いものや、CD−ROMの
ように4096バイトと長いものがある。そして、パケット
長の上限は、64K バイトに定められている。
録は、セクタ(Sector)単位で連続して行われ、そのデ
ータの読み出しは、CD−ROMプレーヤによって毎秒
75セクタの一定速度で行われる。CD−ROMにおい
て、各セクタはそれぞれ1つのパックに対応し、パック
とパケットは同じである。
クセスユニットの先頭がある場合、パケットヘッダにそ
のアクセスユニットに対応するTSを付加し、パケット
の中にアクセスユニットの先頭がない場合、TSを付加
しない。また、システムエンコーダは、パケットの中に
2つ以上のアクセスユニットの先頭がある場合、パケッ
トヘッダに最初のアクセスユニットに対応するTSだけ
を付加する。
amp )とDTS(Decoding Time Stamp )の2種類があ
る。MPEGシステムパートは、STD(System Targe
t Decoder )と呼ばれる仮想的な基準デコーダによっ
て、デコードの標準を規定している。STDの基準クロ
ックとなるのは、STC(System Time Clock )とよば
れる同期信号である。
情報である。このPTSの精度は、90kHz のクロックで
計測した値が32ビット長で表される。システムデコーダ
はPTSとSTCが一致したときに、そのPTSが付加
されているアクセスユニットをデコードし、再生出力を
生成する。
フレーム間予測技術を用いるため、IピクチャとPピク
チャはBピクチャよりも先行してビデオストリームとし
て送出される。このため、システムデコーダは、ビデオ
ストリームを受け取ると、そのビデオストリームの各ピ
クチャの先頭に付くピクチャヘッダに基づいて、ピクチ
ャの順番を元の順番に並び替えてデコードし、ビデオ出
力を生成する。DTSは、ピクチャの並び替え後のデコ
ード開始時刻を管理するための情報である。システムエ
ンコーダは、PTSとDTSが異なる場合にはその両方
をパケットヘッダに付加し、一致する場合にはPTSだ
けを付加する。具体的には、Bピクチャのあるビデオス
トリームにおいて、IピクチャとPピクチャが存在する
パケットにはPTSとDTSの両方が付加され、Bピク
チャが存在するパケットにはPTSだけが付加される。
また、BピクチャのないビデオストリームにおいてはP
TSだけが付加される。
で意図された値にセットしたり校正したりするための情
報である。このSCRの精度は、MPEG−1では90kH
z のクロックで計測した値が32ビット長で表され、MP
EG−2では27kHz のクロックで計測した値が42ビット
長で表される。SCRは、MPEG−1では5バイト
で、MPEG−2では6バイトで伝送され、システムデ
コーダは、その最終バイトの到着の瞬間にSCRの値に
応じてSTCをセットする。
例を示す。1つのパックはパックヘッダH及び各パケッ
トV1,V2,A1…V6,V7から構成される。パケ
ットは、ビデオデータの各パケットV1〜V7とオーデ
ィオデータの各パケットA1〜A3とを含む。これらの
パケットは、ビデオデータ及びオーディオデータの一方
について見れば番号順に並べられているものの、ビデオ
データパケット及びオーディオデータパケットは相手の
中に混在している。例えば、ビデオデータのパケットV
1,V2の次にはオーディオデータのパケットA1が続
き、その次にはビデオデータのパケットV3が続き、更
にその後にはオーディオデータのパケットA2,A3が
続いている。ここで、パックヘッダHにはSCRが、パ
ケットV1のパケットヘッダにはPTS(V1)が、パケッ
トA1のパケットヘッダにはPTS(A1)が、パケットV
6のパケットヘッダにはPTS(V6)がそれぞれ付加され
ている。従って、図10(b)に示すように、各パケッ
トV1〜V5でアクセスユニットαが、図10(c)に
示すように各パケットA1〜A3でアクセスユニットβ
が、図10(d)に示すように各パケットV6,V7で
アクセスユニットγが構成される。この場合、アクセス
ユニットα,γはそれぞれ1つのピクチャに対応し、ア
クセスユニットβは1つのオーディオフレームに対応し
ている。尚、図10(a)〜図10(d)では、DTS
については省略してある。
のブロック回路を示す。システムデコーダ111は、M
PEGオーディオデコーダ112、MPEGビデオデコ
ーダ113、及びオーディオビデオパーサ(AVパー
サ)114から構成される。AVパーサ114内にはデ
マルチプレクサ(Demultiplexer )(DMUX)115
が備えられている。
きたシステムストリームを入力する。DMUX115
は、システムストリームのパケットヘッダに基づいて、
システムストリームをビデオストリームとオーディオス
トリームに分離する。すなわち、図10(a)に示すシ
ステムストリームは、ビデオデータの各パケットV1〜
V7から構成されるビデオストリームと、オーディオデ
ータの各パケットA1〜A3から構成されるオーディオ
ストリームとに分離される。
リームからSCR,オーディオのPTS(以下、PTS
(A) という),ビデオのPTS(以下、PTS(V) とい
う)をそれぞれ分離する。そして、AVパーサ114
は、オーディオストリーム,SCR,PTS(A) をそれ
ぞれオーディオデコーダ112へ出力し、ビデオストリ
ーム,SCR,PTS(V) をそれぞれビデオデコーダ1
13へ出力する。
ストリームをMPEGオーディオパートに準拠してデコ
ードし、オーディオ出力を生成する。ビデオデコーダ1
13は、ビデオストリームをMPEGビデオパートに準
拠してデコードし、ビデオ出力を生成する。ビデオ出力
はディスプレイ116へ、オーディオ出力はD/Aコン
バータおよび低周波増幅器を備えたオーディオ再生装置
117を介してスピーカ118へそれぞれ出力される。
デオデコーダ113はそれぞれ、SCRとPTSに基づ
いてオーディオ出力とビデオ出力の同期再生を行う。す
なわち、オーディオデコーダ112は、SCRとPTS
(A) (PTS(A1))に基づいてオーディオ出力の再生時
刻(再生タイミング)を設定し、図10(d)に示すよ
うに、アクセスユニットγの再生を時刻t3で開始す
る。ビデオデコーダ113は、SCRとPTS(V) (P
TS(V1),PTS(V6))に基づいてビデオ出力の再生時
刻(再生タイミング)を設定し、図10(b)及び図1
0(c)に示すように、各アクセスユニットα,βの再
生を各時刻t1,t2で開始する。このとき、オーディ
オデコーダ112におけるオーディオ出力の再生時刻の
設定と、ビデオデコーダ113におけるビデオ出力の再
生時刻の設定とは、各PTS(A) ,PTS(V) に従って
それぞれ別個に行われる。
オ出力の同期再生においては、「リップシンク」を考慮
する必要がある。リップシンクとは、ディスプレイに映
し出される人物の口の動きと音声との同期がとれている
ことをいう。口の動きよりも音声の方が早くなったり、
逆に遅くなったりする状態を、リップシンクにずれがあ
るという。リップシンクのずれは、人間の聴覚の検知限
界以下であれば問題とはならない。しかし、検知限界以
上であると視聴者は違和感を覚える。一般に、リップシ
ンクのずれの検知限界は、約数ミリ秒であるといわれて
いる。
1では、リップシンクを十分に達成することができな
い。この原因は、STD(基準デコーダ)のデコード処
理時間、すなわちSTDの内部遅延時間を零と仮定して
いるためである。実際のオーディオデコーダ112およ
びビデオデコーダ113のデコード処理時間は極めて短
いが0ではない。そのデコード処理時間(内部遅延時
間)は、各デコーダ112,113で異なる上に、処理
されるアクセスユニットのデータ量によっても異なる。
例えば、図10(b)〜図10(d)に示すような各ア
クセスユニットα〜γを構成するパケットの数は、通常
異なる上に、各パケットのパケット長も必ずしも同一で
はない。従って、通常各アクセスユニットα〜γのデー
タ量は異なったものになる。
に、PTS(V) とPTS(A) の差分の算出結果に応じて
ビデオ出力またはオーディオ出力のいずれか一方を遅延
させることにより、両者の同期を図る方法が提案されて
いる。しかし、この方法は、ビデオ出力またはオーディ
オ出力を遅延させるための遅延メモリを必要とする。こ
のことは回路規模の拡大化及びコストの増大を招く。さ
らに、遅延メモリの正確な制御は困難であると考えられ
ている。仮に、その制御をAVパーサ114が行うとす
れば、AVパーサ114に対するソフトウェア的な負荷
を重くし、AVパーサ114の動作に支障をきたす。
れたものであり、オーディオ出力とビデオ出力の同期を
十分にとることが可能なMPEGシステムデコーダを提
供することにある。
は、外部から転送されてきたMPEGシステムストリー
ムについて、MPEGシステムストリームのパケットヘ
ッダに基づき、MPEGシステムストリームをMPEG
ビデオストリームとMPEGオーディオストリームに分
離するデマルチプレクサと、MPEGシステムストリー
ムからSCRとオーディオのタイムスタンプとビデオの
タイムスタンプとをそれぞれ分離する分離手段と、オー
ディオレジスタとオーディオビットバッファとオーディ
オデコードコア回路とオーディオ制御回路とから構成さ
れるMPEGオーディオデコーダと、ビデオレジスタと
ビデオビットバッファとビデオデコードコア回路とビデ
オ制御回路とから構成されるMPEGビデオデコーダと
を備えたMPEGシステムデコーダであり、前記オーデ
ィオレジスタは、分離手段から転送されてきたオーディ
オのタイムスタンプを順次蓄積し、前記オーディオビッ
トバッファは、デマルチプレクサから転送されてきたオ
ーディオストリームを順次蓄積し、前記オーディオデコ
ードコア回路は、ビットバッファから読み出されたオー
ディオストリームをMPEGオーディオパートに準拠し
てデコードし、オーディオ出力を生成し、前記オーディ
オ制御回路は、MPEGオーディオデコーダにおけるデ
コード処理時間を計算し、そのデコード処理時間と、分
離手段から転送されてきたSCRと、レジスタから読み
出されたオーディオのタイムスタンプとに基づいてオー
ディオ出力の再生タイミングを計算し、その再生タイミ
ングに従ってデコードコア回路を制御し、前記ビデオレ
ジスタは、分離手段から転送されてきたビデオのタイム
スタンプを順次蓄積し、前記ビデオビットバッファは、
デマルチプレクサから転送されてきたビデオストリーム
を順次蓄積し、前記ビデオデコードコア回路は、ビット
バッファから読み出されたビデオストリームをMPEG
ビデオパートに準拠してデコードし、ビデオ出力を生成
し、前記ビデオ制御回路は、MPEGビデオデコーダに
おけるデコード処理時間を計算し、そのデコード処理時
間と、分離手段から転送されてきたSCRと、レジスタ
から読み出されたビデオのタイムスタンプとに基づいて
ビデオ出力の再生タイミングを計算し、その再生タイミ
ングに従ってデコードコア回路を制御し、前記MPEG
オーディオデコーダは、 オーディオビットバッファの内
部遅延時間とオーディオデコードコア回路の内部遅延時
間とオーディオレジスタから読み出されたオーディオの
タイムスタンプとに基づいて第2のタイムスタンプを生
成し、前記ビデオ制御回路は、ビデオのタイムスタンプ
とピクチャとのマッピングを行い、ビデオデコードコア
回路の内部遅延時間とビデオレジスタから読み出された
ビデオのタイムスタンプと第2のタイムスタンプとに基
づいて、ビデオデコードコア回路にスキップ動作または
リピート動作を行わせ、前記ビデオ制御回路から生成さ
れるビデオデコードコア回路にスキップ動作またはリピ
ート動作を行わせるための制御信号の誤りを判定して補
正するスキップ判定回路またはリピート判定回路を備え
たことをその要旨とする。
れてきたMPEGシステムストリームについて、MPE
Gシステムストリームのパケットヘッダに基づき、MP
EGシステムストリームをMPEGビデオストリームと
MPEGオーディオストリームに分離するデマルチプレ
クサと、MPEGシステムストリームからSCRとオー
ディオのタイムスタンプとビデオのタイムスタンプとを
それぞれ分離する分離手段と、オーディオレジスタとオ
ーディオビットバッファとオーディオデコードコア回路
とオーディオ制御回路とから構成されるMPEGオーデ
ィオデコーダと、ビデオレジスタとビデオビットバッフ
ァとビデオデコードコア回路とビデオ制御回路とから構
成されるMPEGビデオデコーダとを備えたMPEGシ
ステムデコーダであり、前記オーディオレジスタは、F
IFO構成で、分離手段から転送されてきたオーディオ
のタイムスタンプを順次蓄積し、前記オーディオビット
バッファはFIFO構成のRAMから成り、デマルチプ
レクサから転送されてきたオーディオストリームを順次
蓄積し、前記オーディオデコードコア回路は、ビットバ
ッファから読み出されたオーディオストリームをMPE
Gオーディオパートに準拠してデコードし、オーディオ
出力を生成し、前記オーディオ制御回路は、ビットバッ
ファからオーディオストリームが読み出されるのに要す
る時間と,デコードコア回路におけるデコード処理時間
とからMPEGオーディオデコーダにおけるデコード処
理時間を計算し、そのデコード処理時間と、分離手段か
ら転送されてきたSCRと、レジスタから読み出された
オーディオのタイムスタンプとに基づいてオーディオ出
力の再生タイミングを計算し、その再生タイミングに従
ってデコードコア回路を制御し、前記ビデオレジスタ
は、FIFO構成で、分離手段から転送されてきたビデ
オのタイムスタンプを順次蓄積し、前記ビデオビットバ
ッファはFIFO構成のRAMから成り、デマルチプレ
クサから転送されてきたビデオストリームを順次蓄積
し、前記ビデオデコードコア回路は、ビットバッファか
ら読み出されたビデオストリームをMPEGビデオパー
トに準拠してデコードし、ビデオ出力を生成し、前記ビ
デオ制御回路は、ビットバッファからビデオストリーム
が読み出されるのに要する時間と,デコードコア回路に
おけるデコード処理時間とからMPEGビデオデコーダ
におけるデコード処理時間を計算 し、そのデコード処理
時間と、分離手段から転送されてきたSCRと、レジス
タから読み出されたビデオのタイムスタンプとに基づい
てビデオ出力の再生タイミングを計算し、その再生タイ
ミングに従ってデコードコア回路を制御し、前記MPE
Gオーディオデコーダは、遅延時間算出回路とオーディ
オ減算回路と加算回路とサンプリング周波数検出回路と
を備えたタイムスタンプ生成回路を備え、前記遅延時間
算出回路は、オーディオビットバッファの内部遅延時間
を算出し、前記オーディオ減算回路は、オーディオビッ
トバッファの内部遅延時間とオーディオデコードコア回
路の内部遅延時間とオーディオレジスタから読み出され
たオーディオのタイムスタンプとに基づいて、オーディ
オのタイムスタンプから各内部遅延時間の和を減算した
値を生成し、前記サンプリング周波数検出回路は、オー
ディオストリームからオーディオデータのサンプリング
周波数を検出し、そのサンプリング周波数に対応したク
ロックを生成し、前記加算回路は、オーディオ減算回路
の生成した値と前記クロックを加算して第2のタイムス
タンプを生成し、前記ビデオ制御回路は、ライトアドレ
ス検出回路とリードアドレス検出回路とピクチャヘッダ
検出回路とマッピング回路と第2のレジスタと同期判定
回路と第1および第2の比較処理回路と第1および第2
のビデオ減算回路とを備え、前記ライトアドレス検出回
路は、外部から転送されてきたビデオストリームにおけ
るビデオのタイムスタンプが付加されていたパケットが
ビデオビットバッファに書き込まれるときに、そのパケ
ットのビデオビットバッファにおけるアドレスを検出
し、前記ビデオレジスタは、ライトアドレス検出回路に
よって検出されたアドレスとビデオのタイムスタンプと
を対応付けて順次蓄積し、前記リードアドレス検出回路
は、ビデオビットバッファから読み出されたビデオスト
リームのアドレスを検出し、前記ピクチャヘッダ検出回
路は、ビデオビットバッファに書き込まれたビデオスト
リームの各ピクチャの先頭に付くピクチャヘッダを検出
し、そのピクチャヘッダに規定されているピクチャのタ
イプを検出し、前記第1の比較処理回路は、ビデオビッ
トバッファから読み出されたビデオストリームのアドレ
スと、ビデオレジスタから読み出されたビデオのタイム
スタンプに対応するアドレスとを比較し、両アドレスが
一致するかどうかを検出し、前記マッピング回路は、第
1の比較処理回路およびピクチャヘッダ検出回路の検出
結果とに基づいて、ビ デオのタイムスタンプとピクチャ
とのマッピングを行い、前記第2のレジスタは1段のス
タックで構成され、フレーム間予測技術に従い、ピクチ
ャヘッダ検出回路によって検出されたピクチャのタイプ
に基づいて、IピクチャまたはPピクチャに対応するビ
デオのタイムスタンプを、Bピクチャに対応するビデオ
のタイムスタンプと入れ替え、前記第1のビデオ減算回
路は、ビデオデコードコア回路の内部遅延時間と外部か
ら指定された第1の値と第2のレジスタから読み出され
たビデオのタイムスタンプとに基づいて、ビデオのタイ
ムスタンプから、内部遅延時間と外部から指定された第
1の値の和を減算した値を生成し、前記第2のビデオ減
算回路は、タイムスタンプ生成回路から生成された第2
のタイムスタンプから第1のビデオ減算回路の生成した
値を減算した値を生成し、前記第2の比較処理回路は、
外部から指定された第2の値と第2のビデオ減算回路の
生成した値を比較し、前記同期判定回路は、マッピング
回路によってビデオのタイムスタンプとピクチャとのマ
ッピングが行われると、第2の比較処理回路の比較結果
に基づいて、ビデオデコードコア回路にスキップ動作ま
たはリピート動作を行わせるための制御信号を生成し、
前記ビデオデコードコア回路では、スキップ動作におい
て、ビデオビットバッファから転送されてくるピクチャ
が廃棄され、その廃棄されたピクチャについてはデコー
ドが行われず、リピート動作において、ビデオビットバ
ッファから転送されてきたピクチャのビデオ出力が引き
続き出力され、前記ビデオ制御回路から生成されるビデ
オデコードコア回路にスキップ動作またはリピート動作
を行わせるための制御信号の誤りを判定して補正するス
キップ判定回路またはリピート判定回路を備えたことを
その要旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が、一定
回数以上連続して生成されたときに、その制御信号を有
効化する第1のスキップ有効化手段を備えたことをその
要旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が生成さ
れてから一定時間後に、その制御信号を有効化する第2
のスキップ有効化手段を備えたことをその要旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が、一定
回数以上連続して生成されたときに、その制御信号を有
効化する第1のリピート有効化手段を備えたことをその
要旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が生成さ
れてから一定時間後に、その制御信号を有効化する第2
のリピート有効化手段を備えたことをその要旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が一定回
数以上連続して生成されたときに、その制御信号を有効
化し、その制御信号が所定の回数連続して生成されてい
れば、最初に生成されてから一定時間後に、その制御信
号を有効化するスキップ判定回路を備えたことをその要
旨とする。
請求項2に記載のMPEGシステムデコーダにおいて、
前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が一定回
数以上連続して生成されたときに、その制御信号を有効
化し、その制御信号が所定の回数連続して生成されてい
れば、最初に生成されてから一定時間後に、その制御信
号を有効化するリピート判定回路を備えたことをその要
旨とする。
いずれか1項に記載のMPEGシステムデコーダにおい
て、前記ビデオデコードコア回路のスキップ動作はBピ
クチャが優先して行われることをその要旨とする。
ば、MPEGオーディオデコーダの内部遅延時間は、オ
ーディオビットバッファの内部遅延時間とオーディオデ
コードコア回路の内部遅延時間とによって規定される。
そして、各遅延時間とオーディオのタイムスタンプとに
基づいて第2のタイムスタンプが生成される。
タイムスタンプとMPEGビデオデコーダの内部遅延時
間とに基づいて、ビデオデコードコア回路にスキップ動
作またはリピート動作を行わせる。その結果、各デコー
ダの内部遅延時間が変化しても、各出力の同期を十分に
とることができる。
指定された第1の値を調整することにより、オーディオ
出力の位相とビデオ出力の位相とを任意にずらすことが
できる。また、外部から指定された第2の値を調整する
ことにより、オーディオ出力とビデオ出力の同期の精度
を任意に設定することができる。そして、制御信号の誤
りを判定して補正することにより、各出力の同期をさら
に正確にとることができる。
れば、制御信号が一定回数以上連続して生成されない
と、その制御信号は有効化されない。すなわち、制御信
号が一定回数未満しか連続して生成されない場合、その
制御信号は誤りであると判定されて補正される。その結
果、各出力の同期をさらに正確にとることができる。
れば、制御信号が生成されてから一定時間後でないと、
その制御信号は有効化されない。その結果、各出力の同
期をさらに正確にとることができる。
れば、請求項4と請求項5または請求項6と請求項7を
併用することにより、各発明の相乗作用によりさらに効
果を高めることができる。
低いBピクチャをIピクチャやPPピクチャよりも優先
してスキップすることにより、再生される動画に生じる
コマ落ちが少なくなり、動画の動きが滑らかなものにな
る。
ムデコーダを図面を参照しつつ説明する。図1は、本実
施例のMPEGシステムデコーダ1のブロック回路を示
す。
オデコーダ2、MPEGビデオデコーダ3、オーディオ
ビデオパーサ(AVパーサ)4を備えている。AVパー
サ4は、デマルチプレクサ(Demultiplexer )(DMU
X)5を備えており、外部機器(例えば、ビデオCDプ
レーヤ)から転送されてきたMPEGシステムストリー
ムを入力する。DMUX5は、システムストリームのパ
ケットヘッダに従いシステムストリームをMPEGビデ
オストリームとMPEGオーディオストリームに分離す
る。AVパーサ4は、システムストリームからSCR,
オーディオのPTS(以下、PTS(A) という),ビデ
オのPTS(以下、PTS(V) という)をそれぞれ分離
する。オーディオストリーム,SCR,PTS(A) は、
それぞれオーディオデコーダ2へ出力され、ビデオスト
リーム,SCR,PTS(V) は、それぞれビデオデコー
ダ3へ出力される。
ビットバッファ12,デコードコア回路13,制御回路
14を備えている。レジスタ11はFIFO(First-In
-First-Out)構成で、PTS(A) を順次蓄積する。ビッ
トバッファ12はFIFO構成のRAM(Random Acces
s Memory)から成り、オーディオストリームを順次蓄積
する。デコードコア回路13は、ビットバッファ12か
ら供給されたオーディオストリームをMPEGオーディ
オパートに準拠してデコードし、オーディオ出力を生成
する。制御回路14は、オーディオデコーダ2における
デコード処理時間すなわち、オーディオデコーダ2の内
部遅延時間と、SCRおよびPTS(A)とを基にオーデ
ィオ出力の再生時刻(再生タイミング)を計算し、その
計算結果に従ってデコードコア回路13を制御する。
トバッファ22,デコードコア回路23,制御回路24
を備えている。レジスタ21はFIFO構成で、PTS
(V)を順次蓄積する。ビットバッファ22はFIFO構
成のRAMから成り、ビデオストリームを順次蓄積す
る。デコードコア回路23は、ビットバッファ22から
供給されたビデオストリームをMPEGビデオパートに
準拠してデコードし、ビデオ出力を生成する。制御回路
24は、ビデオデコーダ3におけるデコード処理時間、
すなわちビデオデコーダ3の内部遅延時間と、SCRお
よびPTS(V) とを基にビデオ出力の再生時刻を計算
し、その計算結果に従ってデコードコア回路23を制御
する。
へ、オーディオ出力はD/Aコンバータ(図示略)およ
び低周波増幅器(図示略)を備えたオーディオ再生装置
26を介してスピーカ27へそれぞれ出力される。
図10Aに示すような構成のシステムストリームを入力
すると、ビデオデータの各パケットV1〜V7から構成
されるビデオストリームと、オーディオデータの各パケ
ットA1〜A3から構成されるオーディオストリームと
に分離する。
ーダ2の内部遅延時間と、SCRおよびPTS(A) (P
TS(A1))とを基にオーディオ出力の再生時刻を設定
し、図10Bに示すように、アクセスユニットγの再生
を時刻t3で開始する。更に詳しく説明すると、制御回
路14はレジスタ11からPTS(A1)を読み出し、ビッ
トバッファ12からオーディオストリームを読み出して
デコードコア回路13へ転送する。このとき、制御回路
14は、オーディオデコーダ2の内部遅延時間と、SC
RおよびPTS(A1)とを基にオーディオ出力の再生時刻
を計算する。デコードコア回路13は、MPEGオーデ
ィオパートに準拠してオーディオストリームの各パケッ
トA1〜A3をデコードして、オーディオ出力を生成す
る。制御回路14は、計算された再生時刻(外部への出
力時刻)に従ってオーディオ出力が再生されるようにデ
コードコア回路13を制御する。
延時間は、ビットバッファ12からオーディオストリー
ムが読み出されるのに要する時間(ビットバッファ12
の内部遅延時間)と、デコードコア回路13におけるデ
コード処理時間(デコードコア回路13の内部遅延時
間)との和である。ビットバッファ12の内部遅延時間
は、ビットバッファ12におけるオーディオストリーム
の占有量によって変化し、その占有量が大きいほど内部
遅延時間も大きくなる。デコードコア回路13の内部遅
延時間は一定である。レジスタ11からPTS(A) が読
み出されるのに要する時間は、ビットバッファ12の内
部遅延時間に比べて小さく、制御回路14における信号
処理時間と合わせても無視できる程度である。
内部遅延時間と、SCRおよびPTS(V) (PTS(V
1),PTS(V6))とを基にビデオ出力の再生時刻を設定
し、図10B,図10Cに示すように、各アクセスユニ
ットα,βの再生を各時刻t1,t2で開始する。詳し
く説明すると、制御回路24はPTS(V1),PTS(V6)
をそれぞれレジスタ21から読み出し、ビットバッファ
22からビデオストリームを読み出してデコードコア回
路23へ転送する。制御回路24は、ビデオデコーダ3
の内部遅延時間と、SCRおよび各PTS(A1),PTS
(V6)とを基にビデオ出力の再生時刻を計算する。デコー
ドコア回路23は、MPEGビデオパートに準拠してビ
デオストリームの各パケットV1〜V7をデコードし、
ビデオ出力を生成する。制御回路24は、計算された再
生時刻(外部への出力時刻)に従ってビデオ出力が再生
されるようにデコードコア回路23を制御する。
間は、ビットバッファ22からビデオストリームが読み
出されるのに要する時間(ビットバッファ22の内部遅
延時間)と、デコードコア回路23におけるデコード処
理時間(デコードコア回路23の内部遅延時間)との和
である。ビットバッファ22の内部遅延時間は、ビット
バッファ22におけるビデオストリームの占有量によっ
て変化し、その占有量が大きいほど内部遅延時間も大き
くなる。デコードコア回路23の内部遅延時間は一定値
である。制御回路24は、PTS(V) が読み出されるの
に要する時間がビットバッファ22の内部遅延時間と同
一になるようにレジスタ21を制御する。
出力の再生時刻の設定と、ビデオデコーダ3におけるビ
デオ出力の再生時刻の設定とは、各PTS(A) ,PTS
(V)に従ってそれぞれ別個に行われる。
およびPTSだけでなく、各デコーダ2,3の内部遅延
時間も考慮してオーディオ出力およびビデオ出力の再生
時刻が設定される。このことは、オーディオ出 とビデ
オ出力の同期(リップシンク)を十分にとることを可能
にする。このことは、ビデオ出力及びオーディオ出力の
うちいずれか一方を遅延させるための遅延メモリを設け
る必要をなくし、遅延メモリを設けることによる回路規
模およびコストの増大を回避することを可能にする。
〜図5に従って説明する。尚、本実施例において、第1
実施例と同じ構成部材については符号を等しくしてその
詳細な説明を省略する。
ーダ31のブロック回路を示す。システムデコーダ31
は、MPEGオーディオデコーダ32、MPEGビデオ
デコーダ33、及びAVパーサ4を備えている。AVパ
ーサ4はデマルチプレクサ(DMUX)5を備えてい
る。
ーム,SCR,PTS(A) をそれぞれオーディオデコー
ダ32へ出力し、ビデオストリーム,PTS(V) をそれ
ぞれビデオデコーダ33へ出力する。ここで、本実施例
では、第1実施例と異なり、AVパーサ4はビデオデコ
ーダ33へSCRを提供しない。
1,ビットバッファ12,デコードコア回路13,制御
回路14,及びタイムスタンプ生成回路41を備えてい
る。タイムスタンプ生成回路41は、後記するように、
タイムスタンプA2-PTS(以下、A2-PTSと略す)
を生成する。制御回路14は、レジスタ11,ビットバ
ッファ12及びデコードコア回路13と同様に、タイム
スタンプ生成回路41も制御する。尚、制御回路14
は、SCRおよびPTS(A) を基にオーディオ出力の再
生時刻(再生タイミング)を計算し、オーディオデコー
ダ32の内部遅延時間については考慮しない。
ットバッファ22,デコードコア回路23,及び制御回
路42を備えている。制御回路42は、ビデオ出力の再
生時刻を計算し、その計算結果に従ってデコードコア回
路23を制御する。その再生時刻は、タイムスタンプ生
成回路41から生成されたA2-PTSと、ビデオデコー
ダ33のデコード処理時間、すなわちビデオデコーダ3
3の内部遅延時間(以下、ビデオデコード遅延時間とい
う)D(t) と、PTS(V) とを基に計算される。ビデオ
デコード遅延時間D(t) は、ビットバッファ22の内部
遅延時間VDと、デコードコア回路23の内部遅延時間
ΔVとの和である。
ロック回路を示す。タイムスタンプ生成回路41は、遅
延時間算出回路51、減算回路52、サンプリング周波
数検出回路53、及び加算回路54を備えている。遅延
時間算出回路51は、ビットバッファ12の内部遅延時
間ADを算出する。内部遅延時間ADはビットバッファ
12におけるオーディオストリームの占有量によって変
化し、占有量が大きいほど内部遅延時間ADも大きくな
る。減算回路52は、レジスタ11から読み出されたP
TS(A) から内部遅延時間AD及びデコードコア回路1
3の内部遅延時間ΔAの和を減算し、A1-PTSを生成
する。すなわち、以下の式に従ってA1-PTSが生成さ
れる。
延時間AD,ΔAの影響が加味される。内部遅延時間Δ
Aは一定値である。
ディオストリームからオーディオデータのサンプリング
周波数を検出し、そのサンプリング周波数に対応したク
ロック信号CKを生成する。このサンプリング周波数
は、CD(Compact Disc)の規格では44.1kHz に定められ
ている。加算回路54は、A1-PTSとクロックCKを
加算してA2-PTSを生成する。ここで、A1-PTSに
クロックCKを加算するのは、リアルタイムにA2-PT
Sを生成するためである。前記したように、PTS(A)
は、パケットの中にオーディオフレーム(又は、アクセ
スユニット)の先頭がある場合、そのパケットのパケッ
トヘッダに付加される。しかし、パケットの中にオーデ
ィオフレームの先頭がない場合、PTS(A) は付加され
ない。パケットの中に2つ以上のオーディオフレームの
先頭がある場合、最初のオーディオフレームに対応する
PTS(A) だけが、そのパケットのパケットヘッダに付
加される。パケットの中にオーディオフレームの先頭が
ある場合でも、そのパケットのパケットヘッダに必ずP
TS(A) が付加されているとは限らない。このようにP
TS(A) が付加されることにより、レジスタ11からは
PTS(A) が間欠的にしか読み出されない。従って、タ
イムスタンプ生成回路41は、レジスタ11からPTS
(A) が読み出されないとき、前に読み出されたPTS
(A) からA1-PTSを生成し、そのA1-PTSにクロッ
クCKを加算してA2-PTSを生成する。これにより、
タイムスタンプ生成回路41は、リアルタイムにA2-P
TSを生成する。そのA2-PTSは、レジスタ11から
新たなPTS(A) が読み出される度に、それ以前に生成
されたA2-PTSとは関係なく、新たに生成される。
は、オーディオデコーダ32の内部遅延時間(=AD+
ΔA)と、オーディオデータのサンプリング周波数に対
応したクロックCKとを基にA2-PTSを生成する。従
って、A2-PTSには、PTS(A) に対して各内部遅延
時間AD,ΔAおよびクロックCKの影響が加味され
る。
路を示す。制御回路42は、ライトアドレス検出回路6
1、リードアドレス検出回路62、ピクチャヘッダ検出
回路63、マッピング回路64、レジスタ65、同期判
定回路66、第1及び第2比較処理回路67,70、第
1及び第2減算回路68,69、及び各回路61〜70
を制御する制御コア回路71を備えている。制御コア回
路71は、ビットバッファ22及びデコードコア回路2
3も制御する。
ッファ22にビデオストリームが蓄積されるとき、PT
S(V) が付加されていたパケットのアドレスAddを検出
する。詳しく説明すると、AVパーサ4は、ビデオスト
リームからPTS(V) を分離し、ビットバッファ22が
そのビデオストリームを蓄積し、レジスタ21がそのP
TS(V) を蓄積する。このとき、ライトアドレス検出回
路61は、PTS(V)が分離されることなく、それを付
加したビデオストリームがビットバッファ22に書き込
まれたものとして、PTS(V) が付加されていたパケッ
トのアドレスAddを検出する。このことは、その検出さ
れたアドレスAddが、PTS(V) のアドレスに対応して
いることを意味する。このように、パケットのアドレス
AddをPTS(V) のアドレスに対応させることが可能な
のは、以下の理由による。パケットのデータ量に比べて
PTS(V) のデータ量は十分に小さく、ビデオストリー
ムにPTS(V) を含ませても、ビットバッファ22に蓄
積されるパケットのアドレスは変化しない。
AddをPTS(V) と対応付けてレジスタ21に順次蓄積
する。レジスタ21は例えば、(n+1)段のスタック
で構成されている。レジスタ21には、ビデオストリー
ムから順次分離された(n+1)個の各PTS(Vm ) 〜
PTS(Vm+n ) が、対応する各アドレスAddm 〜Add
m+n とワンセットで順次蓄積される。リードアドレス検
出回路62は、ビットバッファ22から読み出されたビ
デオストリームのアドレスを検出する。ピクチャヘッダ
検出回路63は、ビットバッファ22に書き込まれたビ
デオストリームの各ピクチャの先頭に付くピクチャヘッ
ダを検出し、その各ピクチャヘッダに規定されているピ
クチャのタイプ(I,P,B)をそれぞれ検出する。制
御コア回路71は、その検出結果に従って、ビットバッ
ファ22から一定の周期毎に1つのピクチャ分のビデオ
ストリームを読み出す。
22から読み出されたビデオストリームのアドレスと、
レジスタ21から読み出されたPTS(V) (PTS
(Vm ) )に対応するアドレスAdd(Addm )とを比較
し、両アドレスが一致するかどうかを判定する。マッピ
ング回路64は、第1比較処理回路67の判定結果とピ
クチャヘッダ検出回路63の検出結果に従って、PTS
(V) とピクチャとのマッピングを行う。このマッピング
については以下に説明する。
5(a),図5(b)に示すビデオストリームの一例に
従って説明する。図5(a)に示すように、ビデオスト
リームは、2つのパケットP,Qから構成され、各パケ
ットP,QのパケットヘッダにはPTS(Vm ) ,PTS
(Vm+1 ) がそれぞれ付加されている。パケットPは3つ
のBピクチャB1,B2,B3を含んでいる。このBピ
クチャB1の先頭は、パケットPの中にはない。パケッ
トQはBピクチャB3、IピクチャI1、及びPピクチ
ャP1を含んでいる。このBピクチャB3の先頭は、パ
ケットQの中にはない。つまり、PTS(Vm ) はBピク
チャB2,B3に対応したPTS(V) であり、PTS(V
m+1 ) はIピクチャI1,PピクチャP1に対応したP
TS(V)である。そして、各PTS(Vm ) ,PTS(V
m+1 ) には各アドレスAddm ,Add m+1 が対応し、各P
TS(Vm ) ,PTS(Vm+1 ) および各アドレスAddm ,
Add m+1 はレジスタ21に蓄積されている。図5(a)
に示すビデオストリームは、ビットバッファ22内で
は、図5(b)に示すように、各PTS(Vm ) ,PTS
(Vm+1 ) が除かれた状態で蓄積される。
が読み出されると、リードアドレス検出回路62はその
ビデオストリームのアドレスを検出し、第1比較処理回
路67はそのアドレスと、レジスタ21に蓄積されてい
るアドレスAddm とを比較する。ピクチャヘッダ検出回
路63は、読み出されたビデオストリームのピクチャの
先頭に付くピクチャヘッダを検出する。第1比較処理回
路67がその両アドレスが一致していると判定すると、
マッピング回路64は、検出されたピクチャヘッダが先
頭に付くピクチャ(この場合、BピクチャB2)が、ア
ドレスAddm (すなわち、PTS(Vm ) )に対応してい
ると判定する。具体的には、図5(a)に示すように、
マッピング回路64は、PTS(Vm ) に対応するのはB
ピクチャB1ではなくBピクチャB2であり、PTS(V
m+1 ) に対応するのはBピクチャB3ではなくIピクチ
ャI1であることを判定する。この判定動作がマッピン
グである。
62〜64,67がビットバッファ22の内部遅延時間
VDを算出するのと同等の動作を行う。すなわち、ビッ
トバッファ22からデコードコア回路にビデオストリー
ムが提供されるときに、各ピクチャとPTS(V) の対応
付けを行うことが、内部遅延時間VDの算出に相当す
る。そのため、レジスタ21から読み出されたPTS
(V) には、レジスタ21に書き込まれたときのPTS
(V) に対して、ビットバッファ22の内部遅延時間VD
の影響が加味されている。ビデオデコーダ33における
各回路62〜64,67の動作は、オーディオデコーダ
32における遅延時間算出回路51の動作に対応する。
その内部遅延時間VDは、ビットバッファ22のビデオ
ストリームの占有量によって変化し、その占有量が大き
いほど内部遅延時間VDも大きくなる。
れ、フレーム間予測技術に従う動作を行う。その動作
は、ピクチャヘッダ検出回路63によって検出されたピ
クチャのタイプ(I,P,B)に応じて、Iピクチャま
たはPピクチャに対応するPTS(V) と、Bピクチャに
対応するPTS(V) とを入れ替える。
み出されたPTS(V) からデコードコア回路23の内部
遅延時間ΔVと、図2に示す外部の入力装置43にて設
定された値xとの和を減算し、V1-PTSを生成する。
すなわち、以下の式に従ってV1-PTSが生成される。
は、内部遅延時間VDの影響が反映されている。そのた
め、V1-PTSには、レジスタ21に書き込まれたPT
S(V) に対して、ビデオデコード遅延時間D(t) (=V
D+ΔV)および値xの影響が反映されている。内部遅
延時間ΔVは一定の値である。値xはユーザが入力装置
43を操作することにより設定される。
回路41から生成されたA2-PTSからV1-PTSを減
算し、V2-PTSを生成する。すなわち、以下の式に従
ってV2-PTSが生成される。
2-PTS−PTS(V) +ΔV+x ここで、A2-PTSはリアルタイムに生成されている。
従って、V1-PTSがどのようなタイミングで生成され
ても、V2-PTSは確実(又は、リアルタイム)に生成
される。
の入力装置44にて設定された値yとV2-PTSを比較
する。値yは、ユーザが入力装置44を操作することに
より設定され、1つのピクチャが再生されている時間の
半分よりも大きくなるように設定される。同期判定回路
66は、マッピング回路64によってPTS(V) とピク
チャとのマッピングが行われると、第2比較処理回路7
0の比較結果に従って、各制御信号SS ,Sn ,SR を
生成する。同期判定回路66は、V2-PTS<−yの場
合は制御信号SS を生成する。同期判定回路66は、−
y≦V2-PTS≦y(即ち、|V2-PTS|≦y)の場
合は制御信号Sn を生成し、y<V2-PTSの場合は制
御信号SR をそれぞれ生成する。
1-PTSに比べて値yが十分に小さいとき、以下の各場
合に応じて各制御信号SS ,Sn ,SR を生成する。同
期判定回路66は、A2-PTS<V1-PTSの場合は制
御信号SS を生成する。同期判定回路66は、A2-PT
S=V1-PTSの場合は制御信号Sn を生成し、A2-P
TS>V1-PTSの場合は制御信号SR をそれぞれ生成
する。その各制御信号SS ,Sn ,SR はデコードコア
回路23に入力され、そのデコードコア回路23を制御
する。
22から読み出されたビデオストリームをデコードし、
各ピクチャ毎にビデオ出力を生成する。ここで、制御信
号SS が生成されているとき、デコードコア回路23は
スキップ動作を行う。詳しく説明すると、デコードコア
回路23は、制御信号SS が生成されている間、ビット
バッファ22から転送されてくるピクチャを廃棄し、そ
の廃棄されたピクチャについてはデコードを行わない。
そして、制御信号SS の生成が停止されると、デコード
コア回路23は通常の動作に戻る。その結果、ディスプ
レイ25では、再生画面が数コマ分だけ飛ぶスキップ再
生が行われる。
ードコア回路23は通常の動作を行い、ディスプレイ2
5では通常の再生が行われる。制御信号SR が生成され
ているとき、デコードコア回路23はリピート動作を行
う。詳しく説明すると、デコードコア回路23は、制御
信号SR が生成されている間、その制御信号SR が生成
される前にビットバッファ22から転送されたピクチャ
のビデオ出力の出力を引き続き行う。そして、制御信号
SR の生成が停止されると、デコードコア回路23は通
常の動作に戻る。その結果、ディスプレイ25では、同
じ再生画面が続くリピート再生が行われる。
べて値yが十分に小さいとき、デコードコア回路23
は、A2-PTS<V1-PTSの場合はスキップ動作を行
い、A 2-PTS=V1-PTSの場合は通常の動作を行
い、更にA2-PTS>V1-PTSの場合はリピート動作
をそれぞれ行う。
るようにしてあるのは、A2-PTSとV1-PTSとが完
全に一致することは稀であるためである。デコードコア
回路23は、A2-PTSとV1-PTSとが完全に一致し
た場合(A2-PTS=V1-PTS)に通常の動作を行
う。従って、A2-PTSおよびV1-PTSに比べて値y
が十分に小さいとき、デコードコア回路23は稀にしか
通常の動作を行わないことになる。そこで、視聴者(又
は、ユーザー)が値yを適宜に設定することにより、A
2-PTSとV1-PTSとが完全には一致していなくて
も、ほぼ一致していればデコードコア回路23は通常の
動作を行う。つまり、入力装置44で値yを指定できる
ようにしてあるのは、A2-PTSとV1-PTSとの一致
条件に許容範囲をもたせるためである。
うにしてあるのは、デコードコア回路23に対して任意
にスキップ動作またはリピート動作を行わせるためであ
る。視聴者が値xを調整することにより、V1-PTSが
変化する。デコードコア回路23は、そのV1-PTSの
変化に応じて各動作を行う。
2は、オーディオデコーダ32の内部遅延時間(=AD
+ΔA)を基に生成されたA2-PTSと、ビデオデコー
ド遅延時間D(t) (=VD+ΔV)と、値xとを基にP
TS(V) を補正して、V2-PTSを生成する。そして、
制御回路42は、V2-PTSと値yとの比較結果に従っ
て、制御信号SS ,Sn ,SR のいずれかを生成し、ス
キップ動作,通常の動作,リピート動作のいずれかを行
うようにデコードコア回路23を制御する。
33の内部遅延時間だけでなく、オーディオデコーダ3
2の内部遅延時間をも基にデコードコア回路23を制御
する。すなわち、制御回路42は、ビデオデコーダ33
の内部遅延時間だけでなく、オーディオデコーダ32の
内部遅延時間をも考慮に入れてビデオ出力の再生時刻を
設定する。言い換えれば、オーディオ出力の再生タイミ
ングに合わせてビデオ出力の再生タイミングが調整され
る。このことは、オーディオ出力とビデオ出力の同期を
第1実施例よりもさらに確実にとることを可能する。
よりもビデオ出力の再生タイミングが遅れている場合、
制御回路42はデコードコア回路23にスキップ動作を
行わせて、ディスプレイ25がスキップ再生を行う。こ
の結果、ビデオ出力の再生タイミングがオーディオ出力
の再生タイミングに追いつくようになる。逆に、オーデ
ィオ出力の再生タイミングよりもビデオ出力の再生タイ
ミングが進んでいる場合、制御回路42はデコードコア
回路23にリピート動作を行わせて、ディスプレイ25
がリピート再生を行う。この結果、ビデオ出力の再生タ
イミングがオーディオ出力の再生タイミングに合うよう
になる。
の方をオーディオ出力の再生タイミングに合わせるの
は、以下の理由による。人間はディスプレイ25に映し
出される動画が数コマ分ずれても、そのずれを検知でき
ないのに対し、スピーカ27から出される音声がずれた
ときには、そのずれを耳につきやすいノイズとして敏感
に検知できる。
オ出力とビデオ出力の同期の精度を任意に設定すること
を可能にする。値yを大きく設定するほど、A2-PTS
とV 1-PTSとの一致条件の許容範囲が大きくなり、そ
の結果、オーディオ出力とビデオ出力の同期の精度は低
くなる。このように、オーディオ出力とビデオ出力の同
期の精度が設定可能にされているのは、システムストリ
ームによってはPTS(PTS(A) および PTS(V)
)が正確に付加されていない場合があるためである。
例えば、現在市販されている、いわゆるビデオCDで
は、PTSが正確に付加されていないものが稀に存在す
る。値yが、1つのピクチャが再生されている時間の半
分よりも大きくなるように設定したのは、それより小さ
く設定しても、オーディオ出力とビデオ出力の同期の精
度は変化しないからである。
オ出力の位相とビデオ出力の位相とを意図的にずらすこ
とを可能にする。この機能は、本実施例をCD−ROM
などの蓄積メディアから読み出されたシステムストリー
ムに適用する場合に好適となる。例えば、ユーザが動画
を通常の再生速度よりも高速で再生させたときに、オー
ディオ出力とビデオ出力の同期ずれが生じ、その同期ず
れを補正する際にその機能を発揮させることができる。
動画を通常の再生速度よりも高速で再生させる場合と
は、ユーザが短時間に動画を見るために早送り再生を行
う場合や、見たい動画を検索するために早送り再生また
は早送り逆転再生を行う場合などであり、その場合にオ
ーディオ出力も再生される。
〜図9に従って説明する。本実施例において、第2実施
例と同じ構成部材については符号を等しくしてその詳細
な説明を省略する。
ーダ81のブロック回路を示す。システムデコーダ81
は、オーディオデコーダ32、MPEGビデオデコーダ
82、及びAVパーサ4を備えている。AVパーサ4は
DMUX5を備えている。AVパーサ4はオーディオス
トリーム,SCR,PTS(A) をそれぞれオーディオデ
コーダ31へ出力し、ビデオストリーム,PTS(V) を
それぞれビデオデコーダ82へ出力する。
ットバッファ22,デコードコア回路23,及び制御回
路83を備えている。制御回路83は、A2-PTSと、
ビデオデコーダ82のデコード処理時間と、PTS(V)
とを基にビデオ出力の再生時刻を計算し、その計算結果
を補正する。そして、その補正結果に従ってデコードコ
ア回路23を制御する。ビデオデコーダ82の内部遅延
時間は、第2実施例のビデオデコーダ33の内部遅延時
間と同じであり、以下、ビデオデコード遅延時間D(t)
という。
路を示す。制御回路83は、ライトアドレス検出回路6
1、リードアドレス検出回路62、ピクチャヘッダ検出
回路63、マッピング回路64、レジスタ65、同期判
定回路66、第1及び第2比較処理回路67,70、第
1及び第2減算回路68,69、リピート判定回路8
4、スキップ判定回路85、及び各回路61〜70,8
4,85を制御する制御コア回路72を備えている。制
御コア回路72は、ビットバッファ22及びデコードコ
ア回路23も制御する。
6から生成された各制御信号Sn ,SR と、図6に示す
入力装置86,87で設定された値z1,z2とを基
に、制御信号SRmを生成する。スキップ判定回路85
は、同期判定回路66から生成された各制御信号Sn ,
SS と、図6に示す入力装置88,89で設定された値
w1,w2と、ピクチャヘッダ検出回路63の検出結果
に従って、制御信号SSmを生成する。
,Sn ,SR ではなく、各制御信号SSm,Sn ,SRm
に従って動作する。制御信号SSmが生成されていると
き、デコードコア回路23はスキップ動作を行う。制御
信号Sn が生成されているとき、デコードコア回路23
は通常の動作を行う。更に、制御信号SRmが生成されて
いるとき、デコードコア回路23はリピート動作を行
う。
回路を示す。リピート判定回路84は、カウンタ91,
92、第1〜第3比較処理回路93〜95、オア(O
R)回路96を備えている。カウンタ91は制御信号S
R が生成される度に、そのカウント値をインクリメント
しつつカウント動作する。第1比較処理回路93は、カ
ウンタ91のカウント値と値z1を比較し、カウント値
の方が大きい場合に、制御信号SRmを生成する。OR回
路96は、各制御信号Sn ,SRmのうち少なくともいず
れか一方が生成されると、カウンタ91にリセット信号
を出力する。カウンタ91はそのリセット信号に応答し
てカウント値をリセットする。
カウント値が零よりも大きい場合に、カウンタ92へカ
ウント開始信号を出力する。カウンタ92は、カウント
開始信号に応答してカウント動作を開始し、一定の時間
毎にカウント値をインクリメントする。第3比較処理回
路95は、カウンタ92のカウント値と値z2を比較
し、カウント値の方が大きい場合に、制御信号SRmを生
成し、カウンタ92にリセット信号を出力する。カウン
タ92はそのリセット信号に応答してカウント値をリセ
ットする。
ウンタ値により、制御信号SR が値z1よりも多い回数
だけ連続して生成されたとき、制御信号SRmを生成す
る。従って、制御信号SR が値z1よりも多い回数だけ
連続して生成されないと、デコードコア回路23はリピ
ート動作を行わない。このようにするのは、オーディオ
出力の再生タイミング(又は、再生時期)よりもビデオ
出力の再生タイミングが進んでいない場合でも、同期判
定回路66が制御信号SR を誤って生成して、デコード
コア回路23がリピート動作を行うことがあるためであ
る。例えば、PTS(A) またはPTS(V) が誤っている
場合や、動画が通常の再生速度よりも高速で再生された
場合などにおいて、同期判定回路66が制御信号SR を
誤って生成することがある。
定回路66が制御信号SR を連続してある一定の回数
(=z1)よりも多く生成したときに、その制御信号S
R が正しいものと判定し、制御信号SRmを生成する。デ
コードコア回路23はその制御信号SRmに従ってリピー
ト動作を行う。このように制御信号SRmを生成すること
は、誤った制御信号SR に従ってデコードコア回路23
がリピート動作を行うのを未然に防止する。
タ92はカウント動作を開始し、その一定時間後には、
その時点におけるカウンタ91のカウント値に関係な
く、第3比較処理回路95は制御信号SRmを生成する。
この一定時間は、カウンタ92のインクリメント速度と
値z2によって決定される。従って、同期判定回路66
が制御信号SR を生成してから一定時間が経過すると、
デコードコア回路23はリピート動作を行う。このよう
にするのは、制御信号SR が正しい場合でも、制御信号
SR が連続してある一定の回数(=z1)よりも多く生
成されるとは限らないからである。そこで、リピート判
定回路84は、制御信号SR が生成されてから一定時間
が経過したとき、その制御信号SR を正しい信号と判定
し、制御信号SRmを生成する。デコードコア回路23
は、その制御信号SRmに従ってリピート動作を行う。こ
のような第2及び第3比較処理回路94,95並びにカ
ウンタ92による動作は、カウンタ91と第1比較処理
回路93とOR回路96による動作を補完して、制御信
号SRmを確実に生成する。
回路を示す。スキップ判定回路85は、カウンタ10
1,102、第1〜第3比較処理回路103〜105、
オア(OR)回路106,Bピクチャ優先処理回路10
7を備えている。
る度に、そのカウント値をインクリメントする。第1比
較処理回路103は、カウンタ101のカウント値と値
w1とを比較し、カウント値の方が大きい場合に、制御
信号SSpを生成する。第2比較処理回路104は、カウ
ンタ101のカウント値が零よりも大きい場合に、カウ
ンタ102へカウント開始信号を出力する。カウンタ1
02はカウント開始信号に応答してカウント動作を開始
し、一定の時間毎にカウント値をインクリメントする。
第3比較処理回路105は、カウンタ102のカウント
値と値w2とを比較し、カウント値の方が大きい場合
に、制御信号SSpを生成する。
号SSpとピクチャヘッダ検出回路63によって検出され
たピクチャのタイプ(I,P,B)に従って、制御信号
SSmを生成する。この制御信号SSmは、デコードコア回
路23がIピクチャまたはPピクチャよりもBピクチャ
を優先してスキップ動作する信号である。OR回路10
6は、各制御信号Sn ,SSmのうち少なくともいずれか
一方が生成されると、カウンタ101にリセット信号を
出力する。カウンタ101はそのリセット信号に応答し
てカウント値をリセットする。カウンタ102は、制御
信号SSmが生成されるとカウンタ値をリセットする。第
1比較処理回路103は、カウンタ101のカウンタ値
に応じて、制御信号SS が値w1よりも多い回数だけ連
続して生成されたとき、制御信号SSpを生成する。Bピ
クチャ優先処理回路107は、その制御信号SSpとピク
チャのタイプ(I,P,B)に従って制御信号SSmを生
成する。従って、制御信号SS が値w1よりも多い回数
だけ連続して生成されないと、デコードコア回路23は
スキップ動作を行わない。このようにするのは、オーデ
ィオ出力の再生タイミングよりもビデオ出力の再生タイ
ミングが進んでいない場合でも、同期判定回路66が制
御信号SS を誤って生成することがあるためである。例
えば、PTS(A) またはPTS(V) が誤っている場合
や、動画が通常の再生速度よりも高速で再生された場合
などにおいて、同期判定回路66が制御信号SS を誤っ
て生成することがある。
定回路66が制御信号SS を連続してある一定の回数
(=w1)よりも多く生成したときに、その制御信号S
S を正しいものと判定して、制御信号SSpを生成する。
デコードコア回路23はその制御信号SSpに従ってスキ
ップ動作を行う。このように制御信号SSpを生成するこ
とは、誤った制御信号SS に従ってデコードコア回路2
3がスキップ動作を行うのを未然に防止する。
て生成されるため、データ量は少なく、その重要度はI
ピクチャやPピクチャに比べて低くなる。従って、重要
度の低いBピクチャを優先してスキップ再生させること
は、再生される動画に生じるコマ落ちを少なくする。
タ102はカウント動作を開始し、その一定時間後に
は、その時点におけるカウンタ101のカウント値に関
係なく、第3比較処理回路105は制御信号SSpを生成
する。この一定時間は、カウンタ102のインクリメン
ト速度と値w2によって決定される。従って、同期判定
回路66が制御信号SS を生成してから一定時間が経過
すると、デコードコア回路23はスキップ動作を行う。
このようにするのは、制御信号SS が正しい場合でも、
制御信号SS が連続してある一定の回数(=w1)より
も多く生成されるとは限らないからである。そこで、ス
キップ判定回路85は、制御信号SS が生成されてから
一定時間が経過したとき、その制御信号SS を正しい信
号と判定し、制御信号SSpを生成する。デコードコア回
路23、その制御信号SSpに従ってスキップ動作を行
う。このように第2及び第3比較処理回路104,10
5並びにカウンタ102の動作は、カウンタ101と第
1比較処理回路103とOR回路106の動作を補完し
て、制御信号SSpを確実に生成する。
て誤った各制御信号SR ,SS が生成された場合でも、
各判定回路84,85が各制御信号SR ,SS を補正し
て、各制御信号SRm,SSmを生成する。デコードコア回
路23は各制御信号SRm,SSmに従って動作(スキップ
動作,リピート動作)する。このことは、誤った各制御
信号SR ,SS が生成された場合でも、オーディオ出力
とビデオ出力の同期を確実にとることを可能にする。
力装置86〜89でそれぞれ設定することは、各判定回
路84,85における各制御信号SR ,SS の補正の度
合いの調整を可能にする。スキップ再生を行う場合に重
要度の低いBピクチャをIピクチャやPピクチャよりも
優先してスキップ再生させることは、再生される動画に
生じるコマ落ちを少なくし、かつ動画の動きを滑らかな
ものにして、その結果、画質を向上させることができ
る。
もよい。 (1)第2,3実施例において、サンプリング周波数検
出回路53および加算回路54を省く。この場合には、
@PTSをリアルタイムに生成することができなくなる
ため、#PTSの生成精度は低下する。しかし、この場
合でも、オーディオ出力とビデオ出力の同期を第1実施
例よりもさらに確実にとることができる。そして、オー
ディオストリームに多くのPTS(A) が付加されている
場合には、第2,3実施例と同程度の性能を得ることも
できる。
の代わりにPTS(A) から[V] PTSを減算した値を減
算回路69から生成させる。この場合には、PTS(A)
と、ビデオデコード遅延時間D(t) と、値xとに基づい
てPTS(V) が補正され、#PTSが生成される。この
場合には、オーディオデコーダ32の内部遅延時間に基
づいてデコードコア回路23の動作を制御することがで
きなくなるが、オーディオ出力の再生タイミングに合わ
せてビデオ出力の再生タイミングが制御されることに変
わりはない。そのため、オーディオデコーダ32の内部
遅延時間が小さい場合には、第2,3実施例と同程度の
性能を得ることもできる。但し、この場合、制御回路1
4は、第1実施例と同様に、オーディオデコーダ32の
内部遅延時間とSCRおよびPTS(A) とを基にオーデ
ィオ出力の再生時刻(再生タイミング)を計算し、その
計算結果に従ってデコードコア回路13を制御する。
く。また、値yを固定にする。この場合には、各値x,
yに関係する機能が省かれるだけで、その他の作用およ
び効果については上記各実施例と同じである。
回路84から各比較処理回路94,95およびカウンタ
92を省く。この場合には、各回路94,95,92に
関係する機能が省かれるだけで、その他の作用および効
果については上記実施例と同じである。
回路85から各比較処理回路104,105およびカウ
ンタ102を省く。また、スキップ判定回路85からB
ピクチャ優先処理回路107を省く。この場合には、各
回路104,105,102,107に関係する機能が
省かれるだけで、その他の作用および効果については上
記実施例と同じである。
21を1段のスタックで構成する。この場合、レジスタ
21のスタック段数が多くなるほど利用できるPTS
(V) も多くなるが、レジスタ21の容量も増えることに
なる。従って、レジスタ21のスタック段数は、回路規
模およびコストと要求される性能とに基づいて、適宜に
設定すればよい。
路94,104は、各カウンタ91,101のカウント
値が零以上の所定値よりも大きい場合に、各カウンタ9
2、102のカウント動作をスタートさせる。
施例と同様に実施する。この場合にも、上記実施例と同
様の作用および効果を得ることができる。以上、各実施
例について説明したが、各実施例から把握できる請求項
以外の技術的思想について、以下にそれらの効果と共に
記載する。
デコーダにおいて、前記外部から指定された第2の値
は、1つのピクチャの再生されている時間の半分よりも
大きくなるように設定されているMPEGシステムデコ
ーダ。
調整することができる。 (ロ)請求項3に記載のMPEGシステムデコーダにお
いて、前記サンプリング周波数は44.1kHz であるMPE
Gシステムデコーダ。
にカバーすることができる。ところで、本明細書におい
て、発明の構成に係る部材は以下のように定義されるも
のとする。
から構成されるものとする。 (b)第1のリピート有効化手段は、カウンタ91、比
較処理回路93、OR回路96から構成される。
ンタ92、比較処理回路94,95から構成される。 (d)第1のスキップ有効化手段は、カウンタ101、
比較処理回路103、OR回路106から構成される。
ンタ102、比較処理回路104,105から構成され
る。 (f)第1の値は値xであり、第2の値は値yである。
1の比較処理回路は比較処理回路67、第2の比較処理
回路は比較処理回路70、第1の減算回路は減算回路6
8、第2の減算回路は減算回路69である。
くDTSをも含むものとする。
分にとることが可能なMPEGシステムデコーダを提供
することができる。
の説明図。
Claims (9)
- 【請求項1】 外部から転送されてきたMPEGシステ
ムストリームについて、MPEGシステムストリームの
パケットヘッダに基づき、MPEGシステムストリーム
をMPEGビデオストリームとMPEGオーディオスト
リームに分離するデマルチプレクサと、 MPEGシステムストリームからSCRとオーディオの
タイムスタンプとビデオのタイムスタンプとをそれぞれ
分離する分離手段と、 オーディオレジスタとオーディオビットバッファとオー
ディオデコードコア回路とオーディオ制御回路とから構
成されるMPEGオーディオデコーダと、 ビデオレジスタとビデオビットバッファとビデオデコー
ドコア回路とビデオ制御回路とから構成されるMPEG
ビデオデコーダとを備えたMPEGシステムデコーダで
あり、 前記オーディオレジスタは、分離手段から転送されてき
たオーディオのタイムスタンプを順次蓄積し、 前記オーディオビットバッファは、デマルチプレクサか
ら転送されてきたオーディオストリームを順次蓄積し、 前記オーディオデコードコア回路は、ビットバッファか
ら読み出されたオーディオストリームをMPEGオーデ
ィオパートに準拠してデコードし、オーディオ出力を生
成し、 前記オーディオ制御回路は、MPEGオーディオデコー
ダにおけるデコード処理時間を計算し、そのデコード処
理時間と、分離手段から転送されてきたSCRと、レジ
スタから読み出されたオーディオのタイムスタンプとに
基づいてオーディオ出力の再生タイミングを計算し、そ
の再生タイミングに従ってデコードコア回路を制御し、 前記ビデオレジスタは、分離手段から転送されてきたビ
デオのタイムスタンプを順次蓄積し、 前記ビデオビットバッファは、デマルチプレクサから転
送されてきたビデオストリームを順次蓄積し、 前記ビデオデコードコア回路は、ビットバッファから読
み出されたビデオストリームをMPEGビデオパートに
準拠してデコードし、ビデオ出力を生成し、 前記ビデオ制御回路は、MPEGビデオデコーダにおけ
るデコード処理時間を計算し、そのデコード処理時間
と、分離手段から転送されてきたSCRと、レジスタか
ら読み出されたビデオのタイムスタンプとに基づいてビ
デオ出力の再生タイミングを計算し、その再生タイミン
グに従ってデコードコア回路を制御し、 前記MPEGオーディオデコーダは、オーディオビット
バッファの内部遅延時間とオーディオデコードコア回路
の内部遅延時間とオーディオレジスタから読み出された
オーディオのタイムスタンプとに基づいて第2のタイム
スタンプを生成し、 前記ビデオ制御回路は、ビデオのタイムスタンプとピク
チャとのマッピングを行い、ビデオデコードコア回路の
内部遅延時間とビデオレジスタから読み出されたビデオ
のタイムスタンプと第2のタイムスタンプとに基づい
て、ビデオデコードコア回路にスキップ動作またはリピ
ート動作を行わせ、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作またはリピート動作を行わせるため
の制御信号の誤りを判定して補正するスキップ判定回路
またはリピート判定回路を備えたMPEGシステムデコ
ーダ。 - 【請求項2】 外部から転送されてきたMPEGシステ
ムストリームについて、MPEGシステムストリームの
パケットヘッダに基づき、MPEGシステムストリーム
をMPEGビデオストリームとMPEGオーディオスト
リームに分離するデマルチプレクサと、 MPEGシステムストリームからSCRとオーディオの
タイムスタンプとビデオのタイムスタンプとをそれぞれ
分離する分離手段と、 オーディオレジスタとオーディオビットバッファとオー
ディオデコードコア回路とオーディオ制御回路とから構
成されるMPEGオーディオデコーダと、 ビデオレジスタとビデオビットバッファとビデオデコー
ドコア回路とビデオ制御回路とから構成されるMPEG
ビデオデコーダとを備えたMPEGシステムデコーダで
あり、 前記オーディオレジスタは、FIFO構成で、分離手段
から転送されてきたオーディオのタイムスタンプを順次
蓄積し、 前記オーディオビットバッファはFIFO構成のRAM
から成り、デマルチプレクサから転送されてきたオーデ
ィオストリームを順次蓄積し、 前記オーディオデコードコア回路は、ビットバッファか
ら読み出されたオーディオストリームをMPEGオーデ
ィオパートに準拠してデコードし、オーディオ出力を生
成し、 前記オーディオ制御回路は、ビットバッファからオーデ
ィオストリームが読み出されるのに要する時間と、デコ
ードコア回路におけるデコード処理時間とからMPEG
オーディオデコーダにおけるデコード処理時間を計算
し、そのデコード処理時間と、分離手段から転送されて
きたSCRと、レジスタから読み出されたオーディオの
タイムスタンプとに基づいてオーディオ出力の再生タイ
ミングを計算し、その再生タイミングに従ってデコード
コア回路を制御し、 前記ビデオレジスタは、FIFO構成で、分離手段から
転送されてきたビデオのタイムスタンプを順次蓄積し、 前記ビデオビットバッファはFIFO構成のRAMから
成り、デマルチプレクサから転送されてきたビデオスト
リームを順次蓄積し、 前記ビデオデコードコア回路は、ビットバッファから読
み出されたビデオストリームをMPEGビデオパートに
準拠してデコードし、ビデオ出力を生成し、 前記ビデオ制御回路は、ビットバッファからビデオスト
リームが読み出されるのに要する時間と、デコードコア
回路におけるデコード処理時間とからMPEGビデオデ
コーダにおけるデコード処理時間を計算し、そのデコー
ド処理時間と、分離手段から転送されてきたSCRと、
レジスタから読み出されたビデオのタイムスタンプとに
基づいてビデオ出力の再生タイミングを計算し、その再
生タイミングに従ってデコードコア回路を制御し、 前記MPEGオーディオデコーダは、遅延時間算出回路
とオーディオ減算回路と加算回路とサンプリング周波数
検出回路とを備えたタイムスタンプ生成回路を備え、 前記遅延時間算出回路は、オーディオビットバッファの
内部遅延時間を算出し、 前記オーディオ減算回路は、オーディオビットバッファ
の内部遅延時間とオーディオデコードコア回路の内部遅
延時間とオーディオレジスタから読み出されたオーディ
オのタイムスタンプとに基づいて、オーディオのタイム
スタンプから各内部遅延時間の和を減算した値を生成
し、 前記サンプリング周波数検出回路は、オーディオストリ
ームからオーディオデータのサンプリング周波数を検出
し、そのサンプリング周波数に対応したクロックを生成
し、 前記加算回路は、オーディオ減算回路の生成した値と前
記クロックを加算して第2のタイムスタンプを生成し、 前記ビデオ制御回路は、ライトアドレス検出回路とリー
ドアドレス検出回路とピクチャヘッダ検出回路とマッピ
ング回路と第2のレジスタと同期判定回路と第1および
第2の比較処理回路と第1および第2のビデオ減算回路
とを備え、 前記ライトアドレス検出回路は、外部から転送されてき
たビデオストリームにおけるビデオのタイムスタンプが
付加されていたパケットがビデオビットバッファに書き
込まれるときに、そのパケットのビデオビットバッファ
におけるアドレスを検出し、 前記ビデオレジスタは、ライトアドレス検出回路によっ
て検出されたアドレスとビデオのタイムスタンプとを対
応付けて順次蓄積し、 前記リードアドレス検出回路は、ビデオビットバッファ
から読み出されたビデオストリームのアドレスを検出
し、 前記ピクチャヘッダ検出回路は、ビデオビットバッファ
に書き込まれたビデオストリームの各ピクチャの先頭に
付くピクチャヘッダを検出し、そのピクチャヘッダに規
定されているピクチャのタイプを検出し、 前記第1の比較処理回路は、ビデオビットバッファから
読み出されたビデオストリームのアドレスと、ビデオレ
ジスタから読み出されたビデオのタイムスタンプに対応
するアドレスとを比較し、両アドレスが一致するかどう
かを検出し、 前記マッピング回路は、第1の比較処理回路およびピク
チャヘッダ検出回路の検出結果とに基づいて、ビデオの
タイムスタンプとピクチャとのマッピングを行い、 前記第2のレジスタは1段のスタックで構成され、フレ
ーム間予測技術に従い、ピクチャヘッダ検出回路によっ
て検出されたピクチャのタイプに基づいて、Iピクチャ
またはPピクチャに対応するビデオのタイムスタンプ
を、Bピクチャに対応するビデオのタイムスタンプと入
れ替え、 前記第1のビデオ減算回路は、ビデオデコードコア回路
の内部遅延時間と外部から指定された第1の値と第2の
レジスタから読み出されたビデオのタイムスタンプとに
基づいて、ビデオのタイムスタンプから、内部遅延時間
と外部から指定された第1の値の和を減算した値を生成
し、 前記第2のビデオ減算回路は、タイムスタンプ生成回路
から生成された第2のタイムスタンプから第1のビデオ
減算回路の生成した値を減算した値を生成し、 前記第2の比較処理回路は、外部から指定された第2の
値と第2のビデオ減算回路の生成した値を比較し、 前記同期判定回路は、マッピング回路によってビデオの
タイムスタンプとピクチャとのマッピングが行われる
と、第2の比較処理回路の比較結果に基づいて、ビデオ
デコードコア回路にスキップ動作またはリピート動作を
行わせるための制御信号を生成し、 前記ビデオデコードコア回路では、スキップ動作におい
て、ビデオビットバッファから転送されてくるピクチャ
が廃棄され、その廃棄されたピクチャについてはデコー
ドが行われず、リピート動作において、ビデオビットバ
ッファから転送されてきたピクチャのビデオ出力が引き
続き出力され、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作またはリピート動作を行わせるため
の制御信号の誤りを判定して補正するスキップ判定回路
またはリピート判定回路を備えたMPEGシステムデコ
ーダ。 - 【請求項3】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が、一定
回数以上連続して生成されたときに、その制御信号を有
効化する第1のスキップ有効化手段を備えたMPEGシ
ステムデコーダ。 - 【請求項4】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が生成さ
れてから一定時間後に、その制御信号を有効化する第2
のスキップ有効化手段を備えたMPEGシステムデコー
ダ。 - 【請求項5】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が、一定
回数以上連続して生成されたときに、その制御信号を有
効化する第1のリピート有効化手段を備えたMPEGシ
ステムデコーダ。 - 【請求項6】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が生成さ
れてから一定時間後に、その制御信号を有効化する第2
のリピート有効化手段を備えたMPEGシステムデコー
ダ。 - 【請求項7】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にスキップ動作を行わせるための制御信号が一定回
数以上連続して生成されたときに、その制御信号を有効
化し、その制御信号が所定の回数連続して生成されてい
れば、最初に生成されてから一定時間後に、その制御信
号を有効化するスキップ判定回路を備えたMPEGシス
テムデコーダ。 - 【請求項8】 請求項1または請求項2に記載のMPE
Gシステムデコーダにおいて、 前記ビデオ制御回路から生成されるビデオデコードコア
回路にリピート動作を行わせるための制御信号が一定回
数以上連続して生成されたときに、その制御信号を有効
化し、その制御信号が所定の回数連続して生成されてい
れば、最初に生成されてから一定時間後に、その制御信
号を有効化するリピート判定回路を備えたMPEGシス
テムデコーダ。 - 【請求項9】 請求項1〜8のいずれか1項に記載のM
PEGシステムデコーダにおいて、 前記ビデオデコードコア回路のスキップ動作はBピクチ
ャに対して優先的に行われるMPEGシステムデコー
ダ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31711594A JP3133630B2 (ja) | 1994-11-30 | 1994-12-20 | Mpegシステムデコーダ |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29734594 | 1994-11-30 | ||
JP6-297345 | 1994-11-30 | ||
JP31711594A JP3133630B2 (ja) | 1994-11-30 | 1994-12-20 | Mpegシステムデコーダ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08214296A JPH08214296A (ja) | 1996-08-20 |
JP3133630B2 true JP3133630B2 (ja) | 2001-02-13 |
Family
ID=26561090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31711594A Expired - Fee Related JP3133630B2 (ja) | 1994-11-30 | 1994-12-20 | Mpegシステムデコーダ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3133630B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101542915B1 (ko) | 2008-10-10 | 2015-08-07 | 퀄컴 엠이엠에스 테크놀로지스, 인크. | 분산 조명 시스템 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0895378B1 (en) | 1996-05-07 | 2006-03-08 | Yamaha Corporation | Method and system for transmitting audio data with time stamp |
CN1278386A (zh) * | 1997-09-05 | 2000-12-27 | 松下电器产业株式会社 | 解码方法和记录解码程序的记录媒体 |
JP3063841B2 (ja) | 1997-11-26 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
JP3104681B2 (ja) | 1998-06-10 | 2000-10-30 | 日本電気株式会社 | オーディオ・ビデオ同期再生方法および装置 |
EP1069777A4 (en) | 1999-02-05 | 2009-03-04 | Sony Corp | SYSTEMS AND METHODS FOR ENCODING AND DECODING, MULTIPLEXING SYSTEM AND METHOD, AND DISPLAY SYSTEM AND METHOD |
US7158187B2 (en) | 2001-10-18 | 2007-01-02 | Matsushita Electric Industrial Co., Ltd. | Audio video reproduction apparatus, audio video reproduction method, program, and medium |
JP4735932B2 (ja) * | 2003-09-02 | 2011-07-27 | ソニー株式会社 | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
KR100746076B1 (ko) * | 2005-11-07 | 2007-08-06 | 엘지전자 주식회사 | 멀티미디어 신호의 시간정보 전송방법 |
JP4935655B2 (ja) * | 2007-12-07 | 2012-05-23 | 富士通東芝モバイルコミュニケーションズ株式会社 | 再生装置および分離回路 |
ATE540529T1 (de) * | 2009-11-03 | 2012-01-15 | Tektronix Int Sales Gmbh | Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms |
WO2015019663A1 (ja) * | 2013-08-07 | 2015-02-12 | 株式会社日立国際電気 | デジタル伝送システム及び遅延時間算出方法 |
-
1994
- 1994-12-20 JP JP31711594A patent/JP3133630B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101542915B1 (ko) | 2008-10-10 | 2015-08-07 | 퀄컴 엠이엠에스 테크놀로지스, 인크. | 분산 조명 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JPH08214296A (ja) | 1996-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3197766B2 (ja) | Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ | |
JP3215087B2 (ja) | オーディオとビデオの同期方法及びデジタルビデオプロセッサ | |
EP0783824B1 (en) | Programmable audio-video synchronization method and apparatus for multimedia systems | |
US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
US7054546B2 (en) | Data multiplexing method, data recorded medium, data recording apparatus and data recording program | |
US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
JP3133630B2 (ja) | Mpegシステムデコーダ | |
KR101014664B1 (ko) | 복수의 데이터 스트림 간의 연속 재생을 보장하는 재생방법 및 그 재생 장치 | |
JP4294660B2 (ja) | 再生装置、再生方法及びその記録媒体 | |
US20050004940A1 (en) | Information processing apparatus and method | |
JP4288549B2 (ja) | 記録装置および方法、並びに再生装置および方法 | |
JP4254007B2 (ja) | 再生装置および方法、並びに記録媒体 | |
JP2008176918A (ja) | 再生装置、再生方法及びその記録媒体 | |
JP4284574B2 (ja) | 記録装置および方法、並びに記録媒体 | |
KR0151024B1 (ko) | 엠펙기반의 디지탈 비디오디스크레코더의 시스템레이어엔코더 | |
JPH1083632A (ja) | ディジタル信号符号化方法および装置、ディジタル信号伝送方法、並びに信号記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091124 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |