JP2002171526A - データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 - Google Patents
データ処理装置、データ処理システム、データ処理方法、及び記憶媒体Info
- Publication number
- JP2002171526A JP2002171526A JP2000365837A JP2000365837A JP2002171526A JP 2002171526 A JP2002171526 A JP 2002171526A JP 2000365837 A JP2000365837 A JP 2000365837A JP 2000365837 A JP2000365837 A JP 2000365837A JP 2002171526 A JP2002171526 A JP 2002171526A
- Authority
- JP
- Japan
- Prior art keywords
- data processing
- data
- time information
- audio
- object data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims description 38
- 239000000872 buffer Substances 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 18
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 102100029968 Calreticulin Human genes 0.000 description 1
- 101100326671 Homo sapiens CALR gene Proteins 0.000 description 1
- NTOPKICPEQUPPH-UHFFFAOYSA-N IPMP Natural products COC1=NC=CN=C1C(C)C NTOPKICPEQUPPH-UHFFFAOYSA-N 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- UWHCKJMYHZGTIT-UHFFFAOYSA-N tetraethylene glycol Chemical compound OCCOCCOCCOCCO UWHCKJMYHZGTIT-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
実装されていない動画像デコーダであっても、簡単な構
成で、音声の速度変換に同期(リップシンク)して映像
を同時に可変速にすることが可能なデータ処理装置を提
供する。 【解決手段】 速度変換部116は、外部(ユーザ)か
らの速度変換要求に基づき動画像及び音声の同期管理の
ための第2の時間情報を取得し、その第2の時間情報
を、符号化ビットストリームから分離したオブジェクト
データに含まれる第1の時間情報へ新たに設定し、音声
のオブジェクトデータの復号手段107に対して、上記
外部からの速度変換要求により示される再生速度倍率を
通知する。
Description
−4の符号化ビットストリームから動画像や音声のオブ
ジェクトデータを分離して復号化し、当該復号化後の各
データを合成して出力する装置或いはシステムに用いら
れる、データ処理装置、データ処理システム、データ処
理方法、及びそれを実施するための処理ステップをコン
ピュータが読出可能に格納した記憶媒体に関するもので
ある。
C 14496 part1(MPEG4 Syste
ms)」では、動画像や音声等の複数のオブジェクトを
含むマルチメディアデータの符号化ビットストリーム
(以下、単に「ビットストリーム」とも言う)につい
て、データの多重化及び同期に関する手法が標準化され
つつある。「MPEG4 Systems」では、理想
端末モデルを、“システムデコーダモデル”と呼び、そ
の動作を規定している。
準拠したビットストリーム(以下、「MPEG4データ
ストリーム」とも言う)においては、これまでの一般的
なマルチメディアストリームとは異なり、いくつものビ
デオシーンやビデオオブジェクトを、単一のストリーム
上で独立して送受信する機能を有する。したがって、単
一のストリーム上から、いくつものビデオシーンやビデ
オオブジェクトを復元可能となる。これは、音声につい
ても同様であり、いくつものオーディオオブジェクト
を、単一のストリーム上から復元可能である。
は、従来のビデオオブジェクト及びオーディオオブジェ
クトの他に、オブジェクトの空間や時間的配置を定義す
るための情報として、VRML(Virtual Re
ality ModelingLangage)を自然
動画像や音声が扱えるように拡張したBIFS(Bin
ary Format for Scenes)が含ま
れている。このBIFSは、MPEG−4でのシーン
(ビデオオブジェクト及びオーディオオブジェクトから
構成される任意のシーン)を2値で記述された情報であ
る。
の合成)に必要な個々のオブジェクトは、それぞれ個別
に最適な符号化が施されて送信されることになるので、
その受信側(再生側)では、個々のオブジェクトの符号
化データをそれぞれ復号し、上記のBIFSの内容に基
づいて、個々のオブジェクトが有する時間軸を、自側の
時間軸に合わせて同期させ、個々のオブジェクトを合成
してシーンを再生することになる。
うな複数のオブジェクトデータを含むデータストリーム
を受信して再生する場合、可変速再生が要求される。例
えば、ユーザが短時間に動画を見るために早送再生を行
う際に必要となる、通常の再生速度より高速で再生する
機能(高速再生機能)や、ユーザが動画を注意深く見る
際に必要となる、通常の再生速度より低速で再生する機
能(低速再生機能)が要求される。
が幾つか提案されており、また、音声の速度変換に同期
(リップシンク)させて動画(映像)の速度を可変する
ための手法として、速度変換アルゴリズムをベースにし
た音声デコーダ、及び動きベクトルに応じて内挿を行う
変換アルゴリズムをベースにした動画像デコーダを用
い、再生速度が変換された音声に同期して映像フィール
ドを内挿する手法が提案されている。
て映像の速度を可変するための手法として、従来より提
案されている上記の手法では、動画像デコーダに対し
て、動きベクトルに応じて内挿を行う変換アルゴリズム
を実装しないと、音声の速度変換に同期させて映像の速
度を可変することができなかった。すなわち、動画像デ
コーダに対して、動きベクトルに応じて内挿を行う変換
アルゴリズムを実装することが必須であり、このような
特殊なアルゴリズムが実装されていない動画像デコーダ
では、音声の速度変換に同期させて映像の速度を可変す
ることができなかった。
ために成されたもので、フィールドの内挿等の特殊なア
ルゴリズムが実装されていない動画像デコーダであって
も、簡単な構成で、音声の速度変換に同期(リップシン
ク)して映像を同時に可変速にすることが可能な、デー
タ処理装置、データ処理システム、データ処理方法、及
びそれを実施するための処理ステップをコンピュータが
読出可能に格納した記憶媒体を提供することを目的とす
る。
第1の発明は、少なくとも動画像及び音声のオブジェク
トデータを含む符号化ビットストリームから分離した当
該オブジェクトデータを、当該オブジェクトデータに含
まれる上記動画像及び音声の同期管理のための第1の時
間情報に基づき復号して再生するデータ処理装置であっ
て、外部からの速度変換要求に基づいて、上記動画像及
び音声の同期管理のための第2の時間情報を取得する時
間情報取得手段と、上記時間情報取得手段で得られた第
2の時間情報を上記第1の時間情報として設定する設定
手段と、上記音声のオブジェクトデータの復号手段に対
して、上記外部からの速度変換要求により示される再生
速度倍率を通知する通知手段とを備えることを特徴とす
る。
上記符号化ビットストリームは、MPEG−4に準拠し
たビットストリームを含むことを特徴とする。
上記音声のオブジェクトデータは、再生速度変換機能を
有する符号化方式によって高能率圧縮符号化が施された
データを含むことを特徴とする。
復号対象データ用のバッファに対して入力された上記オ
ブジェクトデータのアクセスユニットから、上記第1の
時間情報を抽出する抽出手段を備えることを特徴とす
る。
上記音声のオブジェクトデータの復号手段は、再生速度
変換機能を有することを特徴とする。
上記時間情報は、DTS(Decoding Time
Stamp)及びCTS(Composition T
ime Stamp)を含むことを特徴とする。
能に接続されてなるデータ処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
6の何れかに記載のデータ処理装置の機能を有すること
を特徴とする。
の動画像及び音声のオブジェクトデータを含むビットス
トリームを、当該オブジェクトデータ単位で分離して復
号化し、当該復号化後の1つ又は複数のオブジェクトデ
ータを合成して出力するためのデータ処理方法であっ
て、上記オブジェクトデータから、上記動画像及び音声
の同期管理のための第1の時間情報の領域を特定して抽
出する抽出ステップと、ユーザからの速度変換要求に基
づいて、上記動画像及び音声の同期管理のための第2の
時間情報を演算し、その結果を、上記第1の時間情報と
して設定する演算/設定ステップと、上記音声のオブジ
ェクトデータを復号する音声デコーダに対して、上記ユ
ーザからの速度変換要求に従って再生速度倍率を通知す
る通知ステップとを含むことを特徴とする。
上記ビットストリームは、MPEG−4のビットストリ
ームを含むことを特徴とする。
て、上記音声のオブジェクトデータは、再生速度変換機
能を有する符号化方式によって高能率圧縮符号化が施さ
れたデータを含むことを特徴とする。
て、上記抽出ステップは、上記オブジェクトデータの復
号化バッファへ入力されたアクセスユニットから、上記
第1の時間情報を抽出するステップを含むことを特徴と
する。
て、上記音声デコーダは、再生速度変換機能を有するこ
とを特徴とする。
て、上記時間情報は、DTS(Decoding Ti
me Stamp)及びCTS(Compositio
n Time Stamp)を含むことを特徴とする。
記載のデータ処理装置の機能、又は請求項7記載のデー
タ処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体へ記録
したことを特徴とする。
に記載のデータ処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体へ記録したことを特徴とする。
て図面を用いて説明する。
タ処理装置100に適用される。本実施の形態のデータ
処理装置100は、MPEG−4で符号化された動画像
及び音声等のオブジェクトデータを含むビットストリー
ム(MPEG−4データストリーム)から、当該オブジ
ェクトデータを分離して復号化し、当該復号化後のオブ
ジェクトデータを合成して出力する再生機能(MPEG
−4再生機能)を有し、特に、再生速度を変換した際に
も、動画像及び音声の同期を取って再生するように構成
されている。
連の動作>データ処理装置100は、上記図1に示すよ
うに、ネットワーク等の伝送路102からMPEG−4
データストリームを受信して各種オブジェクトのデータ
等を分離するデマルチプレクサ102と、デマルチプレ
クサ102で得られた音声のオブジェクトデータを復号
する音声復号化バッファ103及び音声デコーダ107
と、デマルチプレクサ102で得られた動画像のオブジ
ェクトデータを復号する動画像復号化バッファ104及
び動画像デコーダ108と、デマルチプレクサ102で
得られたオブジェクト記述データを復号するオブジェク
ト記述復号化バッファ105及びオブジェクト記述デコ
ーダ109と、デマルチプレクサ102で得られたシー
ン記述データを復号するシーン記述復号化バッファ10
6及びシーン記述デコーダ110と、コンポジションメ
モリ111を介して取得した音声デコーダ107の出
力、コンポジションメモリ112を介して取得した動画
像デーコーダ108の出力、オブジェクト記述デコーダ
109の出力、及びコンポジションメモリ113を介し
て取得したシーン記述デコーダ110の出力からシーン
を再構成するコンポジタ114とを含み、コンポジタ1
14の出力が、ディスプレイやスピーカ等の出力機器1
15へ供給されるように構成されている。特に、データ
処理装置100は、MPEG−4データストリームから
得られるオブジェクトデータ(AU)から同期管理のた
めの第1の時間情報(DTS(Decoding Ti
me Stamp),CTS(Composition
Time Stamp))の領域を特定して抽出し、第
2の時間情報(DTS,CTS)をユーザからの速度変
換要求に従って算出し、その結果(第2の時間情報)
を、オブジェクトデータ(AU)の第1の時間情報(D
TS,CTS)として設定し、音声オブジェクトデータ
を復号する音声デコーダ107に対して、ユーザの速度
変換要求に従って再生速度倍率を通知するように構成さ
れている。
て、まず、伝送路101は、各種ネットワーク等に代表
される伝送路であり、本実施の形態ではその一例とし
て、MPEG−4データストリーム(MPEG−4ビッ
トストリーム)が配信されるネットワークとしている。
このため、以下では、「ネットワーク101」とも言
う。尚、本実施の形態での伝送路101は、放送ネット
ワークや通信ネットワーク等の通信路のみを指すのでは
なく、例えば、DVD−RAM等の蓄積媒体(記録媒
体)自体をも含むものとする。
01から配信されたMPEG−4ビットストリーム(伝
送路101を記録媒体とした場合には当該記録媒体から
読み込んだMPEG−4ビットストリーム)を受信する
と、これをデマルチプレクサ102へ入力する。
PEG−4ビットストリームから、音声オブジェクトデ
ータ、動画像オブジェクトデータ、オブジェクト記述デ
ータ、及びシーン記述データ等を分離し、それぞれのデ
ータを復号化バッファ103〜106の中の該当する復
号化バッファに対して入力する。
の入力データの単位は、アクセスユニット(Acces
s Unit、以下、単に「AU」と言う)と呼ばれる
復号及び合成のための時間管理、或は同期のための処理
単位である。例えば、自然画像のMPEG−4ビットス
トリームでは、1つのVOP(Video Objec
t Plane)の符号化データが、1つのAUに相当
する。
トレートの音声用の符号化方式としてのパラメトリック
符号化(HVXC:Harmonic Vector E
xcitation Coding)等のような、再生
速度変換機能を有する符号化方式によって、高能率(圧
縮)符号化が施されたデータである。動画像オブジェク
トデータは、例えば、周知のMPEG−2或はH−26
3方式によって高能率符号化されたデータである。オブ
ジェクト記述データは、各メディアオブジェクトの制御
情報(符号化方式や、シーン記述との関連、或はパケッ
トの構成等の情報)を含んでおり、メディアオブジェク
トの各ビットストリームは、オブジェクト記述データに
含まれる符号化方法の情報に基づいた復号化アルゴリズ
ム(MPEG−4ビジュアル、MPEG−4オーディ
オ、IPMP、MPEG−7等)によって復号される。
ファ103〜106はそれぞれ、当該AUを、デコーダ
107〜110の中の該当するデコーダに対して出力す
る。
号して出力する。すなわち、音声デコーダ107は、入
力AUを復号した結果を、コンポジションメモリ111
に対して、コンポジションユニット(Composit
ionUnit、以下、単に「CU」と言う)として出
力する。また、動画像デコーダ108は、入力AUを復
号した結果を、コンポジションメモリ112に対して、
CUとして出力する。また、シーン記述デコーダ110
は、入力AUを復号した結果を、コンポジションメモリ
113に対して、CUとして出力する。
4ビットストリームの中に、音声オブジェクトデータ、
動画像オブジェクトデータ、及びオブジェクト記述デー
タのそれぞれ複数の互いに異なる種類のオブジェクトが
存在したとしても、復号可能な構成としているため、各
オブジェクトデータに対して、復号化バッファ及びデコ
ーダを一対一に設けるようにしている。
リ111の出力(音声オブジェクト)と、コンポジショ
ンメモリ112の出力(動画像オブジェクト)とを、オ
ブジェクト記述デコーダ109の出力(オブジェクト記
述データ)及びコンポジションメモリの出力(シーン記
述データ)に基づき合成することで、シーンを再生(再
構成)する。このようにして再生されたシーンのデータ
(最終的なマルチメディアデータ列)は、ディスプレイ
やスピーカ等の出力機器115に対して入力され、出力
機器115において、動画像及び音声から構成されるシ
ーンが再生されることになる。
及び動作>まず、上述したAUがパケット化される際、
そのパケットヘッダ部に対して、同期管理のための時間
情報(DTS、CTS等)が付加される。DTS(De
coding Time Stamp)は、AUが復号化
バッファに到着していなければならない時刻情報であ
り、CTS(Composition Time Sta
mp)は、CUがコンポジションメモリに存在しなけれ
ばならない時刻情報である。したがって、AUは、パケ
ット毎に付加されたパケットヘッダ部に付加されたDT
Sで示される時刻で復号され、即座にCUに変換され
て、CTSで示される時刻以降の時刻で有効になる。
復号化バッファ及びコンポジションメモリとの関係を具
体的に示したものである。先ず、復号化バッファに対し
て入力された任意のAUnは、そのパケットヘッダ部に
付加された時刻DTS(AUn)までに復号されてCUn
に変換され、コンポジションメモリに対して出力され
る。次に、CUnは、上記パケットヘッダ部に付加され
た時刻CTS(CUn)で有効となり、コンポジタ11
4において合成及び再生が可能な状態となる。続いて、
復号化バッファに対して入力された次のAUn+1に関し
ても、時刻DTS(AUn+1)までに復号されてCUn+1
に変換され、コンポジションメモリに対して出力され
る。そして、CUn+1は、時刻CTS(CUn+1)で有効
となり、コンポジタ114において合成及び再生が可能
な状態となる。
成は、速度変換部116にある。この速度変換部116
は、ユーザからの指示に応じて再生速度を変換する操作
部である。本実施の形態のデータ処理装置100は、ユ
ーザから再生速度変更命令を受信すると、速度変換部1
16が当該命令を受け取る。
4ビットストリームを受信した場合の、速度変換部11
6の動作をフローチャートによって示したものである。
速度変換を要求しているか否かを判別する(ステップS
300)。この判別の結果、再生速度変換の要求がなさ
れていない場合には本処理終了とし、再生速度変換の要
求がなされていた場合に、次のステップS301からの
処理を実行する。
再生速度変換を要求している場合、速度変換部116
は、復号化バッファ103〜106のそれぞれに入力さ
れた各AUのパケットヘッダ部に付加されたDTS及び
CTS(第1の時間情報)を抽出する(ステップS30
1)。
01で抽出したDTS及びCTS(第1の時間情報)を
変更するために、ユーザから再生速度変換の要求がなさ
れた時刻tとユーザが指示した再生速度変換倍率iとに
基づいて、DTS及びCTS(第2の時間情報)を演算
する(ステップS302)。
02で取得したDTS及びCTS(第2の時間情報)
を、ステップS301で抽出したDTS及びCTS(第
1の時間情報)として新たに設定する(ステップS30
3)。
的に示したものである。先ず、復号化バッファへ入力さ
れた任意のAUnから、パケットヘッダ部に付加された
時刻DTS(AUn)及びCTS(CUn)(第1の時間
情報)を抽出する。次に、ユーザから再生速度変換の要
求(再生速度倍率i及び再生速度の変更の要求)がなさ
れた時刻tを用いて、 DTS´(AUn)=t+{DTS(AUn)−t}/i ={(i −1)t+DTS(AUn)}/i CTS´(CUn)=t+{CTS(CUn)−t}/i ={(i −1)t+CTS(CUn)}/i なる演算を行ない、これにより求めたDTS´(AU
n)及びCTS´(CUn)(第2の時間情報)を、新
たにAUnのDTS及びCTSとして設定する。
て、時刻DTS´(AUn)までに復号されてCUnに変
換され、コンポジションメモリに対して出力される。C
Unは、時刻CTS´(CUn)で有効となり、コンポジ
タ114において合成及び再生が可能な状態となる。
0へ入力されたMPEG−4ビットストリームの動画像
オブジェクトデータ及び音声オブジェクトデータの再生
を開始した時刻から、ユーザが速度を変更するよう要求
した時刻までの経過時間である。また、“時間t”は、
例えば、コンピュータ(不図示)内部の時計、或はデー
タ処理装置100内部の時計から読み取った時刻、或は
その時刻から算定された実利用時間を適用可能である。
倍率iが“1”以上の値であることを想定しているの
で、DTS(AUn)よりもDTS´(AUn)の方が小
さい値となり、また、CTS(CUn)よりもCTS´
(CUn)が小さい値となる。すなわち、任意のCUnに
関して、有効な状態になる時間が早まるため、通常に再
生した場合に比べ高速に再生されることになる。
の値を用いた場合、DTS(AUn)よりもDTS´
(AUn)の方が大きい値となり、また、CTS(CU
n)よりもCTS´(CUn)の方が大きい値となるの
で、CUnが有効な状態になる時間が遅くなり、通常に
再生した場合に比べゆっくりと再生されることになる。
速度変換部116は、音声デコーダ107に対して再生
速度倍率iを通知する(ステップS304)。その後、
速度変換部116は、復号化バッファへ入力された次の
AUに対する処理を実行するために、再びステップS3
00へと戻る。
変換部116から再生速度倍率iを受け取ると、その再
生速度倍率iに従って再生速度を変換するように、音声
復号化バッファ103内のAUを復号化する。
変換機能は、符号化されたデータ(MPEG−4ビット
ストリーム)が完全にパラメータ化されているため、デ
コード時にパラメータの値や設定を任意に変えたとして
も、デコードが可能であるという、パラメトリック符号
化の特徴を生かした機能であり、符号化されたパラメー
タ(時間情報)の更新周期を変えることによって、再生
速度変換を実現している。
置100の再生機能(MPEG−4再生機能)及びその
制御方法は、符号化された1つ又は複数の動画像オブジ
ェクトデータ及び音声オブジェクトデータを含むビット
ストリーム(MPEG−4ビットストリーム)から、そ
れぞれのオブジェクトデータを分離して再生するに際
に、フィールドの内挿等の特殊なアルゴリズムが実装さ
れていない従来の動画像デコーダを用いたとしても、音
声の速度変換に同期(リップシンク)して動画像を同時
に可変速に再生することができる。
Sといった時間情報(タイムスタンプ)は、パケットヘ
ッダのオプション情報であり、このような情報が不要な
場合もある。例えば、他に同期情報が存在する場合、D
TSやCTSの代わりに、上述した他の同期情報を用い
て、本実施の形態での機能を実施することができること
は言うまでもない。
スト及び端末の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システム或いは装置に
供給し、そのシステム或いは装置のコンピュータ(又は
CPUやMPU)が記憶媒体に格納されたプログラムコ
ードを読みだして実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が本実施の形態の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体は本発明を構成することとなる。プログラムコー
ドを供給するための記憶媒体としては、ROM、フロッ
ピーディスク、ハードディスク、光ディスク、光磁気デ
ィスク、CD−ROM、CD−R、磁気テープ、不揮発
性のメモリカード等を用いることができる。また、コン
ピュータが読みだしたプログラムコードを実行すること
により、本実施の形態の機能が実現されるだけでなく、
そのプログラムコードの指示に基づき、コンピュータ上
で稼動しているOS等が実際の処理の一部又は全部を行
い、その処理によって本実施の形態の機能が実現される
場合も含まれることは言うまでもない。さらに、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ードや機能拡張ユニットに備わるCPUなどが実際の処
理の一部又は全部を行い、その処理によって本実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。
は、図5に示すようなコンピュータ機能500を有す
る。このコンピュータ500のCPU501により、上
述した本実施の形態での動作が実施される。
すように、CPU501と、ROM502と、RAM5
03と、キーボード(KB)509のキーボードコント
ローラ(KBC)505と、表示部としてのCRTディ
スプレイ(CRT)510のCRTコントローラ(CR
TC)506と、ハードディスク(HD)511及びフ
ロッピー(登録商標)ディスク(FD)512のディス
クコントローラ(DKC)507と、ネットワークイン
ターフェースカード(NIC)508とが、システムバ
ス504を介して互いに通信可能に接続された構成とし
ている。そして、システムバス504が、上記図1に示
した伝送路(ネットワーク等)101と接続される。
511に記憶されたソフトウェア、或いはFD512よ
り供給されるソフトウェアを実行することで、システム
バス504に接続された各構成部を総括的に制御する。
すなわち、CPU501は、上記図3に示したような処
理シーケンスに従った処理プログラムを、ROM50
2、或いはHD511、或いはFD512から読み出し
て実行することで、上述した本実施の形態での動作を実
現するための制御を行う。
或いはワークエリア等として機能する。KBC505
は、KB509や図示していないポインティングデバイ
ス等からの指示入力を制御する。CRTC506は、C
RT510の表示を制御する。DKC507は、ブート
プログラム、種々のアプリケーション、編集ファイル、
ユーザファイル、ネットワーク管理プログラム、及び本
実施の形態における上記処理プログラム等を記憶するH
D511及びFD512とのアクセスを制御する。NI
C508は、伝送路101上の装置或はシステム等と双
方向にデータをやりとりする。
及び音声のオブジェクトデータを復号して再生する際に
使用する第1の時間情報(同期管理のための情報)とし
て、外部(ユーザ等)からの速度変換要求に基づき取得
した第2の時間情報を新たに設定し、音声のオブジェク
トデータの復号手段(音声デコーダ)に対して、外部
(ユーザ等)からの速度変換要求により示される再生速
度倍率を通知するように構成したので、フィールドの内
挿等の特殊なアルゴリズムが実装されていない従来の動
画像用の復号手段(デコーダ)を用いたとしても、音声
の速度変換に同期(リップシンク)して、動画像を同時
に可変速で再生することができるので、柔軟で拡張性の
あるデータ処理装置或はシステムを容易に実現できる。
ブロック図である。
ァ管理を説明するための図である。
するためのフローチャートである。
合の、上記同期モデル及びバッファ管理を説明するため
の図である。
の構成を示すブロック図である。
Claims (15)
- 【請求項1】 少なくとも動画像及び音声のオブジェク
トデータを含む符号化ビットストリームから分離した当
該オブジェクトデータを、当該オブジェクトデータに含
まれる上記動画像及び音声の同期管理のための第1の時
間情報に基づき復号して再生するデータ処理装置であっ
て、 外部からの速度変換要求に基づいて、上記動画像及び音
声の同期管理のための第2の時間情報を取得する時間情
報取得手段と、 上記時間情報取得手段で得られた第2の時間情報を上記
第1の時間情報として設定する設定手段と、 上記音声のオブジェクトデータの復号手段に対して、上
記外部からの速度変換要求により示される再生速度倍率
を通知する通知手段とを備えることを特徴とするデータ
処理装置。 - 【請求項2】 上記符号化ビットストリームは、MPE
G−4に準拠したビットストリームを含むことを特徴と
する請求項1記載のデータ処理装置。 - 【請求項3】 上記音声のオブジェクトデータは、再生
速度変換機能を有する符号化方式によって高能率圧縮符
号化が施されたデータを含むことを特徴とする請求項1
記載のデータ処理装置。 - 【請求項4】 復号対象データ用のバッファに対して入
力された上記オブジェクトデータのアクセスユニットか
ら、上記第1の時間情報を抽出する抽出手段を備えるこ
とを特徴とする請求項1記載のデータ処理装置。 - 【請求項5】 上記音声のオブジェクトデータの復号手
段は、再生速度変換機能を有することを特徴とする請求
項1記載のデータ処理装置。 - 【請求項6】 上記時間情報は、DTS(Decodi
ng Time Stamp)及びCTS(Compos
ition Time Stamp)を含むことを特徴と
する請求項1記載のデータ処理装置。 - 【請求項7】 複数の機器が互いに通信可能に接続され
てなるデータ処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
1〜6の何れかに記載のデータ処理装置の機能を有する
ことを特徴とするデータ処理システム。 - 【請求項8】 符号化された1つ又は複数の動画像及び
音声のオブジェクトデータを含むビットストリームを、
当該オブジェクトデータ単位で分離して復号化し、当該
復号化後の1つ又は複数のオブジェクトデータを合成し
て出力するためのデータ処理方法であって、 上記オブジェクトデータから、上記動画像及び音声の同
期管理のための第1の時間情報の領域を特定して抽出す
る抽出ステップと、 ユーザからの速度変換要求に基づいて、上記動画像及び
音声の同期管理のための第2の時間情報を演算し、その
結果を、上記第1の時間情報として設定する演算/設定
ステップと、 上記音声のオブジェクトデータを復号する音声デコーダ
に対して、上記ユーザからの速度変換要求に従って再生
速度倍率を通知する通知ステップとを含むことを特徴と
するデータ処理方法。 - 【請求項9】 上記ビットストリームは、MPEG−4
のビットストリームを含むことを特徴とする請求項8記
載のデータ処理方法。 - 【請求項10】 上記音声のオブジェクトデータは、再
生速度変換機能を有する符号化方式によって高能率圧縮
符号化が施されたデータを含むことを特徴とする請求項
8記載のデータ処理方法。 - 【請求項11】 上記抽出ステップは、上記オブジェク
トデータの復号化バッファへ入力されたアクセスユニッ
トから、上記第1の時間情報を抽出するステップを含む
ことを特徴とする請求項8記載のデータ処理方法。 - 【請求項12】 上記音声デコーダは、再生速度変換機
能を有することを特徴とする請求項8記載のデータ処理
方法。 - 【請求項13】 上記時間情報は、DTS(Decod
ing Time Stamp)及びCTS(Compo
sition Time Stamp)を含むことを特徴
とする請求項8記載のデータ処理方法。 - 【請求項14】 請求項1〜6の何れかに記載のデータ
処理装置の機能、又は請求項7記載のデータ処理システ
ムの機能をコンピュータに実現させるためのプログラム
を記録したコンピュータ読出可能な記憶媒体。 - 【請求項15】 請求項8〜13の何れかに記載のデー
タ処理方法の処理ステップをコンピュータに実行させる
ためのプログラムを記録したコンピュータ読取可能な記
憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000365837A JP2002171526A (ja) | 2000-11-30 | 2000-11-30 | データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 |
US09/995,913 US20020080399A1 (en) | 2000-11-30 | 2001-11-28 | Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000365837A JP2002171526A (ja) | 2000-11-30 | 2000-11-30 | データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002171526A true JP2002171526A (ja) | 2002-06-14 |
JP2002171526A5 JP2002171526A5 (ja) | 2008-01-24 |
Family
ID=18836542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000365837A Pending JP2002171526A (ja) | 2000-11-30 | 2000-11-30 | データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20020080399A1 (ja) |
JP (1) | JP2002171526A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005531245A (ja) * | 2002-06-27 | 2005-10-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パーソナルビデオレコーディングの応用におけるmpegデコーダでの音声画像同期を達成する安定した方法 |
JP2008258665A (ja) * | 2007-03-30 | 2008-10-23 | Toshiba Corp | ストリーム再生装置 |
JP4819126B2 (ja) * | 2005-10-14 | 2011-11-24 | サムスン エレクトロニクス カンパニー リミテッド | 携帯放送システムにおける多重ストリーム受信装置及び方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003217488A1 (en) * | 2002-04-19 | 2003-11-03 | Matsushita Electric Industrial Co., Ltd. | Reproduction speed conversion apparatus |
WO2006072853A1 (en) * | 2005-01-04 | 2006-07-13 | Koninklijke Philips Electronics N.V. | Method of and device for synchronizing multiple input streams |
JP5897792B2 (ja) | 2010-12-10 | 2016-03-30 | ソニー株式会社 | 画像処理装置、画像再生装置、および画像再生システム |
US10547713B2 (en) | 2012-11-20 | 2020-01-28 | Nvidia Corporation | Method and system of transmitting state based input over a network |
US20140195594A1 (en) * | 2013-01-04 | 2014-07-10 | Nvidia Corporation | Method and system for distributed processing, rendering, and displaying of content |
US10630773B2 (en) | 2015-11-12 | 2020-04-21 | Nvidia Corporation | System and method for network coupled cloud gaming |
US11027199B2 (en) | 2015-11-12 | 2021-06-08 | Nvidia Corporation | System and method for network coupled gaming |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5848239A (en) * | 1996-09-30 | 1998-12-08 | Victory Company Of Japan, Ltd. | Variable-speed communication and reproduction system |
JP3407287B2 (ja) * | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
US6539054B1 (en) * | 1998-09-18 | 2003-03-25 | Matsushita Electric Industrial Co., Ltd. | Image output apparatus, image reproduction method, object composition apparatus, object composition method, and data storage medium |
-
2000
- 2000-11-30 JP JP2000365837A patent/JP2002171526A/ja active Pending
-
2001
- 2001-11-28 US US09/995,913 patent/US20020080399A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005531245A (ja) * | 2002-06-27 | 2005-10-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パーソナルビデオレコーディングの応用におけるmpegデコーダでの音声画像同期を達成する安定した方法 |
JP4819126B2 (ja) * | 2005-10-14 | 2011-11-24 | サムスン エレクトロニクス カンパニー リミテッド | 携帯放送システムにおける多重ストリーム受信装置及び方法 |
JP2008258665A (ja) * | 2007-03-30 | 2008-10-23 | Toshiba Corp | ストリーム再生装置 |
JP4589355B2 (ja) * | 2007-03-30 | 2010-12-01 | 株式会社東芝 | ストリーム再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US20020080399A1 (en) | 2002-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3407287B2 (ja) | 符号化復号システム | |
JP2970558B2 (ja) | オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法 | |
US7453522B2 (en) | Video data processing apparatus | |
US20020150123A1 (en) | System and method for network delivery of low bit rate multimedia content | |
JP3523218B2 (ja) | メディアデータプロセッサ | |
JP5409762B2 (ja) | 画像復号化装置および画像復号化方法 | |
US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
JP2007202026A (ja) | 符号化装置、復号化装置、符号化方法、復号化方法、符号化方法のプログラム、復号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び復号化方法のプログラムを記録した記録媒体 | |
JP2006217653A (ja) | 多重化装置及び方法、並びに合成装置および方法 | |
JP3828053B2 (ja) | 受信されたマルチメディアデータを保存するバッファの容量を可変できるマルチメディアデータ復元装置及び方法 | |
JP2002171526A (ja) | データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 | |
JP2003153254A (ja) | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 | |
CN113490047A (zh) | 一种Android音视频播放方法 | |
JP2004173118A (ja) | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 | |
JP2002351438A (ja) | 映像監視システム | |
JP2004221900A (ja) | 画像情報復号装置及び画像情報復号方法 | |
US20190387271A1 (en) | Image processing apparatus, image processing method, and program | |
JP2000083233A (ja) | 認証装置及び認証方法及び認証システム並びに記憶媒体 | |
EP1519588A2 (en) | Program, data processing method, and data processing system | |
CN110798715A (zh) | 基于图像串的视频播放方法及*** | |
US20120082435A1 (en) | Moving image display device | |
JP2000152235A (ja) | データ処理装置及びその方法、及びデータ処理システム | |
JP2005176068A (ja) | 動画像配信システム及びその方法 | |
KR20220148027A (ko) | Hmd 기반의 pc 게임 확장 시스템 | |
JP2005176094A (ja) | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090831 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091020 |