JP2002271738A - 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体 - Google Patents

情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体

Info

Publication number
JP2002271738A
JP2002271738A JP2001067218A JP2001067218A JP2002271738A JP 2002271738 A JP2002271738 A JP 2002271738A JP 2001067218 A JP2001067218 A JP 2001067218A JP 2001067218 A JP2001067218 A JP 2001067218A JP 2002271738 A JP2002271738 A JP 2002271738A
Authority
JP
Japan
Prior art keywords
data
editing
moving image
audio
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001067218A
Other languages
English (en)
Inventor
Ryotaro Wakae
亮太郎 若江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001067218A priority Critical patent/JP2002271738A/ja
Publication of JP2002271738A publication Critical patent/JP2002271738A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 双方が個別の再生時間を持つような動画像オ
ブジェクトデータと音声オブジェクトデータの同期をと
る以前に、もしくは動画像オブジェクトデータのみの編
集処理を行った動画像オブジェクトデータと音声オブジ
ェクトデータの同期をとる以前に、音声オブジェクトデ
ータとして、再生速度変換機能を有する符号化方式によ
って高能率(圧縮)符号化が施されたデータを利用する
ことにより、同期メカニズムを実現する。 【解決手段】 ビデオストリーム1aをビデオデータ編
集部で編集すると、その編集後のビデオの再生時間をビ
デオ情報検出部4が検出し、速度パラメータ設定部6に
供給される。速度パラメータ設定部6は、入力したオー
ディオオブジェクトの再生時間を検出し、ビデオ情報検
出部で検出されたビデオ再生時間に同期させるべく、再
生速度を決定する。この決定内容は、オーディオデコー
ダ7に供給され、そこで復号化された後、再度、オーデ
ィオエンコーダ8で速度変換された内容に従って符号化
される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は情報処理装置及びそ
の制御方法及びコンピュータプログラム及び記憶媒体、
特に符号化された動画像、音声オブジェクトデータを含
むビットストリームを編集する装置及びその制御方法及
びコンピュータプログラム及び記憶媒体に関するもので
ある。
【0002】
【従来の技術】現在、ISO/IEC 14496 part 1(MPEG-4 Sy
stems)により、動画像や音声など複数のオブジェクトを
含むマルチメディアデータの符号化ビットストリームを
多重化・同期する手法が標準化されつつある。MPEG-4 S
ystemsでは、理想端末モデルをシステムデコーダモデル
と呼び、その動作を規定している。
【0003】上述したようなMPEG−4のデータスト
リームにおいては、これまでの一般的なマルチメディア
ストリームとは異なり、いくつものビデオシーンやビデ
オオブジェクトを単一のストリーム上で独立して送受信
する機能を有する。また、音声データについても、同様
にいくつものオブジェクトを単一のストリーム上から復
元可能である。MPEG−4におけるデータストリーム
には、従来のビデオ・オーディオデータの他に、各オブ
ジェクトの空間・時間的配置を定義するための情報とし
て、VRMLL(Virtual Reality Modeling Language)
を自然動画像や音声が扱えるように拡張したBIFS
(Binary Format for Scenes)が含まれている。ここで
BIFSはMPEG−4のシーンを2値で記述する情報
である。
【0004】このような、シーンの合成に必要な個々の
オブジェクトは、それぞれ個別に最適な符号化が施され
て送信されることになるので、復号側でも個別に復号さ
れ、上述のBIFSの記述に伴い、個々のデータの持つ
時間軸を再生機内部の時間軸に合わせて同期させ、シー
ンを合成し再生することになる。
【0005】
【発明が解決しようとする課題】しかしながら、上記の
技術において、動画像オブジェクトデータと音声オブジ
ェクトデータがそれぞれ単独で存在するか、もしくは動
画像オブジェクトデータのみの編集を行った場合、それ
ぞれの符号化ビットストリームに対応した同期メカニズ
ムを実現することは考慮されていない。例えば、車のよ
うなオブジェクトを持つ動画像オブジェクトデータと、
その車に関する情報が説明されている音声オブジェクト
データがそれぞれ単独に存在しているものとする。この
2つのオブジェクトデータの同期をとる際、それぞれの
オブジェクトデータは他方のオブジェクトデータの長さ
(再生時間)を考慮せず個別に作成されたため、双方の
再生時間は全く異なり、本発明の従来の技術で記載した
同期方法では、同期をとることは不可能に等しい。ま
た、車のオブジェクトの後に、別のオブジェクトが続い
て再生されるような動画像オブジェクトデータを、音声
オブジェクトデータは編集せずに、動画オブジェクトデ
ータのみを編集する場合(車のオブジェクトのみの動画
像オブジェクトデータに修正する等)、この2つのオブ
ジェクトデータに対して同期をとる際、同様の問題が生
じる。
【0006】本発明は上記実情に鑑みて為されたもので
あり、双方が個別の再生時間を持つような動画像オブジ
ェクトデータと音声オブジェクトデータの同期をとる以
前に、もしくは動画像オブジェクトデータのみの編集処
理を行った動画像オブジェクトデータと音声オブジェク
トデータの同期をとる以前に、音声オブジェクトデータ
として、再生速度変換機能を有する符号化方式によって
高能率(圧縮)符号化が施されたデータを利用すること
により、同期メカニズムを実現する情報処理装置及びそ
の制御方法及びコンピュータプログラム及び記憶媒体を
提供すること目的とする。
【0007】
【課題を解決するための手段】この課題を解決するた
め、例えば本発明の情報処理装置は以下の構成を備え
る。すなわち、符号化された動画像データ、音響データ
をオブジェクトとするビットストリームを編集する情報
処理装置であって、前記動画像データのオブジェクトを
編集する編集手段と、該編集手段で編集された動画像の
再生時間と前記音響データの再生時間から、当該音響デ
ータの再生の際の速度変換パラメータを算出する算出手
段と、算出された速度変換パラメータを、前記音響デー
タのデコーダに設定する設定手段とを備える。
【0008】
【発明の実施の形態】以下、添付図面を参照して本発明
に係る実施形態(動画像/音声符号化データ編集装置)
を詳細に説明する。
【0009】図1は、本実施形態の動画像/音声符号化
データ編集装置のブロック構成図である。本装置は、入
力ビデオビットストリーム1a(動画像オブジェクトデ
ータ)とは別に、ストリームの繋ぎ合わせ編集などで使
用するビデオビットストリームやストリームのカット編
集でカットされたビデオビットストリームを蓄積するバ
ッファ2と、入力されたビデオビットストリーム1aを
ストリームのカットや繋ぎ合わせなどの編集処理を行う
ビデオデータ編集部3と、ビデオデータ編集部3で編集
されたビデオビットストリームや入力されたビデオビッ
トストリーム1aの再生時間を検出するビデオ情報検出
部4と、入力されたオーディオビットストリーム1b
(音声オブジェクトデータ)から再生時間を検出するオ
ーディオ情報検出部5と、ビデオ情報検出部4とオーデ
ィオ情報検出部5で検出されたそれぞれの再生時間の長
さから、速度変換パラメータを算出する速度パラメータ
設定部6と、入力されたオーディオビットストリーム1
bを速度パラメータ設定部6で算出された速度変換パラ
メータを用いて、オーディオビットストリーム1bをデ
コードするオーディオデコーダ7と、オーディオデコー
ダ7でデコードされたオーディオ再生データを再びエン
コードし、オーディオビットストリームを生成するオー
ディオエンコーダ8と、ビデオビットストリームとオー
ディオビットストリームから同期をとって再生するシス
テム装置9を具備する。また、ビデオデータ編集部3お
いては、編集パターンに応じて、ストリームのカット編
集もしくは繋ぎ合わせ編集、もしくはその内容(どのス
トリームと繋ぎ合わせるか等)を表す編集情報がユーザ
ーから入力される。
【0010】ここで、ビデオビットストリームは、動画
像の標準圧縮規格であるMPEG規格などで圧縮された
ビデオビットストリームである。
【0011】ここで、オーディオビットストリームは、
低ビットレートの音声用の符号化方式としてのMPEG
規格の一つであるHVXC(Harmonic Vector eXcitatio
n Coding)音声符号化方式の様な、再生速度変換機能を
有する符号化方式によって高能率(圧縮)符号化が施さ
れ圧縮された音声ビットストリームである。
【0012】次に、前記ビデオデータ編集部3につい
て、標準MPEG−4規格で圧縮されたビデオビットス
トリームを例に図2、図3を用いて詳細に説明する。
【0013】この圧縮方式では、各フレームの処理とし
ては、他のフレームを参照せずフレーム内で圧縮処理が
完結するフレーム内圧縮フレーム(以下、Iフレームと
呼ぶ)と、時間的に前のフレームのみを参照する単方向
予測フレーム(以下、Pフレームと呼ぶ)と、時間的に
前後の2つのフレームを参照する双方向予測フレーム
(以下、Bフレームと呼ぶ)があり、1フレーム以上の
Iフレームを含み、独立して再生可能な複数フレームを
グループオブビデオオブジェクトプレーン(GOV (Gr
oupe Of Video Object Plane))と呼ぶ単位で、符号化
データが構成されている。
【0014】ビデオデータ編集部3における動画像デー
タの符号化データ(ビデオビットストリーム)の状態で
カット編集処理が可能な方法の一具体例として、図2を
用いて説明する。
【0015】編集情報21(本実施形態では、図1の編
集情報に相当する)を基に、編集対象の符号化データ2
2を、設定されたカットの位置に一番近いGOVの切れ
目(Iピクチャの存在する位置から、後続する所望とす
る位置のIピクチャの直前までとなる)で、符号化デー
タをカットしていく。そのデータは一旦ハードディスク
などで構成されるメモリ部25に蓄積する。
【0016】符号化データ再構成部24では、カットさ
れた符号化データを繋ぎ合わせる処理である再構成処理
を行う。そして、再構成され作成された符号化データを
符号化データ解析部28で、復号画像が再生されるか、
あるいは復号時のバッファ状態がオーバーフローやアン
ダーフローしないかどうか、あるいは接続したGOV間
のバッファ状態の差を検出する。その検出結果に基づ
き、符号化データ作成処理部26で、置き換えのために
符号化データを生成し、さらにスタッフィングデータ作
成処理部27で、バッファ調整のためのデータを作成
し、符号化データ再生構成部24で、再び符号化データ
を作成し、その符号化データ編集後の符号化データ29
とする。この編集方法は、例えば特開平8−14940
8号公報の中で、MPEG−1規格で圧縮された符号化
データを対象として技術開示されている。
【0017】ビデオデータ編集部3における、一つのス
トリームa(入力ビデオビットストリーム1a、もしく
はバッファ2にあらかじめ蓄積されたビデオビットスト
リーム)と他のストリームb(入力ビデオビットストリ
ーム1a、もしくはバッファ2にあらかじめ蓄積された
ビデオビットストリーム)とを繋ぎ合わせストリームX
を生成、もしくは一つのストリームaの途中に他のスト
リームbを繋ぎ合わせストリームXを生成する編集方法
の一具体例として、図3を用いて説明する。
【0018】ここでは、ストリームaの区間A及びBの
部分と、ストリームbの区間C及びDの部分とを組み合
わせてストリームXを生成している。区間Bと区間Cと
の間が編集点である。各ストリーム内の等間隔の区分は
GOV単位を表しており、各GOVの先頭にIピクチャ
が存在する。編集点はGOVの途中にあり、GOVの先
頭とは一致していない。
【0019】区間Bは、編集点を含むストリームaのG
OVの先頭から編集点までの区間を表しており、区間A
は、それ以前の区間を表している。
【0020】この編集方法は、編集に際して、区間Aは
入力されたビデオビットストリーム1a、もしくはあら
かじめバッファ2に蓄積されたストリームa、bの中か
らストリームaのデータを読み出し、そのまま使用す
る。区間Bでは、ストリームaを編集用のデコーダでデ
コードし、それを編集用のエンコーダで再エンコードす
る。区間Cでは、ストリームbを編集用のデコーダでデ
コードし、それを編集用のエンコーダで再エンコードす
る。また、区間Dでは入力されたビデオビットストリー
ム1a、もしくはあらかじめバッファ2に蓄積されたス
トリームa,bの中からストリームbのデータを読み出
し、そのまま使用する。この編集方法は、特開2000
-165802号公報の中で、MPEG−1規格で圧縮
されたストリームを対象として技術開示されている。
【0021】上記の如く、編集点がGOVの途中であっ
ても、一度デコードしてから再エンコードすることで切
れ目にIピクチャを生成することにより、自然なつなぎ
合わせができあがる。
【0022】ビデオ情報検出部4における、ビデオビッ
トストリームのビデオ再生データの再生時間検出方法に
ついて、MPEG−4規格で圧縮されたビデオビットス
トリームを一例に説明する。MPEG−4符号化データ
(ビデオビットストリーム)は、符号化効率の向上、及
び編集操作性の向上の観点から階層化されている。動画
像の符号化データの先頭には、識別のためのvisual_obj
ect_sequence_start_codeがあり、それに各ビジュアル
オブジェクトの符号化データが続き、最後に、符号化デ
ータの後端を示すvisual_object_sequence_end_codeが
ある。このビジュアルオブジェクトデータに続いて動画
像の符号化データの魂を表すビデオオブジェクトデータ
(VO)が続く。
【0023】ビデオオブジェクトデータは、それぞれの
オブジェクトを表す符号化データであり、スケーラビリ
ティを実現するためのビデオオブジェクトレイヤデータ
(VOL)と、動画像の1フレームに相当するビデオオブ
ジェクトプレーンデータ(VOP)がある。
【0024】まず、ビデオオブジェクトレイヤデータの
中のVOP_time_increment_resolusionのデータのみを読
み込んでいき、1secあたりのフレーム数(Fps(frame/se
c))を取得する。次に、ビジュアルオブジェクトプレー
ンデータの中のVOP_start_codeの数をカウントしてい
き、全体のフレーム数(Ftotal)を取得する。これらの処
理により、ビデオ再生データの再生時間(VideoLeg(se
c))は、 VideoLeg(sec) = 1/Fps(sec/frame) × Ftotal(frame) の計算式で算出される。これらの処理は、あくまでもビ
デオ再生データの再生時間を検出する一具体例である。
【0025】次に、オーディオ情報検出部5における、
オーディオビットストリームのオーディオ再生データの
再生時間検出方法について、HVXC音声符号化方式を
一例に説明する。
【0026】HVXCではフレーム長が20msecと固定
されており、また、2kbpsの符号化では1フレームあた
り40ビット、4kbpsの符号化では1フレームあたり8
0ビットが割り当てられている。よって、HVXCビットス
トリーム全体の容量(BSsize)から、再生時間(AudioLeg
(sec))を算出することが可能である。その算出方法を下
記の式、 2kbpsの場合:AudioLeg(sec) = (BSsize(bit)/40(bi
t)) × 0.02(sec) 4kbpsの場合:AudioLeg(sec) = (BSsize(bit)/80(bi
t)) × 0.02(sec) で表される(ただし、固定レートモードにおいての
み)。
【0027】このように、オーディオビットストリーム
として、HVXC音声符号化方式を適用した場合は、上
記計算式により、オーディオビットストリームのオーデ
ィオ再生データの再生時間を検出することができる。こ
れらの処理は、あくまでもオーディオ再生データの再生
時間を検出する一具体例である。
【0028】次に、速度パラメータ設定部6における速
度変換パラメータの算出方法を説明する。
【0029】ビデオ情報検出部4で検出されたビデオビ
ットストリームの再生時間をVideoLeg(sec)、オーディ
オ情報検出部5で検出されたオーディオビットストリー
ムの再生時間をAudioLeg(sec)とすると、この2つのパ
ラメータから、以下の計算式により速度変換パラメータ
(SpeedParam)を算出する。すなわち、 SpeedParam = [((AudioLeg(sec)/VideoLeg(sec)) + 0.
05)×10]/10 (ここで[…]は切り捨て) ただしHVXC音声符号化方式の場合、(VideoLeng/2)
≦AudioLeg≦(VideoLeng×2)である。
【0030】上記計算式により算出された速度変換パラ
メータ(SpeedParam)は、前記オーディオデコーダ7に送
られる。
【0031】オーディオデコーダ7は、HVXC音声符
号化方式(Harmonic Vector eXcitation Coding)の様
な、再生速度変換機能を有する符号化方式によって高能
率(圧縮)符号化が施され圧縮されたオーディオビット
ストリームを復号(デコード)することが可能なデコー
ダである。入力オーディオビットストリーム1がHVX
C音声符号化方式によって生成されたものであるなら
ば、オーディオデコーダ7は、HVXCデコーダが最適
であることは言うまでもない。同様に前記オーディオエ
ンコーダ8は、前記オーディオデコーダ7で適用された
符号化方式のエンコーダが最適であることは言うまでも
ない。
【0032】次に、HVXC音声符号化方式で実現され
る再生速度変換機能の詳細について説明する。
【0033】スペクトル包絡を表すLPSパラメータ
(スペクトルパラメータ)、LPC残差信号のハーモニ
クススペクトルとピッチ(共に音源パラメータ)が有声
音部分の符号化パラメータであるが、これらは線形補間
によって任意の時刻の符号化パラメータに変換すること
ができる。また、無声音部分のCELP駆動音源はノイ
ズで代替することで任意の時刻の符号化パラメータを得
ることができる。このようにして得られた、任意の更新
レートに変換された符号化パラメータ列を復号化器に入
力することで、0.5〜2.0の範囲で任意のレートの時
間軸の伸縮が行える。
【0034】次に、補間されたパラメータの算出方法を
以下に記す。
【0035】速度変換する前の各パラメータをparam
[n]、補間されたパラメータをmdf_param[m]とする。た
だしnとmは時間軸伸縮前後の時間インデックスであ
る。フレームインターバルはともに20msである。ま
た、N1を元の音源の長さ(変換前のフレームの総
数)、N2を速度変換されたスピーチの長さ(変換後の
フレームの総数)とすると、速度変換の比率spd(前記
速度変換パラメータ)はspd=N1/N2と定義される。し
たがって、0≦n<N1、0≦m<N2となる。時間軸
を変更したパラメータは mdf_param[m] = param[m×spd] ……(A) と記述される。しかし一般にはm×spdは整数値をとらな
い。そこで時刻m×spdのパラメータを時刻fr0と時刻fr1
のパラメータから線形補間によって得るために、 fr0 =[m×spd] ([]は切り捨て) fr1 = fr0+1 を定義する。線形補間を実行するために left = m×spd−fr0 right = fr1−m×spd と定義する。すると式(A)は下記の近似式で実行可能
となる。
【0036】 mdf_param[m] = param[fr0]×right+param[fr1]×left このようなアルゴリズムで、任意の時刻の符号化パラメ
ータを算出している。
【0037】これらの処理は全て,エンコーダ側で生成
されたビットストリームをデコーダ側で復号する際に、
デコーダに速度変換パラメータを与える事により実現さ
れる。
【0038】図4は、入力されたビデオビットストリー
ム1aが編集されて、編集されたビデオビットストリー
ムの再生時間を検出するまでの動作の概要を示したフロ
ーチャートである。まず、ユーザーがビデオビットスト
リーム1aを入力する(ステップS40)。入力された
ビデオビットストリームを編集するか否かユーザーが判
断し(ステップS41)、編集する場合は、ユーザーに
よって入力された編集情報を元に、ビデオデータ編集部
3で編集内容を選択する(ステップS42)。編集内容
は大きく、ストリームのカット編集とストリームの繋ぎ
合わせ編集に分けられ、繋ぎ合わせ編集が選択された場
合、あらかじめバッファ2に蓄積された、入力ビデオビ
ットストリーム1aに繋ぎ合わせるビデオビットストリ
ームをビデオデータ編集部3に読み込み(ステップS4
3)、上記の繋ぎ合わせ編集方法などの編集処理が行わ
れる(ステップS44)。また、カット編集が選択され
た場合、ビデオデータ編集部3において、カット編集方
法などの編集処理が行われる(ステップS44)。編集
されたビデオビットストリームから、ビデオ情報検出部
4において、ビデオ再生データの再生時間が検出される
(ステップS45)。
【0039】図5は、入力されたオーディオビットスト
リーム1が、入力されたビデオビットストリーム1a、
もしくは編集されたビデオビットストリームの再生デー
タの再生時間に合わせて、新たに作成されるまでの動作
の概要を示したフローチャートである。
【0040】まず、ユーザーがオーディオビットストリ
ーム1bを入力する(ステップS50)。入力されたオ
ーディオビットストリーム1bから、オーディオ情報検
出部5において、オーディオ再生データの再生時間が検
出され(ステップS51)、検出されたオーディオ再生
データの再生時間とビデオ再生データの再生時間から、
速度パラメータ設定部6において、速度変換パラメータ
が設定される(ステップS52)。入力されたオーディ
オビットストリーム1bは、オーディオデコーダ7にお
いて、ステップS52で設定された速度変換パラメータ
を用いて復号処理(デコード)が行われ(ステップS5
3)、復号されたオーディオ再生データは、オーディオ
エンコーダ8において、再び符号化(エンコード)され
(ステップS54)、入力されたビデオビットストリー
ム1a、もしくは編集されたビデオビットストリームの
ビデオ再生データの再生時間と同等の再生時間で再生さ
れる、オーディオビットストリームを生成する。
【0041】本発明におけるシステム装置9は、先に説
明したビデオビットストリームやオーディオビットスト
リームの様な個々のデータを、個々のデータの持つ時間
軸を再生機内部の時間軸に合わせて同期させ、シーンを
合成し再生する様な装置が適用される。例えば、本発明
の従来の技術で記載したISO/IEC 14496 part 1(M
PEG-4 Systems)などがその一つである。
【0042】本発明は、一般の汎用情報処理装置(パー
ソナルコンピュータ等)上で動作するアプリケーション
として実現できる。すなわち、実施形態の機能を実現す
るソフトウェアのプログラムコードを記録した記憶媒体
をシステムあるいは装置に提供し、そのシステムあるい
は装置のコンピュータ(またはCPUやMPU)が記憶媒体に
格納されたプログラムコードを読み出し実行することに
よっても達成される。この場合、記憶媒体から読み出さ
れたプログラムコード自体が前述した実施形態の機能を
実現することになり、そのプログラムコードを記憶した
記憶媒体は本発明を構成することになる。
【0043】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピー(登録商標)ディス
ク、ハードディスク、光ディスク、光磁気ディスク、CD
-ROM、CD-R、磁気テープ、不揮発性のメモリカード、RO
Mなどを用いることができる。
【0044】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれていることは言うまでもない。
【0045】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書きこまれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPUなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含むことは言うまでもない。
【0046】以上説明したように本実施形態によれば、
双方が個別の再生時間を持つような動画像オブジェクト
データと音声オブジェクトデータの同期をとる以前に、
もしくは動画像オブジェクトデータのみの編集処理を行
った動画像オブジェクトデータと音声オブジェクトデー
タの同期をとる以前に、音声オブジェクトデータとし
て、再生速度変換機能を有する符号化方式によって高能
率(圧縮)符号化が施されたデータを利用することによ
り、このような動画像オブジェクトデータに対しても柔
軟で拡張性のある同期メカニズムを実現することができ
る。
【0047】
【発明の効果】以上説明したように本発明によれば、双
方が個別の再生時間を持つような動画像オブジェクトデ
ータと音声オブジェクトデータの同期をとる以前に、も
しくは動画像オブジェクトデータのみの編集処理を行っ
た動画像オブジェクトデータと音声オブジェクトデータ
の同期をとる以前に、音声オブジェクトデータとして、
再生速度変換機能を有する符号化方式によって高能率
(圧縮)符号化が施されたデータを利用することによ
り、同期メカニズムを実現することが可能になる。
【図面の簡単な説明】
【図1】実施形態における動画像/音声符号化データ編
集装置のブロック構成図である。
【図2】動画像データの符号化データの状態でのカット
編集方法の一具体例を説明するための図である。
【図3】動画像データのストリームを繋ぎ合わせる編集
方法の一具体例を説明するための図である。
【図4】入力されたビデオビットストリームの編集によ
るビデオビットストリームの再生時間を検出する手順を
示すフローチャートである。
【図5】入力されたオーディオビットストリームを、ビ
デオビットストリームの再生時間に合わせて、新たに作
成されるまでの手順を示すフローチャートである。

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 符号化された動画像データ、音響データ
    をオブジェクトとするビットストリームを編集する情報
    処理装置であって、 前記動画像データのオブジェクトを編集する編集手段
    と、 該編集手段で編集された動画像の再生時間と前記音響デ
    ータの再生時間から、当該音響データの再生の際の速度
    変換パラメータを算出する算出手段と、 算出された速度変換パラメータを、前記音響データのデ
    コーダに設定する設定手段とを備えることを特徴とする
    情報処理装置。
  2. 【請求項2】 前記音響データのオブジェクトデータ
    は、再生速度変換機能を有する符号化方式によって高能
    率圧縮符号化が施されたデータであることを特徴とする
    請求項1に記載の情報処理装置。
  3. 【請求項3】 前記編集手段は、動画像オブジェクトデ
    ータに対して編集処理を行うか否かを判断し、編集を行
    う場合、入力された編集情報に従って編集処理を行うこ
    とを特徴とする請求項1に記載の情報処理装置。
  4. 【請求項4】 前記算出手段により検出する再生時間
    は、動画像オブジェクトデータによって異なる検出方法
    で検出することを特徴とする請求項1に記載の情報処理
    装置。
  5. 【請求項5】 前記算出手段により検出する再生時間
    は、音響オブジェクトデータによって異なる検出方法で
    検出することを特徴とする請求項1に記載の情報処理装
    置。
  6. 【請求項6】 前記音響データのデコーダは、再生速度
    変換機能を有することを特徴とする請求項1に記載の情
    報処理装置。
  7. 【請求項7】 符号化された動画像データ、音響データ
    をオブジェクトとするビットストリームを編集する情報
    処理装置の制御方法であって、 前記動画像データのオブジェクトを編集する編集工程
    と、 該編集工程で編集された動画像の再生時間と前記音響デ
    ータの再生時間から、当該音響データの再生の際の速度
    変換パラメータを算出する算出工程と、 算出された速度変換パラメータを、前記音響データのデ
    コーダに設定する設定工程とを有することを特徴とする
    情報処理装置の制御方法。
  8. 【請求項8】 コンピュータが読み込み実行すること
    で、符号化された動画像データ、音響データをオブジェ
    クトとするビットストリームを編集する情報処理装置と
    して機能するコンピュータプログラムであって、 前記動画像データのオブジェクトを編集する編集工程の
    プログラムコードと、 該編集工程で編集された動画像の再生時間と前記音響デ
    ータの再生時間から、 当該音響データの再生の際の速度変換パラメータを算出
    する算出工程のプログラムコードと、 算出された速度変換パラメータを、前記音響データのデ
    コーダに設定する工程のプログラムコードとを備えるこ
    とを特徴とするコンピュータプログラム。
  9. 【請求項9】 請求項8に記載のコンピュータプログラ
    ムを格納することを特徴とする記憶媒体。
JP2001067218A 2001-03-09 2001-03-09 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体 Withdrawn JP2002271738A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001067218A JP2002271738A (ja) 2001-03-09 2001-03-09 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001067218A JP2002271738A (ja) 2001-03-09 2001-03-09 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2002271738A true JP2002271738A (ja) 2002-09-20

Family

ID=18925600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001067218A Withdrawn JP2002271738A (ja) 2001-03-09 2001-03-09 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP2002271738A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070076A (ja) * 2009-09-28 2011-04-07 Nec Personal Products Co Ltd 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070076A (ja) * 2009-09-28 2011-04-07 Nec Personal Products Co Ltd 情報処理装置

Similar Documents

Publication Publication Date Title
US6339760B1 (en) Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JP5032314B2 (ja) オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置
JP4783449B2 (ja) 符号列を整合させる方法および装置、ならびにデコーダ
EP2104105A1 (en) Digital audio and video clip encoding
JP2003503925A (ja) 情報ストリームのポスト同期
JP2001359051A (ja) 情報処理装置および情報処理方法、並びに記録媒体
JP5785082B2 (ja) オーディオ・ストリームを合成する装置、方法及びプログラム
KR100904626B1 (ko) Mp3용 트릭 플레이
WO2004047441A1 (ja) 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
JP3344379B2 (ja) オーディオ・ビデオ同期制御装置及びその同期制御方法
JP2004180290A (ja) 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
US20020080399A1 (en) Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program
JP2002271738A (ja) 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JPH08293157A (ja) 可変フレーム長高能率符号化データの記録再生方法
JP4343411B2 (ja) 画像処理方法及び装置と再生方法とプログラム及び記憶媒体
WO2009095971A1 (ja) オーディオレジューム再生装置及びオーディオレジューム再生方法
JP4289753B2 (ja) 再生方法及び装置と表示装置
JP4767916B2 (ja) 動画像符号化データ変換装置
JP2000175152A (ja) 多重化装置、多重化方法及び記録媒体
JP2002268700A (ja) 音響情報符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
JPH10174065A (ja) 画像音声多重化データ編集方法およびその装置
JP2001119302A (ja) 符号化装置、復号装置、情報処理システム、情報処理方法、及び記憶媒体
JP4665550B2 (ja) 再生装置および再生方法
JP2005204003A (ja) 連続メディアデータ高速再生方法、複合メディアデータ高速再生方法、多チャンネル連続メディアデータ高速再生方法、映像データ高速再生方法、連続メディアデータ高速再生装置、複合メディアデータ高速再生装置、多チャンネル連続メディアデータ高速再生装置、映像データ高速再生装置、プログラム、および、記録媒体
JP2004040807A (ja) データフロー再生方法及び装置と、それに関連するシステム及び信号

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513