JP2002300528A - ビデオストリーム編集方法及び装置 - Google Patents

ビデオストリーム編集方法及び装置

Info

Publication number
JP2002300528A
JP2002300528A JP2001102195A JP2001102195A JP2002300528A JP 2002300528 A JP2002300528 A JP 2002300528A JP 2001102195 A JP2001102195 A JP 2001102195A JP 2001102195 A JP2001102195 A JP 2001102195A JP 2002300528 A JP2002300528 A JP 2002300528A
Authority
JP
Japan
Prior art keywords
picture
video stream
intra
stream
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001102195A
Other languages
English (en)
Inventor
Teiichi Ichikawa
禎一 伊知川
Shunji Ui
俊司 宇井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001102195A priority Critical patent/JP2002300528A/ja
Publication of JP2002300528A publication Critical patent/JP2002300528A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 MPEGビデオストリームをGOP以下の単
位で編集する。 【解決手段】 MPEGビデオストリーム1からIまた
はPピクチャが最終表示画像となるように第1部分スト
リームを切り出し(S1)、MPEGビデオストリーム
2からIまたはPピクチャが先頭表示画像となるように
第2部分ストリームを切り出す(S2)。第2部分スト
リームの先頭表示ピクチャがIピクチャであるか否かを
判別し(S3)、Iピクチャの場合はそのままとし(S
4)、Pピクチャの場合には、該Pピクチャの直前のI
ピクチャから該Pピクチャまでを順次復号することで、
該Pピクチャの復号画像を得た後(S5)、該Pピクチ
ャの復号画像をIピクチャとして再度符号化した画像デ
ータを、切り出したストリーム中の該Pピクチャと置き
換える(S6)。その後、第1部分ストリームと第2部
分ストリームを結合して、編集後ストリーム3を生成す
る(S7)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、フレーム間符号化
されたビデオストリームの編集方法及び編集装置に関
し、特にフレーム間符号化されたビデオストリームをG
OP(Group of Picture)以下の単位で編集を行う場合
に、編集にかかる信号処理の規模の削減、編集後のビデ
オストリームの画質劣化を回避する技術に関する。
【0002】
【従来の技術】ビデオをフレーム間符号化する例とし
て、MPEG2方式(ISO/IEC13818−2)
がある。この方式は、フレーム内符号化された画像(以
下Iピクチャ)、片方向予測によりフレーム間符号化さ
れた画像(以下Pピクチャ)、及び双方向予測によりフ
レーム間符号化された画像(以下Bピクチャ)により符
号化ストリームが形成されている。
【0003】図7にMPEG2方式により符号化された
ビデオストリームの例を示す。図7において、(a)は
表示順、(b)は符号順を示している。図7に示すよう
に、MPEG2方式のビデオストリームはGOPという
単位で符号化されている。1つのGOPには、通常15
枚程度の画像データがまとめられている。図7中のGO
P♯(n)内の各画像は以下のように符号化されてい
る。
【0004】I2:フレーム内符号化 P5:I2に基づいた片方向フレーム間予測符号化 P8:P5に基づいた片方向フレーム間予測符号化 P11:P8に基づいた片方向フレーム間予測符号化 P14:P8に基づいた片方向フレーム間予測符号化 B0及びB1:GOP♯(n−1)に属するP(−1)
とI2に基づいた双方向フレーム間予測符号化 B3及びB4:I2とP5に基づいた双方向フレーム間
予測符号化 B6及びB7:P5とP8に基づいた双方向フレーム間
予測符号化 B9及びB10:P8とP11に基づいた双方向フレー
ム間予測符号化 B12及びB13:P11とP14に基づいた双方向フ
レーム間予測符号化 MPEG2方式では、フレーム内符号化画像では、画像
を16×16画素のブロック(以下マクロブロック)に
分割し、各マクロブロックをDCT変換を用いて符号化
している。また、フレーム間予測符号化画像では、画像
の各マクロブロックに関して、参照画像の任意の16×
16画素部分から最も相関の高いエリアを検索(以下ベ
クトル検索)し、その差分値をDCT変換を用いて符号
化するという方式が採られている。フレーム間予測符号
化に関しては、符号量に対して画質を向上させるために
は、このベクトル検索処理の規模を大きくする必要があ
る。
【0005】また、MPEG2方式では、Bピクチャが
存在する場合には、符号画像順と表示画像順は一致しな
い。Bピクチャの復号には該画像よりも再生順で後に表
示される画像を参照するため、図7に示すように、符号
順ではBピクチャよりも先にその参照画像となるIピク
チャ又はPピクチャが来ることとなる。
【0006】このようなMPEG2方式で得られたビデ
オストリームを編集する際には、単に必要なピクチャの
データを抜き出して連結するという方法では実現できな
い。Pピクチャ及びBピクチャに符号化された画像の参
照画像が編集により変わってしまうため、正常に再生す
ることができなくなってしまうことになるからである。
【0007】例えば図8に示すように、MPEG2ビデ
オストリーム1中のGOP♯(m)の8枚目までのデー
タを抜き出した部分ストリーム1と、MPEG2ビデオ
ストリーム2中のGOP♯(n)の9枚目以降のデータ
を抜き出した部分ストリーム2を単に結合してビデオス
トリーム3を生成するとする。
【0008】すると、再生ビデオでは、本来P(2)8に
基づいて復号されるべきP(2)11が、P(1)8に基づい
て復号されることになるため、正常な画像が復元できな
くなってしまう。また、このP(2)11を参照画像とし
て復号されることとなるP(2)14及び、P(2)11やP
(2)14を参照画像として復号されるB(2)9、B(2)
0、B(2)12、B(2)13、B(2)15、B(2)16の画
像も正常に復元できなくなってしまうこととなる。
【0009】したがって、MPEG2方式で符号化され
たビデオストリームを編集する際には、図9に示すよう
にGOPを単位とした編集を行うことが必要となる。図
9の例では、ビデオストリーム1のGOP♯(1)以前
の部分と、ビデオストリーム2のGOP♯(r)以降の部
分を結合して、編集後ストリーム3を得る例である。G
OP♯(r)のB0及びB1は、参照画像としてGOP♯
(q)のP14を使用している。編集によりGOP♯(q)
のP14は失われてしまうため、図9に示すように、編
集後ストリーム3では、GOP♯(r)のB0及びB1の
2枚の画像を除外する必要がある。
【0010】また、MPEG2ビデオストリームをGO
Pよりも細かい単位で編集する際には、図10に示すよ
うに編集部分のビデオストリームを一度復号して復号ビ
デオ信号を得た後に、再度MPEG2方式でエンコード
するという手順が必要となる。
【0011】図10は、MPEG2ビデオストリーム1
中のGOP♯(1)の8枚目の画像までのビデオ信号とM
PEG2ビデオストリーム2中のGOP♯(r)の9枚目
の画像以降のビデオ信号を結合したビデオストリーム3
を生成する例である。
【0012】本例では、まずビデオストリーム1中のG
OP♯(1)の画像を復号する。次に、復号によって得ら
れた復号ビデオ信号から、編集後ビデオストリーム3に
て使用される画像のみを抜き出す。一方ビデオストリー
ム2に関しても、GOP♯(r)の画像を復号して得られ
た復号ビデオ信号から、編集後ビデオストリーム3にて
使用される画像のみを抜き出す。
【0013】続いて、ストリーム1及びストリーム2か
らそれぞれ復号され抜き出された画像信号を結合して得
られるビデオ信号を再度MPEG2方式で符号化して、
GOP♯(reenc)を得る。そしてビデオストリーム1中
のGOP♯(1)よりも前のストリーム、再符号化により
得られたGOP♯(rocnc)、及び、ビデオストリーム2
中のGOP♯(r)よりも後のストリームを結合して、編
集ストリーム3を得ることとなる。
【0014】この図10に示すMPEGストリームの編
集方法を具現化した装置構成例を図11に示す。図11
で、11はビデオストリーム1が記録された蓄積媒体で
ある。この媒体11から、ビデオストリーム1中のGO
P♯(1)の画像データ107が読み出されて復号器(デ
コーダ)13に入力され、復号された画像信号108が
生成される。復号されたGOP♯(1)の画像のうち、編
集後ストリーム3にて使用される画像は、ハードディス
ク等のデータ記録装置18に保持される。
【0015】次に、蓄積媒体12に記録されたビデオス
トリーム2中のGOP♯(r)の画像データ101が読み
出されて、同様に復号器13に入力され、復号された画
像信号102が生成される。復号されたGOP♯(r)の
画像のうち、編集ストリーム3にて使用される画像は、
データ記録装置18に保持される。
【0016】次に、データ記録装置18に保持された復
号ビデオ信号108及び102は、結合されてビデオ信
号109として符号化器(エンコーダ)14に入力さ
れ、再符号化ビデオ信号104が得られる。ここで、符
号化器14では、フレーム間符号化も行われるため、参
照画像を蓄えるメモリ20を有し、メモリ20に保持さ
れた参照画像信号111とビデオ信号109の相関性の
高い部分を検索するベクトル検索部19を有する。ベク
トル検索部19から出力されるフレーム間差分信号11
0は、DCT変換器15にてDCT変換されて信号10
3となり、VLC変換器16にて可変長コードに変換さ
れた符号化ビデオ信号104が得られる。
【0017】ここで、符号化された画像が次の参照画像
となる場合には、DCT変換された信号103はIDC
T変換器21にて逆DCT変換されてローカルデコード
画像信号112となり、参照画像メモリ20に保持され
ることとなる。蓄積媒体11に記録されたビデオストリ
ーム1のGOP♯(1)よりも前のストリーム信号10
5、再符号化画像信号104、及び蓄積媒体12に記録
されたビデオストリーム2中のGOP♯(r)よりも後の
ストリーム106が蓄積媒体17上に結合され、これに
よって編集ストリーム3を得ることとなる。
【0018】
【発明が解決しようとする課題】しかしながら、従来の
簡易的な編集方法によれば、MPEG方式で符号化され
た動画像の編集を行う際に、編集点をGOP単位でしか
選ぶことができないため、編集位置が制限されるという
問題がある。例えば、GOPの途中にシーンチェンジが
あり、この点で編集を行いたい場合でも、GOP中の残
りの画像も編集後ストリームに残さざるを得なくなって
しまうため、意図するビデオ編集ができなくなってしま
うこととなる。
【0019】また、MPEG方式で符号化された動画像
の編集を行う際に、符号化されたビデオ信号を一度復号
して元の画像信号を得た後に再度符号化するという方法
では、もともとの符号化・復号化によって生じるノイズ
を含んだ画像を再度符号化することとなるため、再符号
化後のビデオ信号が劣化するという問題を生じる。特
に、再符号化時にフレーム間符号化を行う場合には、参
照画像に生じたノイズがこれを用いるフレーム間符号化
画像にも波及するので、再符号化後のビデオ信号の品質
がさらに劣化するという問題がある。
【0020】また、編集を行う装置の規模に関して、編
集処理において復号画像を蓄えるための画像蓄積手段が
必要となるばかりでなく、再符号化部においても、特に
フレーム間符号化を伴う再符号化を行う処理において、
ハードウェア装置の規模増大や、ソフトウェア処理時間
の増大を招いてしまうという問題がある。
【0021】本発明は上記の問題を解決するためになさ
れたもので、フレーム間符号化されたビデオ信号をGO
P以下の単位で編集することができ、再符号化処理にお
けるハードウェア装置の規模増大や、ソフトウェア処理
時間の増大を防ぐことができ、またフレーム間符号化に
よって生じる参照画像上のノイズの波及による再符号化
後のビデオ信号の品質劣化を防ぐことができ、さらに音
声信号を伴うビデオストリームを編集する場合などで必
要となるビデオフレーム単位での編集が実現できるビデ
オストリーム編集方法及び装置を提供することを目的と
する。
【0022】
【課題を解決するための手段】上記課題を解決するため
に本発明に係るビデオストリーム編集方法は、以下のよ
うな特徴的構成を有する。
【0023】(1)フレーム間予測符号化された第1の
ビデオストリームの一部又は全部と第2のビデオストリ
ームの一部又は全部を連結して連続再生可能なビデオス
トリームを得るビデオストリーム編集方法において、前
記第1のビデオストリームから、フレーム内予測符号化
または片方向のフレーム間予測により符号化されたピク
チャの直前までの、第1の部分ビデオストリームを切り
出す第1の手順と、前記第2のビデオストリームから、
フレーム内符号化または片方向のフレーム間予測により
符号化されたピクチャ以降の、第2の部分ビデオストリ
ームを切り出す第2の手順と、前記第2の手順で前記第
2のビデオストリームから切り出された第2の部分スト
リームの直前に表示されるピクチャがフレーム内符号化
されたピクチャであるか否かを判定する第3の手順と、
前記第3の手順で前記第2のビデオストリームから切り
出された第2の部分ストリームの直前に表示されるピク
チャがフレーム内符号化されたピクチャであると判定さ
れた場合には、このピクチャを第1のフレーム内符号化
ピクチャとし、フレーム内符号化されたピクチャでない
と判定された場合には、該ピクチャの直前にあるフレー
ム内符号化ピクチャから該ピクチャまでの片方向フレー
ム間予測符号化ピクチャを順に復号化することで該ピク
チャの復号画像を得た後、前記復号された該ピクチャを
フレーム内符号化により再符号化し、この再符号化によ
り得られるピクチャを第1のフレーム内符号化ピクチャ
として出力する第4の手順と、前記第1の手順で得られ
た第1の部分ストリームと、前記第2の手順で得られた
第2の部分ストリームとの間に、前記第4の手順で得ら
れた第1のフレーム内符号化ピクチャを挿入する第5の
手順とを具備することを特徴とする。
【0024】(2)(1)のビデオストリーム編集方法
において、前記第5の手順は、前記第1の部分ビデオス
トリームの直後に少なくとも1枚の所定のピクチャデー
タを付加した後に、前記第1のフレーム内符号化ピクチ
ャ、ならびに第2の部分ビデオストリームを順に連結し
てストリームを生成することを特徴とする。
【0025】(3)(2)のビデオストリーム編集方法
において、前記第1の部分ビデオストリームの直後に付
加するピクチャデータは、第1の部分ビデオストリーム
の最終表示ピクチャを参照ピクチャとして、該ピクチャ
と同じ画像を表示するようにフレーム間予測符号化され
たピクチャであることを特徴とする。
【0026】(4)(1)のビデオストリーム編集方法
において、前記第5の手順は、前記第1の部分ビデオス
トリーム、ならびに前記第1のフレーム内符号化ピクチ
ャに続いて、少なくとも1枚の、所定の双方向予測タイ
プのピクチャを付加した後に、前記第2の部分ビデオス
トリームを連結することを特徴とする。
【0027】(5)(4)のビデオストリーム編集方法
において、前記第1のフレーム内符号化ピクチャに続い
て挿入する双方向予測タイプのピクチャのデータは、前
記第1のフレーム内符号化ピクチャを参照する後方予測
のみに基づき、該ピクチャと同じ画像を表示するように
フレーム間予測符号化されたピクチャであることを特徴
とする。
【0028】また、本発明に係るビデオストリーム編集
装置は、以下のような特徴的構成を有する。
【0029】(6)フレーム間予測符号化された第1の
ビデオストリームの一部又は全部と第2のビデオストリ
ームの一部又は全部を連結して連続再生可能なビデオス
トリームを得るビデオストリーム編集装置において、前
記第1のビデオストリームから、フレーム内予測符号化
または片方向のフレーム間予測により符号化されたピク
チャの直前までの、第1の部分ビデオストリームを切り
出す第1の切り出し処理手段と、前記第2のビデオスト
リームから、フレーム内符号化または片方向のフレーム
間予測により符号化されたピクチャ以降の、第2の部分
ビデオストリームを切り出す第2の切り出し処理手段
と、前記第2の切り出し処理手段で前記第2のビデオス
トリームから切り出された第2の部分ストリームの直前
に表示されるピクチャがフレーム内符号化されたピクチ
ャであるか否かを判定するピクチャタイプ判定手段と、
前記ピクチャタイプ判定手段で前記第2のビデオストリ
ームから切り出された第2の部分ストリームの直前に表
示されるピクチャがフレーム内符号化されたピクチャで
あると判定された場合には、このピクチャを第1のフレ
ーム内符号化ピクチャとし、フレーム内符号化されたピ
クチャでないと判定された場合には、該ピクチャの直前
にあるフレーム内符号化ピクチャから該ピクチャまでの
片方向フレーム間予測符号化ピクチャを順に復号化する
ことで該ピクチャの復号画像を得た後、前記復号された
該ピクチャをフレーム内符号化により再符号化し、この
再符号化により得られるピクチャを第1のフレーム内符
号化ピクチャとして出力する第1のフレーム内符号化ピ
クチャ生成手段と、前記第1の切り出し処理手段で得ら
れた第1の部分ストリームと、前記第2の切り出し処理
手段で得られた第2の部分ストリームとの間に、前記第
1のフレーム内符号化ピクチャ生成手段で得られた第1
のフレーム内符号化ピクチャを挿入するストリーム連結
処理手段とを具備することを特徴とする。
【0030】(7)(6)のビデオストリーム編集装置
において、前記ストリーム連結処理手段は、前記第1の
部分ビデオストリームの直後に少なくとも1枚の所定の
ピクチャデータを付加した後に、前記第1のフレーム内
符号化ピクチャ、ならびに第2の部分ビデオストリーム
を順に連結してストリームを生成することを特徴とす
る。
【0031】(8)(7)のビデオストリーム編集装置
において、前記第1の部分ビデオストリームの直後に付
加するピクチャデータは、第1の部分ビデオストリーム
の最終表示ピクチャを参照ピクチャとして、該ピクチャ
と同じ画像を表示するようにフレーム間予測符号化され
たピクチャであることを特徴とする。
【0032】(9)(6)のビデオストリーム編集装置
において、前記ストリーム連結処理手段は、前記第1の
部分ビデオストリーム、ならびに前記第1のフレーム内
符号化ピクチャに続いて、少なくとも1枚の、所定の双
方向予測タイプのピクチャを付加した後に、前記第2の
部分ビデオストリームを連結することを特徴とする。
【0033】(10)(9)のビデオストリーム編集装
置において、前記第1のフレーム内符号化ピクチャに続
いて挿入する双方向予測タイプのピクチャのデータは、
前記第1のフレーム内符号化ピクチャを参照する後方予
測のみに基づき、該ピクチャと同じ画像を表示するよう
にフレーム間予測符号化されたピクチャであることを特
徴とする。
【0034】例えば、本発明に係るビデオストリーム編
集方法及び編集装置において、MPEGストリーム編集
を行う場合には、フレーム間符号化によって符号化され
たビデオストリームから部分ビデオストリームを切り出
す際に、ビデオストリーム1では、IピクチャまたはP
ピクチャが最終表示画面となるようにビデオストリーム
を切り出し、またはビデオストリーム2では、Iピクチ
ャまたはPピクチャが先頭表示画像となるようにビデオ
ストリームを切り出す。
【0035】ビデオストリーム2から切り出された部分
の先頭の先頭表示ピクチャがIピクチャである場合には
そのままとし、Pピクチャである場合には、該Pピクチ
ャの直前のIピクチャから該Pピクチャまでを順次復号
することで、該Pピクチャの復号画像を得た後、該Pピ
クチャの復号画像をIピクチャとして再度符号化した画
像データを、切り出したストリーム中の該Pピクチャと
置き換える。
【0036】その後、ビデオストリーム1から切り出さ
れた部分ストリームとビデオストリーム2から切り出さ
れた部分ストリームを結合して、編集後ストリームを生
成する。
【0037】さらに、上記の方法で生成したビデオスト
リーム1及びビデオストリーム2の部分ストリームを結
合する際に、部分ストリーム1の最終表示ピクチャと同
一の表示内容となるPまたはBピクチャ、部分ストリー
ム2の先頭表示ピクチャと同一の表示内容となるBピク
チャ、固定コードによるIピクチャのうちの1つ以上の
ピクチャのデータを付加することにより、編集後のビデ
オストリームの表示時間をビデオフレーム単位で制御す
る。
【0038】上記の手段によれば、フレーム間符号化さ
れたビデオ信号をGOP以下の単位で編集することがで
きるとともに、再符号化の際に生成されるピクチャはフ
レーム内符号化ピクチャのみとなるので、再符号化処理
におけるハードウェア装置の規模増大や、ソフトウェア
処理時間の増大を防ぐことができるとともに、フレーム
間符号化によって生じる参照画像上のノイズの波及によ
る再符号化後のビデオ信号の品質劣化を防ぐことができ
る。
【0039】また、編集結果に対してビデオフレーム単
位で画像を付加することができることとなるため、結果
として、音声信号を伴うビデオストリームを編集する場
合などで必要となるビデオフレーム単位での編集が実現
できることとなる。
【0040】
【発明の実施の形態】以下、図1乃至図6を参照して本
発明の実施の形態を詳細に説明する。
【0041】図1は、本発明に係るストリーム編集方法
の一実施形態を示すフローチャートで、フレーム間予測
符号化された第1のビデオストリームの一部又は全部と
第2のビデオストリームの一部又は全部を連結して連続
再生可能なビデオストリームを得る編集処理を想定して
いる。
【0042】まず、第1のビデオストリームから、フレ
ーム内予測符号化または片方向のフレーム間予測により
符号化されたピクチャの直前までの、第1の部分ビデオ
ストリームを切り出す(S1)。次に、第2のビデオス
トリームから、フレーム内符号化または片方向のフレー
ム間予測により符号化されたピクチャ以降の、第2の部
分ビデオストリームを切り出す(S2)。
【0043】ここで、ステップS2で第2のビデオスト
リームから切り出された第2の部分ストリームの直前に
表示されるピクチャがフレーム内符号化されたピクチャ
(MPEG方式の場合はIピクチャ)であるか否かを判
定する(S3)。
【0044】上記ステップS3において、第2のビデオ
ストリームから切り出された第2の部分ストリームの直
前に表示されるピクチャがフレーム内符号化されたピク
チャであると判定された場合には、このピクチャを第1
のフレーム内符号化ピクチャとして出力する(S4)。
またステップS3において、フレーム内符号化されたピ
クチャでないと判定された場合には、該ピクチャの直前
にあるフレーム内符号化ピクチャから該ピクチャまでの
片方向フレーム間予測符号化ピクチャを順に復号化する
ことで、該ピクチャの復号画像を得る(S5)。そし
て、復号された該ピクチャをフレーム内符号化により再
符号化し、この再符号化により得られるピクチャを第1
のフレーム内符号化ピクチャとして出力する(S6)。
【0045】最後に、ステップS1で得られた第1の部
分ストリームと、ステップS2で得られた第2の部分ス
トリームとの間に、ステップS4またはS6で得られた
第1のフレーム内符号化ピクチャを挿入し、連結処理を
行う(S7)。これにより、第1の部分ストリームと第
2の部分ストリームの連続再生が可能なビデオストリー
ムが得られる。
【0046】図2は、上記編集方法によるビデオストリ
ーム編集装置の構成を示すブロック図である。図2にお
いて、第1の切り出し処理部31は、蓄積媒体A1に蓄
積されている第1のビデオストリームから、フレーム内
予測符号化または片方向のフレーム間予測により符号化
されたピクチャの直前までの、第1の部分ビデオストリ
ームを切り出す。同様に、第2の切り出し処理部32
は、蓄積媒体A2に蓄積されている第2のビデオストリ
ームから、フレーム内符号化または片方向のフレーム間
予測により符号化されたピクチャ以降の、第2の部分ビ
デオストリームを切り出す。
【0047】ピクチャタイプ判定部33は、第2の切り
出し処理部32で第2のビデオストリームから切り出さ
れた第2の部分ストリームの直前に表示されるピクチャ
がフレーム内符号化されたピクチャ(MPEG方式の場
合はIピクチャ)であるか否かを判定する。この判定結
果は、ストリーム連結処理部34に送られる。
【0048】ストリーム連結処理部34は、ピクチャタ
イプ判定部33で第2の部分ストリームの直前に表示さ
れるピクチャがフレーム内符号化されたピクチャである
と判定された場合には、このピクチャを第1のフレーム
内符号化ピクチャとする。また、フレーム内符号化され
たピクチャでないと判定された場合には、該ピクチャの
直前にあるフレーム内符号化ピクチャから該ピクチャま
での片方向フレーム間予測符号化ピクチャを順に復号化
することで該ピクチャの復号画像を得た後、前記復号さ
れた該ピクチャをフレーム内符号化により再符号化し、
この再符号化により得られるピクチャを第1のフレーム
内符号化ピクチャとする。そして、第1の部分ストリー
ムと第2の部分ストリームとの間に、第1のフレーム内
符号化ピクチャを挿入して連結処理を行う。これによ
り、第1の部分ストリームと第2の部分ストリームの連
続再生が可能なビデオストリームが得られ、蓄積媒体A
3に蓄積することが可能となる。
【0049】上記構成によるビデオストリーム編集方法
及び装置について、MPEG方式のビデオストリーム編
集を行う場合を想定して、具体的な実施例を示して説明
する。
【0050】図3に示す実施例では、まずビデオストリ
ーム1中のGOP♯(1)の先頭から一部を抜き出してG
OP♯(1′)を生成する。この切り出しを行う際には、
表示順での最終ピクチャがIピクチャまたはPピクチャ
となるように、即ち符号順では任意のIピクチャまたは
Pピクチャの直前の位置でストリームを抜き出す。図3
の例では、GOP♯(1)のデータより、表示順でP8ま
で(符号順ではP11の直前まで)のデータを抜き出し
てこれをGOP♯(1′)としている。
【0051】次にビデオストリーム2中のGOP♯(x)
の最終から一部を抜き出す。この切り出しを行う際に
は、符号順でIピクチャまたはPピクチャからの位置で
ストリームを抜き出す。図3の例では、GOP♯(r)よ
り、符号順でP11以降のデータを抜き出している。
【0052】このとき、抜き出したデータのうち符号順
で先頭であるピクチャがPピクチャである場合、または
抜き出したデータ内に符号順で先頭であるピクチャより
も早く再生すべきBピクチャが含まれる場合、またはそ
の両方の場合には、これらのピクチャを復号するための
参照画像が必要となる。
【0053】そこで、本実施例では、まず抜き出した部
分の直前に在るIピクチャ又はPピクチャを検索する。
これがIピクチャの場合には、そのままIピクチャのデ
ータを抜き出して、先に切り出した部分の直前に結合
し、GOP♯(r′)とする。また、Pピクチャである場
合には、至近のIピクチャから順にI及びPピクチャを
復号し、該Pピクチャの復号画像を得る。
【0054】図3の例では、もとのGOP♯(r)からI
2、P5、P8を順に復号してP8の復号画像を得てい
る。このP8の復号画像をフレーム内符号化により再符
号化して得られるIピクチャ(図3の例ではI8)を、
先に切り出したP11以降のデータの直前に結合してG
OP♯(r′)とする。そしてビデオストリーム1中のG
OP♯(1)よりも前のストリーム、GOP♯(1′)、G
OP♯(r′)、及びビデオストリーム2中のGOP♯
(r)よりも後のストリームを結合して、編集ストリーム
3を得ることとなる。
【0055】この図3に示す編集を行う場合の具体的な
MPEGストリーム編集装置例を図4に示す。図4にお
いて、A1はビデオストリーム1が記録された蓄積媒体
である。この媒体A1から、ビデオストリーム1中のG
OP♯(1)よりも前の画像データ及びGOP♯(1)から
切り出されたGOP♯(1′)のデータ107が読み出さ
れて蓄積媒体A3に書き込まれる。次に、蓄積媒体A2
に記録されたビデオストリーム2中のGOP♯(r)の画
像データ101が読み出されて、復号器(デコーダ)4
1に入力される。復号器41では、I2、P5、P8を
順に復号してP8の復号画像102を得る。この復号画
像102は符号化器(エンコーダ)42にてフレーム内
符号化され、Iピクチャ信号104が得られる。ここ
で、符号化器42ではフレーム内符号化を行うのみであ
るので、図11に示した従来例のようなベクトル検索部
や参照画像メモリは不要であり、DCT変換器421及
びVLC変換器422にて構成される。再符号化により
得られたIピクチャ信号104は、蓄積媒体A3に書き
込まれる。
【0056】続いて蓄積媒体A2から、ビデオストリー
ム2中のGOP♯(r)中のP11以降の部分データ及び
GOP♯(r)よりも後の部分の画像データ106が読み
出されて蓄積媒体A3に書き込まれる。以上のようにし
て蓄積媒体A3上に編集ストリーム3を得ることとな
る。
【0057】図3及び図4の例では、GOP以下の単
位、具体的にはIピクチャ又はPピクチャの間隔の単位
でMPEG2ビデオストリームの編集を行うことができ
ることとなる。通常のMPEG2ビデオストリームで
は、Iピクチャ又はPピクチャの間隔は3ビデオフレー
ム程度であるので、編集の単位はおよそ3ビデオフレー
ムということになる。
【0058】しかしながら、同時に再生する音声をきれ
いに接続するなどの理由で、さらに細かい単位、即ちビ
デオフレーム単位での編集が要求されることもある。そ
のような場合を考慮して、本発明では、図3に示す編集
ストリーム3にピクチャデータを付加することで、編集
部分の再生時間長をビデオフレーム単位で調整する方法
を提供する。
【0059】図5の実施例では、ビデオストリーム1か
ら抜き出したGOP♯(1′)のデータにピクチャ単位で
符号化画像データを付加している。ここにサイズの大き
なデータを付加すると、編集後のビデオストリームにお
いてVBVバッファでオーバーフローまたはアンダーフ
ローを生じる可能性がある。このため、本実施例ではデ
ータ量が大きくならず、かつ符号化処理の必要のない固
定パターンの符号化画像を付加することとしている。
【0060】図5(a)の例では、ベクトル無し、間差
成分無しのPピクチャデータP9をGOP(1′)の最
終に追加している。このP9の再生画像はP8と全く同
じものとなり、符号量は極めて小さい。図5(b)の例
では、黒画像などの固定パターンのIピクチャデータI
9をGOP♯(1′)の最後に追加している。本実施例で
はI9をGOP♯(1′)に含めているが、このIピクチ
ャをGOP♯(1′)とは別のGOPとして定義してもよ
い。
【0061】いずれの実施例でも、追加したピクチャ
は、ビデオストリーム1から抜き出したGOP♯(1′)
の直後に再生されることとなる。また、いずれの実施例
でも、追加した画像データは1枚のピクチャのみであっ
たが、複数枚のピクチャのデータを追加することもでき
る。
【0062】図6の実施例では、ビデオストリーム2か
ら生成したGOP♯(r′)のデータにピクチャ単位で符
号化画像データを挿入するものである。ここでも本発明
では、データ量が大きくならずかつ符号化処理の必要の
ない固定パターンの符号化画像を付加することとしてい
る。図6の実施例では、ベクトル無し、間差成分無しで
後方予測(即ちI8のみを参照するフレーム間符号化)
のみを使用するBピクチャデータB7をGOP♯(r′)
のI8のデータの直後に挿入している。このB7の再生
画像はI8と全く同じものとなり、符号量は極めて小さ
いものである。追加したピクチャは、I8の直前に再生
されることとなる。また、この例複数枚のピクチャのデ
ータを追加することができる。
【0063】以上のことから、図3、図4の実施例によ
れば、フレーム間符号化されたビデオ信号をGOP以下
の単位で編集することができるとともに、再符号化の際
に生成されるピクチャはフレーム内符号化ピクチャのみ
となるので、再符号化処理におけるハードウェア装置の
規模増大や、ソフトウェア処理時間の増大を防ぐことが
できる。またフレーム間符号化によって生じる参照画像
上のノイズの波及による再符号化後のビデオ信号の品質
劣化を防ぐことができる。
【0064】また図5、図6の実施例によれば、図3、
図4の実施例の編集結果に対してビデオフレーム単位で
画像を付加することができることとなるため、結果とし
て、音声信号を伴うビデオストリームを編集する場合な
どで必要となるビデオフレーム単位での編集が実現でき
ることとなる。
【0065】
【発明の効果】以上のように本発明によれば、フレーム
間符号化されたビデオ信号をGOP以下の単位で編集す
ることができ、再符号化処理におけるハードウェア装置
の規模増大や、ソフトウェア処理時間の増大を防ぐこと
ができ、またフレーム間符号化によって生じる参照画像
上のノイズの波及による再符号化後のビデオ信号の品質
劣化を防ぐことができ、さらに音声信号を伴うビデオス
トリームを編集する場合などで必要となるビデオフレー
ム単位での編集が実現できるビデオストリーム編集方法
及び装置を提供することができる。
【図面の簡単な説明】
【図1】 本発明に係るビデオストリーム編集方法の実
施形態を示すフローチャート。
【図2】 本発明に係るビデオストリーム編集装置の実
施形態を示すブロック構成図。
【図3】 本発明に係る編集処理の実施例を示すタイミ
ング図。
【図4】 図3の編集処理を実現する構成例を示すブロ
ック図。
【図5】 本発明に係る編集処理の他の実施例を示すタ
イミング図。
【図6】 本発明に係る編集処理の他の実施例を示すタ
イミング図。
【図7】 MPEG2符号化方式を説明する図。
【図8】 MPEG2符号化方式を説明する図。
【図9】 従来のビデオストリーム編集例を示す図。
【図10】 他の従来例を示す図。
【図11】 図10の編集処理を実現する構成例を示す
図。
【符号の説明】 11、12,17…ビデオストリーム蓄積媒体 13…復号器(デコーダ) 14…符号化器(エンコーダ) 15…DCT変換器 16…VLC変換器 18…データ記録装置 19…ベクトル検索部 20…参照画像メモリ 21…IDCT変換器 A1、A2、A3…ビデオストリーム蓄積媒体 31…第1の切り出し処理部 32…第2の切り出し処理部 33…ピクチャタイプ判定部 34…ストリーム連結処理部 41…復号器(デコーダ) 42…符号化器(エンコーダ) 421…DCT変換器 422…VLC変換器
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA14 GA11 GB08 GB22 GB26 GB30 GB38 5C059 KK12 KK36 KK41 MA00 MA04 MA05 MA23 PP05 PP06 PP07 RB15 RC07 SS11 TA03 TA18 TA25 TB03 TC24 5J064 AA01 BA16 BB03 BC01 BC02 BD03

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 フレーム間予測符号化された第1のビデ
    オストリームの一部又は全部と第2のビデオストリーム
    の一部又は全部を連結して連続再生可能なビデオストリ
    ームを得るビデオストリーム編集方法において、 前記第1のビデオストリームから、フレーム内予測符号
    化または片方向のフレーム間予測により符号化されたピ
    クチャの直前までの、第1の部分ビデオストリームを切
    り出す第1の手順と、 前記第2のビデオストリームから、フレーム内符号化ま
    たは片方向のフレーム間予測により符号化されたピクチ
    ャ以降の、第2の部分ビデオストリームを切り出す第2
    の手順と、 前記第2の手順で前記第2のビデオストリームから切り
    出された第2の部分ストリームの直前に表示されるピク
    チャがフレーム内符号化されたピクチャであるか否かを
    判定する第3の手順と、 前記第3の手順で前記第2のビデオストリームから切り
    出された第2の部分ストリームの直前に表示されるピク
    チャがフレーム内符号化されたピクチャであると判定さ
    れた場合には、このピクチャを第1のフレーム内符号化
    ピクチャとし、フレーム内符号化されたピクチャでない
    と判定された場合には、該ピクチャの直前にあるフレー
    ム内符号化ピクチャから該ピクチャまでの片方向フレー
    ム間予測符号化ピクチャを順に復号化することで該ピク
    チャの復号画像を得た後、前記復号された該ピクチャを
    フレーム内符号化により再符号化し、この再符号化によ
    り得られるピクチャを第1のフレーム内符号化ピクチャ
    として出力する第4の手順と、 前記第1の手順で得られた第1の部分ストリームと、前
    記第2の手順で得られた第2の部分ストリームとの間
    に、前記第4の手順で得られた第1のフレーム内符号化
    ピクチャを挿入する第5の手順とを具備することを特徴
    とするビデオストリーム編集方法。
  2. 【請求項2】 請求項1記載のビデオストリーム編集方
    法において、 前記第5の手順は、前記第1の部分ビデオストリームの
    直後に少なくとも1枚の所定のピクチャデータを付加し
    た後に、前記第1のフレーム内符号化ピクチャ、ならび
    に第2の部分ビデオストリームを順に連結してストリー
    ムを生成することを特徴とするビデオストリーム編集方
    法。
  3. 【請求項3】 請求項2記載のビデオストリーム編集方
    法において、 前記第1の部分ビデオストリームの直後に付加するピク
    チャデータは、第1の部分ビデオストリームの最終表示
    ピクチャを参照ピクチャとして、該ピクチャと同じ画像
    を表示するようにフレーム間予測符号化されたピクチャ
    であることを特徴とするビデオストリーム編集方法。
  4. 【請求項4】 請求項1記載のビデオストリーム編集方
    法において、 前記第5の手順は、前記第1の部分ビデオストリーム、
    ならびに前記第1のフレーム内符号化ピクチャに続い
    て、少なくとも1枚の、所定の双方向予測タイプのピク
    チャを付加した後に、前記第2の部分ビデオストリーム
    を連結することを特徴とするビデオストリーム編集方
    法。
  5. 【請求項5】 請求項4記載のビデオストリーム編集方
    法において、 前記第1のフレーム内符号化ピクチャに続いて挿入する
    双方向予測タイプのピクチャのデータは、前記第1のフ
    レーム内符号化ピクチャを参照する後方予測のみに基づ
    き、該ピクチャと同じ画像を表示するようにフレーム間
    予測符号化されたピクチャであることを特徴とするビデ
    オストリーム編集方法。
  6. 【請求項6】 フレーム間予測符号化された第1のビデ
    オストリームの一部又は全部と第2のビデオストリーム
    の一部又は全部を連結して連続再生可能なビデオストリ
    ームを得るビデオストリーム編集装置において、 前記第1のビデオストリームから、フレーム内予測符号
    化または片方向のフレーム間予測により符号化されたピ
    クチャの直前までの、第1の部分ビデオストリームを切
    り出す第1の切り出し処理手段と、 前記第2のビデオストリームから、フレーム内符号化ま
    たは片方向のフレーム間予測により符号化されたピクチ
    ャ以降の、第2の部分ビデオストリームを切り出す第2
    の切り出し処理手段と、 前記第2の切り出し処理手段で前記第2のビデオストリ
    ームから切り出された第2の部分ストリームの直前に表
    示されるピクチャがフレーム内符号化されたピクチャで
    あるか否かを判定するピクチャタイプ判定手段と、 前記ピクチャタイプ判定手段で前記第2のビデオストリ
    ームから切り出された第2の部分ストリームの直前に表
    示されるピクチャがフレーム内符号化されたピクチャで
    あると判定された場合には、このピクチャを第1のフレ
    ーム内符号化ピクチャとし、フレーム内符号化されたピ
    クチャでないと判定された場合には、該ピクチャの直前
    にあるフレーム内符号化ピクチャから該ピクチャまでの
    片方向フレーム間予測符号化ピクチャを順に復号化する
    ことで該ピクチャの復号画像を得た後、前記復号された
    該ピクチャをフレーム内符号化により再符号化し、この
    再符号化により得られるピクチャを第1のフレーム内符
    号化ピクチャとして出力する第1のフレーム内符号化ピ
    クチャ生成手段と、 前記第1の切り出し処理手段で得られた第1の部分スト
    リームと、前記第2の切り出し処理手段で得られた第2
    の部分ストリームとの間に、前記第1のフレーム内符号
    化ピクチャ生成手段で得られた第1のフレーム内符号化
    ピクチャを挿入するストリーム連結処理手段とを具備す
    ることを特徴とするビデオストリーム編集装置。
  7. 【請求項7】 請求項6記載のビデオストリーム編集装
    置において、 前記ストリーム連結処理手段は、前記第1の部分ビデオ
    ストリームの直後に少なくとも1枚の所定のピクチャデ
    ータを付加した後に、前記第1のフレーム内符号化ピク
    チャ、ならびに第2の部分ビデオストリームを順に連結
    してストリームを生成することを特徴とするビデオスト
    リームの編集装置。
  8. 【請求項8】 請求項7記載のビデオストリーム編集装
    置において、 前記第1の部分ビデオストリームの直後に付加するピク
    チャデータは、第1の部分ビデオストリームの最終表示
    ピクチャを参照ピクチャとして、該ピクチャと同じ画像
    を表示するようにフレーム間予測符号化されたピクチャ
    であることを特徴とするビデオストリーム編集装置。
  9. 【請求項9】 請求項6記載のビデオストリーム編集装
    置において、 前記ストリーム連結処理手段は、前記第1の部分ビデオ
    ストリーム、ならびに前記第1のフレーム内符号化ピク
    チャに続いて、少なくとも1枚の、所定の双方向予測タ
    イプのピクチャを付加した後に、前記第2の部分ビデオ
    ストリームを連結することを特徴とするビデオストリー
    ム編集装置。
  10. 【請求項10】 請求項9記載のビデオストリーム編集
    装置において、 前記第1のフレーム内符号化ピクチャに続いて挿入する
    双方向予測タイプのピクチャのデータは、前記第1のフ
    レーム内符号化ピクチャを参照する後方予測のみに基づ
    き、該ピクチャと同じ画像を表示するようにフレーム間
    予測符号化されたピクチャであることを特徴とするビデ
    オストリーム編集装置。
JP2001102195A 2001-03-30 2001-03-30 ビデオストリーム編集方法及び装置 Pending JP2002300528A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001102195A JP2002300528A (ja) 2001-03-30 2001-03-30 ビデオストリーム編集方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001102195A JP2002300528A (ja) 2001-03-30 2001-03-30 ビデオストリーム編集方法及び装置

Publications (1)

Publication Number Publication Date
JP2002300528A true JP2002300528A (ja) 2002-10-11

Family

ID=18955416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001102195A Pending JP2002300528A (ja) 2001-03-30 2001-03-30 ビデオストリーム編集方法及び装置

Country Status (1)

Country Link
JP (1) JP2002300528A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017105A1 (ja) * 2007-07-30 2009-02-05 Nec Corporation 通信端末、配信システム、変換方法、及びプログラム
WO2009017084A1 (ja) * 2007-07-30 2009-02-05 Nec Corporation 変換装置、配信システム、配信方法、及びプログラム
EP2104106A1 (en) 2008-03-17 2009-09-23 Kabushiki Kaisha Toshiba Video contents editing apparatus, controller and method
JP2010252394A (ja) * 2010-07-23 2010-11-04 Renesas Electronics Corp 画像符号化装置、画像符号化方法及び画像編集装置
US8229000B2 (en) 2005-10-12 2012-07-24 Nec Corporation Moving image conversion method, moving image conversion apparatus, moving image conversion system, and server apparatus, and program
US8237772B2 (en) 2006-03-27 2012-08-07 Nec Corporation Moving picture storage system, moving picture storage method, and moving picture storage program
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
JP2020108032A (ja) * 2018-12-27 2020-07-09 日本放送協会 映像符号化ストリーム編集装置及びプログラム
CN112637520A (zh) * 2020-12-23 2021-04-09 新华智云科技有限公司 一种动态视频编辑方法及其***

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229000B2 (en) 2005-10-12 2012-07-24 Nec Corporation Moving image conversion method, moving image conversion apparatus, moving image conversion system, and server apparatus, and program
US8237772B2 (en) 2006-03-27 2012-08-07 Nec Corporation Moving picture storage system, moving picture storage method, and moving picture storage program
JPWO2009017084A1 (ja) * 2007-07-30 2010-10-21 日本電気株式会社 変換装置、配信システム、配信方法、及びプログラム
WO2009017105A1 (ja) * 2007-07-30 2009-02-05 Nec Corporation 通信端末、配信システム、変換方法、及びプログラム
JPWO2009017105A1 (ja) * 2007-07-30 2010-10-21 日本電気株式会社 通信端末、配信システム、変換方法、及びプログラム
WO2009017084A1 (ja) * 2007-07-30 2009-02-05 Nec Corporation 変換装置、配信システム、配信方法、及びプログラム
US8266251B2 (en) 2007-07-30 2012-09-11 Nec Corporation Communication terminal, distribution system, method for conversion and program
EP2104106A1 (en) 2008-03-17 2009-09-23 Kabushiki Kaisha Toshiba Video contents editing apparatus, controller and method
JP2010252394A (ja) * 2010-07-23 2010-11-04 Renesas Electronics Corp 画像符号化装置、画像符号化方法及び画像編集装置
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
JPWO2014174591A1 (ja) * 2013-04-23 2017-02-23 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
JP2020108032A (ja) * 2018-12-27 2020-07-09 日本放送協会 映像符号化ストリーム編集装置及びプログラム
JP7273504B2 (ja) 2018-12-27 2023-05-15 日本放送協会 映像符号化ストリーム編集装置及びプログラム
CN112637520A (zh) * 2020-12-23 2021-04-09 新华智云科技有限公司 一种动态视频编辑方法及其***
CN112637520B (zh) * 2020-12-23 2022-06-21 新华智云科技有限公司 一种动态视频编辑方法及其***

Similar Documents

Publication Publication Date Title
US7295757B2 (en) Advancing playback of video data based on parameter values of video data
US6546189B1 (en) Method and apparatus for editing compressed moving pictures and storage medium
US7046910B2 (en) Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
KR101227330B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
EP0694921A2 (en) Video data editor
JPH10145798A (ja) デジタル符号化信号処理方式
JP2004023303A (ja) 画像再生方法、画像再生装置、および画像記録装置
GB2321154A (en) Reverse playback of MPEG video
JPH11196376A (ja) 画像圧縮ストリーム編集装置及びその方法
US8165217B2 (en) Image decoding apparatus and method for decoding prediction encoded image data
JP3147792B2 (ja) 高速再生のためのビデオデータの復号化方法及びその装置
US20050141613A1 (en) Editing of encoded a/v sequences
JPH1066085A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2002300528A (ja) ビデオストリーム編集方法及び装置
JPH08163501A (ja) 情報符号化装置及び情報復号化装置
JPH06253331A (ja) 可変長符号化信号に対応した編集装置
JP2001238182A (ja) 画像再生装置および画像再生方法
JP4154799B2 (ja) 圧縮動画像編集装置および記憶媒体
JP3056653B2 (ja) ディジタル動画像復号方法と装置
WO1997039587A1 (en) Method and apparatus for looping of compressed video bitstreams
JPH0888854A (ja) 動画像符号化方式
JP3657855B2 (ja) 画像復号装置及び画像復号方法
JP3663559B2 (ja) リアルタイム逆方向再生用動画像符号化方式
JP2002238030A (ja) スローモーション画像検出方法および検出装置
KR101161604B1 (ko) 비디오 스트림의 립 싱크 제어 방법 및 그 장치