JP2001285868A - 動画像符号列切替装置及び動画像符号列切替方法 - Google Patents
動画像符号列切替装置及び動画像符号列切替方法Info
- Publication number
- JP2001285868A JP2001285868A JP2000090606A JP2000090606A JP2001285868A JP 2001285868 A JP2001285868 A JP 2001285868A JP 2000090606 A JP2000090606 A JP 2000090606A JP 2000090606 A JP2000090606 A JP 2000090606A JP 2001285868 A JP2001285868 A JP 2001285868A
- Authority
- JP
- Japan
- Prior art keywords
- code string
- code
- moving image
- image
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000000694 effects Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像間予測符号化により符号化された複数の
符号列を切り替えて出力する動画像符号列切替装置及び
動画像符号列切替方法に関し、特に、符号列の切替点後
においても途切れのない再生画像の得られる装置及び方
法を提供すること。 【解決手段】 符号列切替点でのバッファ充足度のずれ
を、符号列切替点前後における参照画像とならいないB
ピクチャーの符号列を間引くこと(符号量を削減するこ
と)により解消するので、間引かれた部分の画像レート
は低下するものの、参照画像となるP及びIピクチャー
の符号列はそのまま残る。よって、本発明においては符
号列の切替点後においても再生画像が途切れることなく
連続して得られる。
符号列を切り替えて出力する動画像符号列切替装置及び
動画像符号列切替方法に関し、特に、符号列の切替点後
においても途切れのない再生画像の得られる装置及び方
法を提供すること。 【解決手段】 符号列切替点でのバッファ充足度のずれ
を、符号列切替点前後における参照画像とならいないB
ピクチャーの符号列を間引くこと(符号量を削減するこ
と)により解消するので、間引かれた部分の画像レート
は低下するものの、参照画像となるP及びIピクチャー
の符号列はそのまま残る。よって、本発明においては符
号列の切替点後においても再生画像が途切れることなく
連続して得られる。
Description
【0001】
【発明の属する技術分野】本発明は、画像を効率的に伝
送、蓄積、表示するために、画像情報をより少ない符号
量でディジタル信号にする高能率符号化、特にMPEG
方式の様に異なった画像間予測タイプを持つ画像間予測
符号化により符号化された複数の符号列を切り替えて出
力する動画像符号列切替装置及び動画像符号列切替方法
に関する。そして、この発明は特に、符号列の切替点後
においても途切れのない再生画像の得られる動画像符号
列切替装置及び動画像符号列切替方法を提供することを
目的としている。
送、蓄積、表示するために、画像情報をより少ない符号
量でディジタル信号にする高能率符号化、特にMPEG
方式の様に異なった画像間予測タイプを持つ画像間予測
符号化により符号化された複数の符号列を切り替えて出
力する動画像符号列切替装置及び動画像符号列切替方法
に関する。そして、この発明は特に、符号列の切替点後
においても途切れのない再生画像の得られる動画像符号
列切替装置及び動画像符号列切替方法を提供することを
目的としている。
【0002】
【従来の技術】<符号列切り替え>既に符号化されてい
る動画像符号列のディジタル放送や画像伝送において、
番組や伝送内容の変更に伴い、動画像符号列を切り替え
る必要がある。また、そのような符号列の画像編集にお
いても複数の符号列を編集してひとつの符号列とする必
要がある。これらの場合、出力される符号列は復号装置
において正常に復号されるものでなければならない。M
PEG等の画像間予測が行われる動画像符号化は、参照
画像がないと復号が出来ないので、符号化時には当然、
周期的に画像内で独立に符号化するIピクチャー(画像
内独立符号化画像)を設けておく必要がある。符号列切
り替えでは、後続する符号列は、そのIピクチャーから
始まるように符号列を切り替える必要がある。なお、M
PEG方式の動画像符号化では、画像間予測方法に基づ
く画像(ピクチャー)タイプを3種類持ち、上述のIピク
チャーと呼ばれる画像内独立符号化される画像、Pピク
チャーと呼ばれる片側方向画像間予測符号化される画像
と、Bピクチャーと呼ばれる双方向画像間予測符号化さ
れる画像がある。ここで、Bピクチャーは、他の画像の
参照画像にならない。
る動画像符号列のディジタル放送や画像伝送において、
番組や伝送内容の変更に伴い、動画像符号列を切り替え
る必要がある。また、そのような符号列の画像編集にお
いても複数の符号列を編集してひとつの符号列とする必
要がある。これらの場合、出力される符号列は復号装置
において正常に復号されるものでなければならない。M
PEG等の画像間予測が行われる動画像符号化は、参照
画像がないと復号が出来ないので、符号化時には当然、
周期的に画像内で独立に符号化するIピクチャー(画像
内独立符号化画像)を設けておく必要がある。符号列切
り替えでは、後続する符号列は、そのIピクチャーから
始まるように符号列を切り替える必要がある。なお、M
PEG方式の動画像符号化では、画像間予測方法に基づ
く画像(ピクチャー)タイプを3種類持ち、上述のIピク
チャーと呼ばれる画像内独立符号化される画像、Pピク
チャーと呼ばれる片側方向画像間予測符号化される画像
と、Bピクチャーと呼ばれる双方向画像間予測符号化さ
れる画像がある。ここで、Bピクチャーは、他の画像の
参照画像にならない。
【0003】一方、画像間予測符号化では画像毎の発生
符号量が大きく異なるので、出力前に所定容量のバッフ
ァを設け、発生符号量がそのバッファの許容範囲内に収
まるように符号化を制御する。つまり所定範囲内でバッ
ファ充足度が随時変動する形となる。この様な符号列を
切り替えると、前符号列の最後のバッファ充足度と、後
符号列の最初のバッファ充足度は異なっているので、そ
のまま連続した符号列として扱うと符号量の変化がバッ
ファの許容範囲内に収まらなくなる。その場合、前符号
列の最後のバッファ充足度と、後符号列の最初のバッフ
ァ充足度との差分を埋め合わせるため、スタッフデータ
を入れて実効符号量を増やすか、中身のない空フレーム
を挿入して、実効符号量を減らす必要がある。前者の場
合は再生画像に影響はないが、後者の場合は空フレーム
が挿入されている時間、再生画像が得られなくなる。な
お、符号列を切り替える場合、後続する符号列はIピク
チャーから始まるように設定されており、Iピクチャー
の発生符号量は多いので、符号列切替点で空フレームを
挿入する可能性が高い。
符号量が大きく異なるので、出力前に所定容量のバッフ
ァを設け、発生符号量がそのバッファの許容範囲内に収
まるように符号化を制御する。つまり所定範囲内でバッ
ファ充足度が随時変動する形となる。この様な符号列を
切り替えると、前符号列の最後のバッファ充足度と、後
符号列の最初のバッファ充足度は異なっているので、そ
のまま連続した符号列として扱うと符号量の変化がバッ
ファの許容範囲内に収まらなくなる。その場合、前符号
列の最後のバッファ充足度と、後符号列の最初のバッフ
ァ充足度との差分を埋め合わせるため、スタッフデータ
を入れて実効符号量を増やすか、中身のない空フレーム
を挿入して、実効符号量を減らす必要がある。前者の場
合は再生画像に影響はないが、後者の場合は空フレーム
が挿入されている時間、再生画像が得られなくなる。な
お、符号列を切り替える場合、後続する符号列はIピク
チャーから始まるように設定されており、Iピクチャー
の発生符号量は多いので、符号列切替点で空フレームを
挿入する可能性が高い。
【0004】<従来例の動画像符号化列切替装置>図3
は従来の動画像符号列切替装置の構成を示したものであ
る。符号列A入力端子1より入来する動画像符号列A及
び符号列B入力端子7より入来する動画像符号列Bは、
符号列スイッチ2に与えられる。各動画像符号列は、M
PEG-2でP(I)周期6フレームで符号化された48
0p画像(720×480画素、毎秒60フレームの順
次走査の画像)とする。符号列スイッチ2では、外部よ
り与えられるタイミングに従って符号列Aから符号列B
へと符号列が切り替えられる。しかし、画像間予測符号
化で符号化された動画像符号列の場合、任意のフレーム
で符号列を切り替えることは出来ない。符号列切替点よ
り前の符号列はPピクチャーで終了する必要があり、符
号列切替点よりも後の符号列はIピクチャーで始まる必
要がある。従って、符号列スイッチ2では、入来符号列
のフレーム同期の他にその画像タイプも認識し、前記条
件を満たすように符号列を切り替える。この様子を図5
に示す。その際、与えられた切り替えのタイミングに対
して、数フレームのずれを生じることになる。このよう
にして得られた符号列は、バッファ充足度が切替点で不
連続となっており、このままでは復号装置のバッファで
オーバーフローまたはアンダーフローを起こしてしま
う。そこで、符号列スイッチ2の出力符号列はブランク
挿入器31に与えられる。
は従来の動画像符号列切替装置の構成を示したものであ
る。符号列A入力端子1より入来する動画像符号列A及
び符号列B入力端子7より入来する動画像符号列Bは、
符号列スイッチ2に与えられる。各動画像符号列は、M
PEG-2でP(I)周期6フレームで符号化された48
0p画像(720×480画素、毎秒60フレームの順
次走査の画像)とする。符号列スイッチ2では、外部よ
り与えられるタイミングに従って符号列Aから符号列B
へと符号列が切り替えられる。しかし、画像間予測符号
化で符号化された動画像符号列の場合、任意のフレーム
で符号列を切り替えることは出来ない。符号列切替点よ
り前の符号列はPピクチャーで終了する必要があり、符
号列切替点よりも後の符号列はIピクチャーで始まる必
要がある。従って、符号列スイッチ2では、入来符号列
のフレーム同期の他にその画像タイプも認識し、前記条
件を満たすように符号列を切り替える。この様子を図5
に示す。その際、与えられた切り替えのタイミングに対
して、数フレームのずれを生じることになる。このよう
にして得られた符号列は、バッファ充足度が切替点で不
連続となっており、このままでは復号装置のバッファで
オーバーフローまたはアンダーフローを起こしてしま
う。そこで、符号列スイッチ2の出力符号列はブランク
挿入器31に与えられる。
【0005】ブランク挿入器31では、ブランク制御器
32にから与えられる制御情報により、スタッフビット
または空フレームが符号列に入れられる。スタッフビッ
トは実際に使われないビットであり、所定再生時間当た
りのビット数を増やすためのものである。一方、空フレ
ームは中身のないフレームヘッダーであり、所定再生時
間当たりのビット数を減らすものである。空フレーム挿
入は、実質上、後符号列の再生開始タイミングの先送り
となる。ここで制御される符号量はバッファ容量に対応
するが、通常バッファ容量は0.2〜0.5秒間程度の転
送ビット量に相当するのである。従って、最大0.2〜
0.5秒間程度画像が再生されないこともある。ブラン
ク挿入器31で処理された符号列はバッファ5に与えら
れる。バッファ5は間欠入力される符号列を保持し、所
定転送ビットレートで出力する。さらにバッファ5で
は、符号量がどのように変化したかを調べ、その情報を
ブランク制御器32に与える。一方、多重化分離器8
は、MPEGではVBV(Video Buffering Verifier)と
して、設定されるバッファ充足度BO(Buffer Occupanc
y)を各フレームで求め、ブランク制御器32に与える。
ブランク制御器32は、充足度の切替点でのずれを求
め、そのずれが解消されるまで、スタッフビットや空フ
レームの挿入を行うようにブランク挿入器31を制御す
る。
32にから与えられる制御情報により、スタッフビット
または空フレームが符号列に入れられる。スタッフビッ
トは実際に使われないビットであり、所定再生時間当た
りのビット数を増やすためのものである。一方、空フレ
ームは中身のないフレームヘッダーであり、所定再生時
間当たりのビット数を減らすものである。空フレーム挿
入は、実質上、後符号列の再生開始タイミングの先送り
となる。ここで制御される符号量はバッファ容量に対応
するが、通常バッファ容量は0.2〜0.5秒間程度の転
送ビット量に相当するのである。従って、最大0.2〜
0.5秒間程度画像が再生されないこともある。ブラン
ク挿入器31で処理された符号列はバッファ5に与えら
れる。バッファ5は間欠入力される符号列を保持し、所
定転送ビットレートで出力する。さらにバッファ5で
は、符号量がどのように変化したかを調べ、その情報を
ブランク制御器32に与える。一方、多重化分離器8
は、MPEGではVBV(Video Buffering Verifier)と
して、設定されるバッファ充足度BO(Buffer Occupanc
y)を各フレームで求め、ブランク制御器32に与える。
ブランク制御器32は、充足度の切替点でのずれを求
め、そのずれが解消されるまで、スタッフビットや空フ
レームの挿入を行うようにブランク挿入器31を制御す
る。
【0006】図7にその様子を示すが、図でバッファ充
足度BOはフレーム単位の変化のみが示されている。ま
た、バッファ充足度BOは、MPEG規格に習いデコー
ダ側のバッファ充足度で示されるので、各フレームの符
号量が多いと下がり、少ないと上がる。但し、上がる方
の変化は転送ビットレートでの変化が最高である。2つ
の符号列A,Bはそれぞれ独立した充足度の値を持つの
で、前述した画像タイプの条件で符号列を切り替える
と、充足度は当然不連続になる。切替点に空フレームを
挿入していくと、そこは符号量が0なので、充足度は転
送ビットレートで上昇する。ただし、この修正はフレー
ム単位なので、それより細かな量はスタッフビットの挿
入により調整し、2つの符号列の充足度が連続する様に
する(前符号列Aの最後のバッファ充足度と、後符号列
Bの最初のバッファ充足度との差分を埋め合わせるよう
にする。)。図7についてより詳しく説明する。符号列
切替点において、符号列Aのバッファ充足度(前符号列
の最後のバッファ充足度)がaであり、元の符号列Bの
バッファ充足度がb(後符号列の最初のバッファ充足
度)であったとする。符号列切替点でのバッファ充足度
の差分は(b−a)となる。符号列スイッチ2から出力
された符号列をそのまま連続した符号列として扱うと、
切り替え後の符号列B(即ち符号列スイッチ2から出力
された符号列B)のバッファ充足度は、符号列切替点で
のバッファ充足度の差分(b−a)だけ下がったものと
なる。このとき、元符号列Bのc点付近のバッファ充足
度は、切り替え後の符号列Bではd点付近のバッファ充
足度となり、バッファの許容範囲の下限内に収まらなく
なる(アンダーフローとなる)。そこで、符号列切替点
でのバッファ充足度の差分(b−a)に相当する空フレ
ームを符号列切替点直後に挿入して、符号列切替点での
バッファ充足度の差分を解消するようにする。これによ
って、空フレーム挿入前の符号列Bでのd点付近のバッ
ファ充足度は、空フレーム挿入したことによりe点付近
のバッファ充足度となり(元符号列Bのc点付近のバッ
ファ充足度にもどり)、符号列Aと符号列Bとを連続し
た符号列として扱っても、符号量の変化がバッファの許
容範囲内に収まるようになる。
足度BOはフレーム単位の変化のみが示されている。ま
た、バッファ充足度BOは、MPEG規格に習いデコー
ダ側のバッファ充足度で示されるので、各フレームの符
号量が多いと下がり、少ないと上がる。但し、上がる方
の変化は転送ビットレートでの変化が最高である。2つ
の符号列A,Bはそれぞれ独立した充足度の値を持つの
で、前述した画像タイプの条件で符号列を切り替える
と、充足度は当然不連続になる。切替点に空フレームを
挿入していくと、そこは符号量が0なので、充足度は転
送ビットレートで上昇する。ただし、この修正はフレー
ム単位なので、それより細かな量はスタッフビットの挿
入により調整し、2つの符号列の充足度が連続する様に
する(前符号列Aの最後のバッファ充足度と、後符号列
Bの最初のバッファ充足度との差分を埋め合わせるよう
にする。)。図7についてより詳しく説明する。符号列
切替点において、符号列Aのバッファ充足度(前符号列
の最後のバッファ充足度)がaであり、元の符号列Bの
バッファ充足度がb(後符号列の最初のバッファ充足
度)であったとする。符号列切替点でのバッファ充足度
の差分は(b−a)となる。符号列スイッチ2から出力
された符号列をそのまま連続した符号列として扱うと、
切り替え後の符号列B(即ち符号列スイッチ2から出力
された符号列B)のバッファ充足度は、符号列切替点で
のバッファ充足度の差分(b−a)だけ下がったものと
なる。このとき、元符号列Bのc点付近のバッファ充足
度は、切り替え後の符号列Bではd点付近のバッファ充
足度となり、バッファの許容範囲の下限内に収まらなく
なる(アンダーフローとなる)。そこで、符号列切替点
でのバッファ充足度の差分(b−a)に相当する空フレ
ームを符号列切替点直後に挿入して、符号列切替点での
バッファ充足度の差分を解消するようにする。これによ
って、空フレーム挿入前の符号列Bでのd点付近のバッ
ファ充足度は、空フレーム挿入したことによりe点付近
のバッファ充足度となり(元符号列Bのc点付近のバッ
ファ充足度にもどり)、符号列Aと符号列Bとを連続し
た符号列として扱っても、符号量の変化がバッファの許
容範囲内に収まるようになる。
【0007】
【発明が解決しようとする課題】従来の動画像符号列切
替装置は、符号列切替点でのバッファ充足度のずれを、
後符号列の再生開始タイミングの先送りとなる空フレー
ムの挿入で解消するので、復号時に切替点の後しばらく
再生する画像がなくなり、動画像が途切れることにな
る。本発明は以上の点に着目してなされたもので、符号
列切替点でのバッファ充足度のずれを、符号列切替点前
後における参照画像とならいない画像(MPEG方式で
はBピクチャー)の符号列を間引きくことにより解消
し、符号列の切替点後においても途切れのない再生画像
の得られる動画像符号列切替装置及び動画像符号列切替
方法を提供することを目的としている。
替装置は、符号列切替点でのバッファ充足度のずれを、
後符号列の再生開始タイミングの先送りとなる空フレー
ムの挿入で解消するので、復号時に切替点の後しばらく
再生する画像がなくなり、動画像が途切れることにな
る。本発明は以上の点に着目してなされたもので、符号
列切替点でのバッファ充足度のずれを、符号列切替点前
後における参照画像とならいない画像(MPEG方式で
はBピクチャー)の符号列を間引きくことにより解消
し、符号列の切替点後においても途切れのない再生画像
の得られる動画像符号列切替装置及び動画像符号列切替
方法を提供することを目的としている。
【0008】
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、 [1] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る符号列切替手段を有する動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら各画像でのバッファ充足度の情報を得る情報分離手段
と、(8)前記符号列切替手段から出力される動画像符
号列における符号列切替点直前のバッファ充足度と符号
列切替点直後のバッファ充足度との差分を、前記情報分
離手段から供給されるバッファ充足度の情報により求
め、そのバッファ充足度の差分に応じて、前記符号列切
替点前後における動画像符号列の第2の画像の間引き率
及び間引き適用期間を、間引き後の動画像符号列におけ
るバッファ充足度が前記符号列切替点で連続するように
設定する間引き制御手段と、(9)前記間引き制御手段
での間引き設定に応じて、前記符号列切替手段から出力
される動画像符号列から第2の画像の符号列のみを間引
いて削除し、バッファ充足度が修正された修正動画像符
号列を得る符号列間引き手段と、(4)を設けたことを
特徴とする動画像符号列切替装置。 [2] 前記[1]記載の動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら動きアクティビティ情報を得る動き量検出手段を設
け、(21,22)前記間引き制御手段(23)における
前記間引き率の設定条件に、この動きアクティビティ情
報を加えることを特徴とする動画像符号列切替装置。 [3] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る動画像符号列切替方法において、前記連続した符号列
とされた動画像符号列から各画像でのバッファ充足度の
情報を得、前記連続した符号列とされた動画像符号列に
おける符号列切替点直前のバッファ充足度と符号列切替
点直後のバッファ充足度との差分を、前記バッファ充足
度の情報により求め、そのバッファ充足度の差分に応じ
て、前記符号列切替点前後における動画像符号列の第2
の画像の間引き率及び間引き適用期間を、間引き後の動
画像符号列におけるバッファ充足度が前記符号列切替点
で連続するように設定し、この間引き設定に応じて、前
記連続した符号列とされた動画像符号列から第2の画像
の符号列のみを間引いて削除し、バッファ充足度が修正
された修正動画像符号列を得る、ことを特徴とする動画
像符号列切替方法。 [4] 前記[3]記載の動画像符号列切替方法におい
て、前記連続した符号列とされた動画像符号列から動き
アクティビティ情報を得て、前記間引き率の設定条件
に、この動きアクティビティ情報を加えることを特徴と
する動画像符号列切替方法。を提供するものである。
するために本発明は、 [1] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る符号列切替手段を有する動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら各画像でのバッファ充足度の情報を得る情報分離手段
と、(8)前記符号列切替手段から出力される動画像符
号列における符号列切替点直前のバッファ充足度と符号
列切替点直後のバッファ充足度との差分を、前記情報分
離手段から供給されるバッファ充足度の情報により求
め、そのバッファ充足度の差分に応じて、前記符号列切
替点前後における動画像符号列の第2の画像の間引き率
及び間引き適用期間を、間引き後の動画像符号列におけ
るバッファ充足度が前記符号列切替点で連続するように
設定する間引き制御手段と、(9)前記間引き制御手段
での間引き設定に応じて、前記符号列切替手段から出力
される動画像符号列から第2の画像の符号列のみを間引
いて削除し、バッファ充足度が修正された修正動画像符
号列を得る符号列間引き手段と、(4)を設けたことを
特徴とする動画像符号列切替装置。 [2] 前記[1]記載の動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら動きアクティビティ情報を得る動き量検出手段を設
け、(21,22)前記間引き制御手段(23)における
前記間引き率の設定条件に、この動きアクティビティ情
報を加えることを特徴とする動画像符号列切替装置。 [3] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る動画像符号列切替方法において、前記連続した符号列
とされた動画像符号列から各画像でのバッファ充足度の
情報を得、前記連続した符号列とされた動画像符号列に
おける符号列切替点直前のバッファ充足度と符号列切替
点直後のバッファ充足度との差分を、前記バッファ充足
度の情報により求め、そのバッファ充足度の差分に応じ
て、前記符号列切替点前後における動画像符号列の第2
の画像の間引き率及び間引き適用期間を、間引き後の動
画像符号列におけるバッファ充足度が前記符号列切替点
で連続するように設定し、この間引き設定に応じて、前
記連続した符号列とされた動画像符号列から第2の画像
の符号列のみを間引いて削除し、バッファ充足度が修正
された修正動画像符号列を得る、ことを特徴とする動画
像符号列切替方法。 [4] 前記[3]記載の動画像符号列切替方法におい
て、前記連続した符号列とされた動画像符号列から動き
アクティビティ情報を得て、前記間引き率の設定条件
に、この動きアクティビティ情報を加えることを特徴と
する動画像符号列切替方法。を提供するものである。
【0009】
【発明の実施の形態】本発明は、符号列切替点でのバッ
ファ充足度のずれを、符号列切替点前後における参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くこと(符号量を削減すること)により
解消するので、間引かれた部分の画像レートは低下する
ものの、参照画像となる画像(MPEG方式ではP及び
Iピクチャー)の符号列はそのまま残る。よって、本発
明においては符号列の切替点後においても再生画像が途
切れることなく連続して得られる。さらに、動きアクテ
ィビティを求めて、動きアクティビティの低いところで
参照画像とならいない画像(MPEG方式ではBピクチ
ャー)の符号列の間引きを多く行うようにすれば、間引
きによる動きのスムーズさの劣化も僅かにできる。
ファ充足度のずれを、符号列切替点前後における参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くこと(符号量を削減すること)により
解消するので、間引かれた部分の画像レートは低下する
ものの、参照画像となる画像(MPEG方式ではP及び
Iピクチャー)の符号列はそのまま残る。よって、本発
明においては符号列の切替点後においても再生画像が途
切れることなく連続して得られる。さらに、動きアクテ
ィビティを求めて、動きアクティビティの低いところで
参照画像とならいない画像(MPEG方式ではBピクチ
ャー)の符号列の間引きを多く行うようにすれば、間引
きによる動きのスムーズさの劣化も僅かにできる。
【0010】<動画像符号列切替装置の第1の実施例>
本発明の動画像符号列切替装置の第1の実施例について
説明する。図1は、その構成を示したものであり、図3
の従来例と同一構成要素には同一付番を記してある。図
1には、図3と比較してブランク挿入器31の代わりに
符号列間引き器4、ブランク制御器32の代わりに間引
き制御器9があり、符号列遅延器3が追加されている。
第1の実施例において、従来例と異なるのは符号列切替
点でのバッファ充足度差分(ずれ)の解消方法であり、基
本的な画像タイプに応じた切り替え処理は同じである。
(符号列切替点より前の符号列はPピクチャーで終了
し、符号列切替点よりも後の符号列はIピクチャーで始
まるようにする切り替え処理は従来と同様である。)
本発明の動画像符号列切替装置の第1の実施例について
説明する。図1は、その構成を示したものであり、図3
の従来例と同一構成要素には同一付番を記してある。図
1には、図3と比較してブランク挿入器31の代わりに
符号列間引き器4、ブランク制御器32の代わりに間引
き制御器9があり、符号列遅延器3が追加されている。
第1の実施例において、従来例と異なるのは符号列切替
点でのバッファ充足度差分(ずれ)の解消方法であり、基
本的な画像タイプに応じた切り替え処理は同じである。
(符号列切替点より前の符号列はPピクチャーで終了
し、符号列切替点よりも後の符号列はIピクチャーで始
まるようにする切り替え処理は従来と同様である。)
【0011】<主符号列に対する処理>符号列A入力端
子1より入来する動画像符号列A及び符号列B入力端子
7より入来する動画像符号列Bは、符号列スイッチ2に
与えられる。各動画像符号列は、MPEG-2方式、P
(I)周期6フレームで符号化された480p画像(72
0×480画素、毎秒60フレームの順次走査画像)と
する。符号列スイッチ2では、外部より与えられるタイ
ミングに従って、符号列Aから符号列Bへと符号列が切
り替えられる。しかし、画像間予測符号化で符号化され
た動画像符号列の場合、任意のフレームで符号列を切り
替えることは出来ない。前の符号列はPピクチャーで終
了する必要があり、後の符号列はIピクチャーで始まる
必要がある。従って、符号列スイッチ2では、入来符号
列のフレーム同期の他にその画像タイプも認識し、前記
条件を満たすように符号列を切り替える。この様子を図
5に示す。その際、与えられた切り替えのタイミングに
対して、数フレームのずれを生じることになる。このよ
うにして得られた符号列は符号列遅延器3に与えられる
が、この段階での符号列は、バッファ充足度が切替点で
不連続となっており、このままでは復号装置のバッファ
でオーバーフローまたはアンダーフローを起こしてしま
う。
子1より入来する動画像符号列A及び符号列B入力端子
7より入来する動画像符号列Bは、符号列スイッチ2に
与えられる。各動画像符号列は、MPEG-2方式、P
(I)周期6フレームで符号化された480p画像(72
0×480画素、毎秒60フレームの順次走査画像)と
する。符号列スイッチ2では、外部より与えられるタイ
ミングに従って、符号列Aから符号列Bへと符号列が切
り替えられる。しかし、画像間予測符号化で符号化され
た動画像符号列の場合、任意のフレームで符号列を切り
替えることは出来ない。前の符号列はPピクチャーで終
了する必要があり、後の符号列はIピクチャーで始まる
必要がある。従って、符号列スイッチ2では、入来符号
列のフレーム同期の他にその画像タイプも認識し、前記
条件を満たすように符号列を切り替える。この様子を図
5に示す。その際、与えられた切り替えのタイミングに
対して、数フレームのずれを生じることになる。このよ
うにして得られた符号列は符号列遅延器3に与えられる
が、この段階での符号列は、バッファ充足度が切替点で
不連続となっており、このままでは復号装置のバッファ
でオーバーフローまたはアンダーフローを起こしてしま
う。
【0012】符号列遅延器3は、10〜20フレーム程
度の間符号列を遅延させ、そのまま符号列間引き器4に
与える。符号列間引き器4は、所定周期でBピクチャー
の符号列を間引く。符号列遅延器3で遅延しているの
で、切替点後のフレームのみならず、切替点前のフレー
ムも間引かれる。間引き率は、例えば画像レートRが3
0fps(frame per second)になるように1フレームお
きに間引く。60fpsが30fpsになると、速い動
きの画像では動きのスムーズさが多少損なわれるが、通
常の動きの画像ではさほど気にならない。符号列の変更
点は通常シーンチェンジとなるので、その前後は視覚的
に微妙な劣化が検知され難くなっている。さらに、シー
ンチェンジ直後0.1秒程度は、視覚的に劣化が特に認
識されにくいので、切替点直後から0.1秒は、間引き
率をさらに上げ、20fpsないし、10fpsとして
もよい。各フレームレートとBピクチャー間引きの様子
を図4に示す。P(I)ピクチャーは必ず残されるので、
P(I)ピクチャーと残ったBピクチャーが均等間隔にな
るように間引かれる。Bピクチャーの間引かれた符号列
は、バッファ5に与えられる。バッファ5は間欠入力さ
れる符号列を蓄え、所定転送レートで出力する。また、
同時にバッファ充足度(間引きにより修正された符号量)
を観測し、その情報を間引き制御器9に与える。
度の間符号列を遅延させ、そのまま符号列間引き器4に
与える。符号列間引き器4は、所定周期でBピクチャー
の符号列を間引く。符号列遅延器3で遅延しているの
で、切替点後のフレームのみならず、切替点前のフレー
ムも間引かれる。間引き率は、例えば画像レートRが3
0fps(frame per second)になるように1フレームお
きに間引く。60fpsが30fpsになると、速い動
きの画像では動きのスムーズさが多少損なわれるが、通
常の動きの画像ではさほど気にならない。符号列の変更
点は通常シーンチェンジとなるので、その前後は視覚的
に微妙な劣化が検知され難くなっている。さらに、シー
ンチェンジ直後0.1秒程度は、視覚的に劣化が特に認
識されにくいので、切替点直後から0.1秒は、間引き
率をさらに上げ、20fpsないし、10fpsとして
もよい。各フレームレートとBピクチャー間引きの様子
を図4に示す。P(I)ピクチャーは必ず残されるので、
P(I)ピクチャーと残ったBピクチャーが均等間隔にな
るように間引かれる。Bピクチャーの間引かれた符号列
は、バッファ5に与えられる。バッファ5は間欠入力さ
れる符号列を蓄え、所定転送レートで出力する。また、
同時にバッファ充足度(間引きにより修正された符号量)
を観測し、その情報を間引き制御器9に与える。
【0013】<間引き制御>間引き制御器9は、Bピク
チャーの間引き期間を制御する。切替点における充足度
のずれ量を求め、それに応じて間引きの開始点を決め
る。アンダーフローとなる方向にずれが大きく、符号の
必要削減量が多い場合は早めに間引きを開始し、少ない
場合は切替点まじかで開始する。但し、早くても符号列
遅延器3の遅延による先行分までである。間引きは充足
度のずれが解消されるまで続けられる。また、符号量を
減らす必要がない場合は、間引きは行われない。また、
この修正はフレーム単位なので、それより細かな量はス
タッフビットの挿入により調整し、2つの符号列の充足
度が連続する様にする。ここで、多重化分離器8は、M
PEGではVBV(Video Buffering Verifier)として、
設定されるバッファ充足度BO(Buffer Occupancy)を各
フレームで求め、間引き制御器9に与える。間引き制御
器9は、充足度の符号列切替点でのずれを求め、そのず
れに応じて間引き率を設定し、設定した間引き率を符号
列間引き器4に供給する。そして、間引き制御器9はバ
ッファ5から供給される間引きにより修正されたバッフ
ァ充足度(修正符号量)に基づき、前記バッファ充足度の
ずれが解消されるまで、符号列間引き器4で間引き動作
を行わせる。
チャーの間引き期間を制御する。切替点における充足度
のずれ量を求め、それに応じて間引きの開始点を決め
る。アンダーフローとなる方向にずれが大きく、符号の
必要削減量が多い場合は早めに間引きを開始し、少ない
場合は切替点まじかで開始する。但し、早くても符号列
遅延器3の遅延による先行分までである。間引きは充足
度のずれが解消されるまで続けられる。また、符号量を
減らす必要がない場合は、間引きは行われない。また、
この修正はフレーム単位なので、それより細かな量はス
タッフビットの挿入により調整し、2つの符号列の充足
度が連続する様にする。ここで、多重化分離器8は、M
PEGではVBV(Video Buffering Verifier)として、
設定されるバッファ充足度BO(Buffer Occupancy)を各
フレームで求め、間引き制御器9に与える。間引き制御
器9は、充足度の符号列切替点でのずれを求め、そのず
れに応じて間引き率を設定し、設定した間引き率を符号
列間引き器4に供給する。そして、間引き制御器9はバ
ッファ5から供給される間引きにより修正されたバッフ
ァ充足度(修正符号量)に基づき、前記バッファ充足度の
ずれが解消されるまで、符号列間引き器4で間引き動作
を行わせる。
【0014】この間引き制御によるバッファ充足度の補
正を図6を用いて説明する。なお、ここでは第2実施例
で説明する動き量検出に基づく制御は行われないものと
して説明する。図でバッファ充足度BOはフレーム単位
の変化のみが示されている。また、バッファ充足度BO
は、MPEG規格に習いデコーダ側のバッファ充足度で
示されるので、各フレームの符号量が多いと下がり、少
ないと上がる。符号列切替点において、符号列Aのバッ
ファ充足度(前符号列の最後のバッファ充足度)がaで
あり、元の符号列Bのバッファ充足度がb(後符号列の
最初のバッファ充足度)であったとする。符号列切替点
でのバッファ充足度の差分は(b−a)となる。符号列
スイッチ2から出力された符号列をそのまま連続した符
号列として扱うと、切り替え後の符号列B(即ち符号列
スイッチ2から出力された符号列B)のバッファ充足度
は、符号列切替点でのバッファ充足度の差分(b−a)
だけ下がったものとなる。このとき、元符号列Bのc点
付近のバッファ充足度は、切り替え後の符号列Bではd
点付近のバッファ充足度となり、バッファの許容範囲の
下限内に収まらなくなる(アンダーフローとなる)。そ
こで、符号列切替点でのバッファ充足度の差分(b−
a)を間引き制御器9で求め、そのずれに応じて間引き
率を設定し、符号列切替点より前の符号列Aの所定部分
から間引きを開始する。そして、バッファ5から供給さ
れる間引きにより修正されたバッファ充足度(修正符号
量)に基づき、前記バッファ充足度のずれが解消される
まで符号列Bに対して間引きを行う。これによって、間
引き前の符号列Bでのd点付近のバッファ充足度は、間
引きによりe点付近のバッファ充足度となり、符号列A
と符号列Bとを連続した符号列として扱っても、符号量
の変化がバッファの許容範囲内に収まるようになる。
正を図6を用いて説明する。なお、ここでは第2実施例
で説明する動き量検出に基づく制御は行われないものと
して説明する。図でバッファ充足度BOはフレーム単位
の変化のみが示されている。また、バッファ充足度BO
は、MPEG規格に習いデコーダ側のバッファ充足度で
示されるので、各フレームの符号量が多いと下がり、少
ないと上がる。符号列切替点において、符号列Aのバッ
ファ充足度(前符号列の最後のバッファ充足度)がaで
あり、元の符号列Bのバッファ充足度がb(後符号列の
最初のバッファ充足度)であったとする。符号列切替点
でのバッファ充足度の差分は(b−a)となる。符号列
スイッチ2から出力された符号列をそのまま連続した符
号列として扱うと、切り替え後の符号列B(即ち符号列
スイッチ2から出力された符号列B)のバッファ充足度
は、符号列切替点でのバッファ充足度の差分(b−a)
だけ下がったものとなる。このとき、元符号列Bのc点
付近のバッファ充足度は、切り替え後の符号列Bではd
点付近のバッファ充足度となり、バッファの許容範囲の
下限内に収まらなくなる(アンダーフローとなる)。そ
こで、符号列切替点でのバッファ充足度の差分(b−
a)を間引き制御器9で求め、そのずれに応じて間引き
率を設定し、符号列切替点より前の符号列Aの所定部分
から間引きを開始する。そして、バッファ5から供給さ
れる間引きにより修正されたバッファ充足度(修正符号
量)に基づき、前記バッファ充足度のずれが解消される
まで符号列Bに対して間引きを行う。これによって、間
引き前の符号列Bでのd点付近のバッファ充足度は、間
引きによりe点付近のバッファ充足度となり、符号列A
と符号列Bとを連続した符号列として扱っても、符号量
の変化がバッファの許容範囲内に収まるようになる。
【0015】Bピクチャーの間引きでは、符号量は従来
例の空フレーム挿入の様に0にはならないので、間引き
の適用される時間は、空フレーム挿入より長くなる。符
号量のずれが、0.1秒の転送符号量相当とすると、従
来例の場合は0.1秒間の空フレーム挿入である。一
方、本実施例の符号量削減量は、従来例の1/4の25
%程度なので、0.1秒の4倍の0.4秒間程度に渡って
行われることになる。Bピクチャーの間引きは符号列切
替点に先行して行われるので、切替点の段階でかなり充
足度の補正が進んでいるが、場合により必ずしも十分符
号量が削減できず、切替点以降でアンダーフローとなる
可能性がある。その様な場合は、従来例の空フレーム挿
入を併用することになるが、その場合も空フレーム数は
従来例より大幅に少ない。
例の空フレーム挿入の様に0にはならないので、間引き
の適用される時間は、空フレーム挿入より長くなる。符
号量のずれが、0.1秒の転送符号量相当とすると、従
来例の場合は0.1秒間の空フレーム挿入である。一
方、本実施例の符号量削減量は、従来例の1/4の25
%程度なので、0.1秒の4倍の0.4秒間程度に渡って
行われることになる。Bピクチャーの間引きは符号列切
替点に先行して行われるので、切替点の段階でかなり充
足度の補正が進んでいるが、場合により必ずしも十分符
号量が削減できず、切替点以降でアンダーフローとなる
可能性がある。その様な場合は、従来例の空フレーム挿
入を併用することになるが、その場合も空フレーム数は
従来例より大幅に少ない。
【0016】<動画像符号列切替装置の第2の実施例>
動画像符号列切替装置の第2の実施例について説明す
る。図2は、その構成を示したもので、図1の第1の実
施例と同一構成要素には同一付番を記してある。図2に
は、図1と比較して動き量検出器22が追加されてお
り、多重化分離器21及び間引き制御器23の動作が異
なる。以下、第1の実施例と動作が異なる部分のみ説明
する。
動画像符号列切替装置の第2の実施例について説明す
る。図2は、その構成を示したもので、図1の第1の実
施例と同一構成要素には同一付番を記してある。図2に
は、図1と比較して動き量検出器22が追加されてお
り、多重化分離器21及び間引き制御器23の動作が異
なる。以下、第1の実施例と動作が異なる部分のみ説明
する。
【0017】<動き量検出>多重化分離器21は、符号
列からバッファ充足度の情報のみならず、画像間予測で
使われる動きベクトル(MV)の情報も抽出する。バッフ
ァ充足度の情報(修正符号量)は間引き制御器23に、
MV情報は動き量検出器22に与える。動き量検出器2
2は入来するMV情報から動きアクティビティを検出す
る。動きアクティビティの検出はひとつのPピクチャー
とPピクチャーの間(セグメントと呼ぶ)、時間にして
0.1秒単位に行われる。設定の元となる情報は、Pピ
クチャーの予測に使われるMVである。得られた動きア
クティビティは、間引き制御器23に与えられる。具体
的にはPピクチャーの符号化で用いるMVの水平成分M
Vx(i,j)、垂直成分MVy(i,j)から求める。な
お、MVx(i,j)、MVy(i,j)の値は1画素の動き
が1.0、iは1フレーム内のブロック水平位置、jは
1フレーム内のブロック垂直位置とする。画面全体の動
きアクティビティMA(Motion Activity)を次式で求め
る。
列からバッファ充足度の情報のみならず、画像間予測で
使われる動きベクトル(MV)の情報も抽出する。バッフ
ァ充足度の情報(修正符号量)は間引き制御器23に、
MV情報は動き量検出器22に与える。動き量検出器2
2は入来するMV情報から動きアクティビティを検出す
る。動きアクティビティの検出はひとつのPピクチャー
とPピクチャーの間(セグメントと呼ぶ)、時間にして
0.1秒単位に行われる。設定の元となる情報は、Pピ
クチャーの予測に使われるMVである。得られた動きア
クティビティは、間引き制御器23に与えられる。具体
的にはPピクチャーの符号化で用いるMVの水平成分M
Vx(i,j)、垂直成分MVy(i,j)から求める。な
お、MVx(i,j)、MVy(i,j)の値は1画素の動き
が1.0、iは1フレーム内のブロック水平位置、jは
1フレーム内のブロック垂直位置とする。画面全体の動
きアクティビティMA(Motion Activity)を次式で求め
る。
【0018】
【数1】
【0019】入来符号列では、Iピクチャーや、Pピク
チャーでも独立符号化ブロックで、MV情報がないブロ
ックがある。Iピクチャーは、その前のBピクチャーの
動きベクトルを距離補正して代用し、独立符号化ブロッ
クは、変化の激しいブロックと見なされるので、比較的
大きな所定MV値を与えて、MAの算出を行う。
チャーでも独立符号化ブロックで、MV情報がないブロ
ックがある。Iピクチャーは、その前のBピクチャーの
動きベクトルを距離補正して代用し、独立符号化ブロッ
クは、変化の激しいブロックと見なされるので、比較的
大きな所定MV値を与えて、MAの算出を行う。
【0020】<動き量による間引き制御>間引き制御器
23は、単に間引きを行うかどうかの制御でなく、各セ
グメントでの画像レートR(間引き率)の制御を行い、そ
の情報を符号列間引き器4に与える。符号列間引き器4
は、指定された画像レート(間引き率)で画像を間引くこ
とになる。動画像信号は毎秒60フレーム(フィールド)
が基本であるが、この値は面フリッカの検知限界から来
るものであり、画像のすべての動きでそれが必要なわけ
ではない。実際、映画フィルムが24fpsであること
からも推測できるが、30fpsで動きの劣化(不自然
さ)が検知されるのは早い動きの場合のみで、20fp
sでも大きな劣化とはならない。しかし、10fpsは
静止に近い場合以外で動きの劣化が気になる。従って、
早い動きがある場合のみ間引きなしの60fpsとし、
動きが多い場合は30fps、動きが少ない場合は20
fps、動きがほとんどない場合に10fpsとする。
この制御を適切に行うことで、動き劣化がほとんど気に
ならない再生画像が得られる。そこで、動きアクティビ
ティMAと画像レートRとの関係は以下の様にする。 R=60fps ・・・・ 64< MA R=30fps ・・・・ 8< MA ≦64 R=20fps ・・・・ 1< MA ≦8 R=10fps ・・・・ MA ≦1
23は、単に間引きを行うかどうかの制御でなく、各セ
グメントでの画像レートR(間引き率)の制御を行い、そ
の情報を符号列間引き器4に与える。符号列間引き器4
は、指定された画像レート(間引き率)で画像を間引くこ
とになる。動画像信号は毎秒60フレーム(フィールド)
が基本であるが、この値は面フリッカの検知限界から来
るものであり、画像のすべての動きでそれが必要なわけ
ではない。実際、映画フィルムが24fpsであること
からも推測できるが、30fpsで動きの劣化(不自然
さ)が検知されるのは早い動きの場合のみで、20fp
sでも大きな劣化とはならない。しかし、10fpsは
静止に近い場合以外で動きの劣化が気になる。従って、
早い動きがある場合のみ間引きなしの60fpsとし、
動きが多い場合は30fps、動きが少ない場合は20
fps、動きがほとんどない場合に10fpsとする。
この制御を適切に行うことで、動き劣化がほとんど気に
ならない再生画像が得られる。そこで、動きアクティビ
ティMAと画像レートRとの関係は以下の様にする。 R=60fps ・・・・ 64< MA R=30fps ・・・・ 8< MA ≦64 R=20fps ・・・・ 1< MA ≦8 R=10fps ・・・・ MA ≦1
【0021】結果的に削減されるBピクチャーの数は、
第1の実施例の場合より大目になる。これは、画像レー
トが下げられるMAの小さなセグメントは、Bピクチャ
ーの符号量がそもそも少ない場合が多いためである。こ
の様な処理の様子が図6に示されている。図で、符号列
スイッチで切り替えられた符号列は、間引き適用期間内
で動きアクティビティMAに応じて画像レート(間引き
率)Rが設定され、Bピクチャーが間引かれる。それに
より間引き適用期間でバッファ充足度が破線の様に修正
され、ふたつの符号列が連続的につながる。間引き適用
期間外は、元の符号列のままである。間引き適用期間
は、第1の実施例と同様、符号列切替点でのバッファ充
足度のずれ量及び修正後符号量に基づき間引き制御器9
により制御する。
第1の実施例の場合より大目になる。これは、画像レー
トが下げられるMAの小さなセグメントは、Bピクチャ
ーの符号量がそもそも少ない場合が多いためである。こ
の様な処理の様子が図6に示されている。図で、符号列
スイッチで切り替えられた符号列は、間引き適用期間内
で動きアクティビティMAに応じて画像レート(間引き
率)Rが設定され、Bピクチャーが間引かれる。それに
より間引き適用期間でバッファ充足度が破線の様に修正
され、ふたつの符号列が連続的につながる。間引き適用
期間外は、元の符号列のままである。間引き適用期間
は、第1の実施例と同様、符号列切替点でのバッファ充
足度のずれ量及び修正後符号量に基づき間引き制御器9
により制御する。
【0022】
【発明の効果】以上の通り、本発明は、符号列切替点で
のバッファ充足度のずれを、符号列切替点前後の参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くことにより符号量を削減することで解
消するので、その部分の再生画像レートは低下するもの
の、切替点の後でも画像が途切れることなく再生画像が
得られる。よって、本発明を用いれば、バッファの破綻
や画像が途切れることなく、通常のシーンチェンジと同
様な自然な形で符号列の切り替えが可能になる。さら
に、動きアクティビティを求めて、動きアクティビティ
の低いところで参照画像とならない画像の符号列の間引
きを行うようにした場合には、間引きによる再生画像の
動きのスムーズさの劣化も僅かになる。符号列切替点は
一般的に大きな画像変化を伴うシーンチェンジとなるの
で、符号列切替点直後は間引きによる画質劣化が視覚的
に目立ち難いが、動きアクティビティに応じて間引くこ
とにより、より一層間引きによる画質劣化が目立ち難く
なる。
のバッファ充足度のずれを、符号列切替点前後の参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くことにより符号量を削減することで解
消するので、その部分の再生画像レートは低下するもの
の、切替点の後でも画像が途切れることなく再生画像が
得られる。よって、本発明を用いれば、バッファの破綻
や画像が途切れることなく、通常のシーンチェンジと同
様な自然な形で符号列の切り替えが可能になる。さら
に、動きアクティビティを求めて、動きアクティビティ
の低いところで参照画像とならない画像の符号列の間引
きを行うようにした場合には、間引きによる再生画像の
動きのスムーズさの劣化も僅かになる。符号列切替点は
一般的に大きな画像変化を伴うシーンチェンジとなるの
で、符号列切替点直後は間引きによる画質劣化が視覚的
に目立ち難いが、動きアクティビティに応じて間引くこ
とにより、より一層間引きによる画質劣化が目立ち難く
なる。
【図1】動画像符号列切替装置の第1実施例の構成例を
示す図である。
示す図である。
【図2】動画像符号列切替装置の第2実施例の構成例を
示す図である。
示す図である。
【図3】従来の動画像符号列切替装置の構成例を示す図
である。
である。
【図4】間引き率とBピクチャー削除の様子を示す図で
ある。
ある。
【図5】画像タイプと符号列切り替えタイミングの例を
示す図である。
示す図である。
【図6】本発明での画像間引きとバッファ充足度の変化
例を示す図である。
例を示す図である。
【図7】従来の空フレーム挿入とバッファ充足度の変化
例を示す図である。
例を示す図である。
1 符号列A入力端子 2 符号列スイッチ 3 符号列遅延器 4 符号列間引器 5 バッファ 6 符号列出力 7 符号列B入力端子 8、21 多重化分離器 9、23 間引き制御器 22 動き量検出器 31 ブランク挿入器 32 ブランク制御器
Claims (4)
- 【請求項1】画像間予測の参照画像となる第1の画像の
符号列と、前記第1の画像以外の第2の画像の符号列と
を有する動画像符号列が複数入来し、前記複数の入来動
画像符号列を切り替えて連続したひとつの動画像符号列
とする符号列切替手段を有する動画像符号列切替装置に
おいて、 前記符号列切替手段から出力される動画像符号列から各
画像でのバッファ充足度の情報を得る情報分離手段と、 前記符号列切替手段から出力される動画像符号列におけ
る符号列切替点直前のバッファ充足度と符号列切替点直
後のバッファ充足度との差分を、前記情報分離手段から
供給されるバッファ充足度の情報により求め、そのバッ
ファ充足度の差分に応じて、前記符号列切替点前後にお
ける動画像符号列の第2の画像の間引き率及び間引き適
用期間を、間引き後の動画像符号列におけるバッファ充
足度が前記符号列切替点で連続するように設定する間引
き制御手段と、 前記間引き制御手段での間引き設定に応じて、前記符号
列切替手段から出力される動画像符号列から第2の画像
の符号列のみを間引いて削除し、バッファ充足度が修正
された修正動画像符号列を得る符号列間引き手段と、を
設けたことを特徴とする動画像符号列切替装置。 - 【請求項2】請求項1記載の動画像符号列切替装置にお
いて、 前記符号列切替手段から出力される動画像符号列から動
きアクティビティ情報を得る動き量検出手段を設け、 前記間引き制御手段における前記間引き率の設定条件
に、この動きアクティビティ情報を加えることを特徴と
する動画像符号列切替装置。 - 【請求項3】画像間予測の参照画像となる第1の画像の
符号列と、前記第1の画像以外の第2の画像の符号列と
を有する動画像符号列が複数入来し、前記複数の入来動
画像符号列を切り替えて連続したひとつの動画像符号列
とする動画像符号列切替方法において、 前記連続した符号列とされた動画像符号列から各画像で
のバッファ充足度の情報を得、 前記連続した符号列とされた動画像符号列における符号
列切替点直前のバッファ充足度と符号列切替点直後のバ
ッファ充足度との差分を、前記バッファ充足度の情報に
より求め、 そのバッファ充足度の差分に応じて、前記符号列切替点
前後における動画像符号列の第2の画像の間引き率及び
間引き適用期間を、間引き後の動画像符号列におけるバ
ッファ充足度が前記符号列切替点で連続するように設定
し、 この間引き設定に応じて、前記連続した符号列とされた
動画像符号列から第2の画像の符号列のみを間引いて削
除し、バッファ充足度が修正された修正動画像符号列を
得る、ことを特徴とする動画像符号列切替方法。 - 【請求項4】請求項3記載の動画像符号列切替方法にお
いて、 前記連続した符号列とされた動画像符号列から動きアク
ティビティ情報を得て、前記間引き率の設定条件に、こ
の動きアクティビティ情報を加えることを特徴とする動
画像符号列切替方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000090606A JP2001285868A (ja) | 2000-03-29 | 2000-03-29 | 動画像符号列切替装置及び動画像符号列切替方法 |
US09/816,335 US6798835B2 (en) | 2000-03-29 | 2001-03-26 | Apparatus and method of switching moving-picture bitstream |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000090606A JP2001285868A (ja) | 2000-03-29 | 2000-03-29 | 動画像符号列切替装置及び動画像符号列切替方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001285868A true JP2001285868A (ja) | 2001-10-12 |
Family
ID=18606194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000090606A Pending JP2001285868A (ja) | 2000-03-29 | 2000-03-29 | 動画像符号列切替装置及び動画像符号列切替方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6798835B2 (ja) |
JP (1) | JP2001285868A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278012A (ja) * | 2007-04-26 | 2008-11-13 | Matsushita Electric Ind Co Ltd | ビットストリーム差替装置 |
JP2009200672A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP2010245822A (ja) * | 2009-04-06 | 2010-10-28 | Hitachi Ltd | 動画像符号化装置および動画像符号化方法 |
JP2013214894A (ja) * | 2012-04-03 | 2013-10-17 | Mitsubishi Electric Corp | 画像符号化装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6954499B2 (en) * | 2000-03-15 | 2005-10-11 | Victor Company Of Japan, Ltd | Moving picture coding, coded-moving picture bitstream conversion and coded-moving picture bitstream multiplexing |
KR100612829B1 (ko) * | 2001-07-07 | 2006-08-18 | 삼성전자주식회사 | 그래픽 애니메이션 데이터의 키 부호화 장치와 그 방법 |
KR100480787B1 (ko) * | 2001-11-27 | 2005-04-07 | 삼성전자주식회사 | 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치 |
KR100850706B1 (ko) * | 2002-05-22 | 2008-08-06 | 삼성전자주식회사 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
US20040146211A1 (en) * | 2003-01-29 | 2004-07-29 | Knapp Verna E. | Encoder and method for encoding |
EP1638333A1 (en) * | 2004-09-17 | 2006-03-22 | Mitsubishi Electric Information Technology Centre Europe B.V. | Rate adaptive video coding |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
CN1236527A (zh) * | 1997-07-22 | 1999-11-24 | 皇家菲利浦电子有限公司 | 在视频序列之间进行切换的方法及相应的装置 |
JPH11167767A (ja) | 1997-09-30 | 1999-06-22 | Victor Co Of Japan Ltd | 情報編集システム及びこれに用いる高能率符号化装置 |
CN1169373C (zh) * | 1998-02-03 | 2004-09-29 | 皇家菲利浦电子有限公司 | 编码图像序列的切换方法及相应装置 |
US6678332B1 (en) * | 2000-01-04 | 2004-01-13 | Emc Corporation | Seamless splicing of encoded MPEG video and audio |
-
2000
- 2000-03-29 JP JP2000090606A patent/JP2001285868A/ja active Pending
-
2001
- 2001-03-26 US US09/816,335 patent/US6798835B2/en not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278012A (ja) * | 2007-04-26 | 2008-11-13 | Matsushita Electric Ind Co Ltd | ビットストリーム差替装置 |
JP2009200672A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP4513034B2 (ja) * | 2008-02-20 | 2010-07-28 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP2010245822A (ja) * | 2009-04-06 | 2010-10-28 | Hitachi Ltd | 動画像符号化装置および動画像符号化方法 |
JP2013214894A (ja) * | 2012-04-03 | 2013-10-17 | Mitsubishi Electric Corp | 画像符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
US20020031183A1 (en) | 2002-03-14 |
US6798835B2 (en) | 2004-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4232209B2 (ja) | 圧縮画像データの編集装置及び圧縮画像データの編集方法 | |
US8320451B2 (en) | Replacement of frame data in a video stream signal | |
KR100538135B1 (ko) | 정보 스트림 프레임 동기 방법 및 장치 | |
US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
JP3360586B2 (ja) | スキャン変換装置及び方法 | |
JP3091393B2 (ja) | 符号化されたビデオ信号をスプライシングする方法 | |
JP4223567B2 (ja) | 符号化ビデオシーケンスの切り替え方法及び装置 | |
US20040120403A1 (en) | Method and apparatus for altering the picture updating frequency of a compressed video data stream | |
JP4649615B2 (ja) | 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム | |
JP4402219B2 (ja) | ビデオ・データ中のフラッシュ・フレームの検出および符号化 | |
JP3560217B2 (ja) | データ符号化装置、データ符号化方法及びデータ伝送方法 | |
KR100301826B1 (ko) | 비디오디코더 | |
US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
JP2001285868A (ja) | 動画像符号列切替装置及び動画像符号列切替方法 | |
KR20180101607A (ko) | 영상 전환 장치를 구비한 부호화 장치 및 영상 전환 검지 방법을 포함하는 부호화 방법 | |
JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
JP2000244872A (ja) | トランスコーダ装置 | |
JP4320509B2 (ja) | 映像再符号化装置および方法 | |
WO2006059796A1 (ja) | 符号化装置および方法、並びにプログラム | |
JP2001128165A (ja) | 映像信号切替え装置及びその映像信号切替え方式 | |
JP3888848B2 (ja) | 画像復号装置 | |
JPH10126792A (ja) | 画像符号化方法および装置 | |
JP2000295626A (ja) | 多段画像符号化装置 | |
JP2002094938A (ja) | データ処理方法及び装置、データ伝送システム、伝送媒体 | |
JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050712 |