JP3800965B2 - データレート変換装置 - Google Patents
データレート変換装置 Download PDFInfo
- Publication number
- JP3800965B2 JP3800965B2 JP2001028929A JP2001028929A JP3800965B2 JP 3800965 B2 JP3800965 B2 JP 3800965B2 JP 2001028929 A JP2001028929 A JP 2001028929A JP 2001028929 A JP2001028929 A JP 2001028929A JP 3800965 B2 JP3800965 B2 JP 3800965B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- code amount
- input
- gop
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明はデータレート変換装置に係り、特にデータレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止するデータレート変換装置に関する。
【0002】
【従来の技術】
今日、コンピュータ、放送メディア、通信メディア及び蓄積メディアにおいて、ディジタル技術が盛んに用いられている。これらの情報インフラにおいて最も重要な役割を果たすのが、MPEG(Moving Picture Experts Group)であり、これについて簡単に説明する。MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29)に設立された動画像符号化標準を検討する組織の名称の略称である。
【0003】
MPEGにはMPEG1、MPEG2その他の規格がある。MPEG1(MPEGフェーズ1)は、1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、サービス統合ディジタル網(ISDN)のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のITU−T SG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172として成立している。また、MPEG2(MPEGフェーズ2)は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月ISO/IEC 13818、H.262として成立している。
【0004】
MPEGの符号化部分は幾つかの技術を組み合わせて作成されている。図6はMPEGによる画像圧縮符号化装置の一例のブロック図を示す。同図において、入力画像は動き補償予測器2で復号化され、この動き補償予測画像と入力画像の差分を減算回路1でとることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの3モード存在する。また、これらは16画素×16画素のMB(マクロブロック)毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。
【0005】
ピクチャタイプはPピクチャとBピクチャとIピクチャがある。過去からの予測と、予測をしないでそのMBを独立で符号化する2モード存在するのがPピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する4モード存在するのがBピクチャである。そして全てのMBが独立で符号化するのがIピクチャである。
【0006】
動き補償(MC:Motion Compensation)は、動き領域をMB毎にパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMCモードと共に、MBの付加情報として伝送される。Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約15ピクチャ程度が使用される。
【0007】
減算回路1より取り出された差分画像信号は、DCT器3において直交変換が行われる。離散コサイン変換(DCT:Discrete Cosine Transform)とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを4分割した8×8のDCTブロックに対して、2次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。
【0008】
DCTされた画像データ(DCT係数)は、量子化器4で量子化が行われる。この量子化は量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。
【0009】
量子化されたデータはVLC器9で可変長符号化される。量子化された値のうち直流(DC)成分は予測符号化の一つであるDPCM(Differential Pulse Code Modulation)を使用する。また交流(AC)成分は低域から高域にジクザグスキャンを行い、ゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時バッファ10に蓄えられ、所定の転送レートで符号化データとして出力される。
【0010】
また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器11に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器4にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器5にて逆量子化、逆DCT器6にて逆DCTされた後、加算器7を通して画像メモリ8に一時蓄えられたのち、動き補償予測器2において、差分画像を計算するためのリファレンスの復号化画像として使用される。動き補償予測器2の出力信号は減算回路1と加算器7に入力される。
【0011】
バッファ10より出力される符号化ビットストリームは、ビデオの場合1ピクチャ毎に可変長の符号量をもっている。これはMPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性がある。動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【0012】
この場合、多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。このバッファの制限は、復号装置側のバッファがオーバーフローもアンダーフローも発生しないように符号化することであり、MPEGでVBV(Video Buffering Verifier)として規定されている。これについての詳細は国際標準化機構(ISO)によりISO−11172−2、ISO13818−2に記述されている。この規定を守っていれば、VBVバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、MPEGではこのことを固定転送レートであると定義する。
【0013】
図7はMPEGにより圧縮符号化された符号化データの復号化装置の一例のブロック図を示す。同図において、MPEGにより圧縮符号化された符号化データは、バッファ32を通してVLD器33に入力され、ここで可変長復号されてから逆量子化器34で量子化幅と乗算されることにより、元のDCT係数に近似した値とされた後、逆DCT器35に供給されて逆DCTされることにより局部復号化される。
【0014】
また、VLD器33より取り出された動きベクトルと予測モードは、動き補償予測器38に画像メモリ37よりの復号化データと共に供給され、これより動き補償予測化した画像データを出力させる。加算器36は逆DCT器35からのデータと動き補償予測器38よりの動き補償予測化した画像データとを加算することにより、符号化装置に入力された画像データと等価な画像データを復号し、復号化データとして画像メモリ37に供給する一方、外部へ出力する。
【0015】
このようなMPEGシステムでは、例えば映像ソース(ディジタル放送その他)からの高符号化レートの符号化データを、限られた容量の記録媒体に記録する場合や、画質を多少劣化させても、番組圧縮データの更なる圧縮を希望する場合や、圧縮符号化データを編集して繋げる場合に、どうしてもVBVバッファ占有値をビットストリーム上で調節したいような場合、入力時よりも低符号化レートにレート変換することが行われる。
【0016】
従来の符号化や復号化技術を用いて、圧縮符号化レートを変換するには、一度、元の圧縮符号化データを復号化して画像データを得て画像メモリに展開し、その画像データを再度、所望のレートで符号化し直す再圧縮を施すことが考えられる。
【0017】
また、従来のデータレート変換装置の中には、元の圧縮符号化データを復号化せずに、DCT係数までの復号を行って、そのDCT係数領域でAC係数の高域成分を削減する、もしくは量子化スケールを大きく設定し直してAC係数を変換する装置も知られている(特開平8−251587号公報)。
【0018】
【発明が解決しようとする課題】
しかるに、上記の再圧縮を行う従来のデータレート変換装置では、復号化、符号化が同時に行える処理能力を必要とし、一度復号化したデータを画像メモリに展開しなければならないため、余分なメモリの追加が必要となる。
【0019】
また、特開平8−251587号公報記載の従来のデータレート変換装置においては、IピクチャやPピクチャにおいてAC係数を削減したり、Q(量子化)スケールを変更すると、本来、元の符号化ピクチャを作成するときに、動き補償の参照ピクチャとして使用していた過去のIピクチャやPピクチャの画質が変更されていることになり、予測残差成分に誤差が発生する。その誤差は、MPEG特有のIピクチャから始まり数枚のPピクチャへの順方向予測で、巡回して予測していく途中で蓄積され、その誤差蓄積が再生画像に顕著な画質劣化をもたらすことがある。
【0020】
本発明は以上の点に鑑みなされたもので、データレートを削減しても再生画像の巡回予測により発生するリーク劣化を好適に防止し得るデータレート変換装置を提供することを目的とする。
【0021】
また、本発明の他の目的は、メモリの追加をすることなく、データレートを好適に変換し得るデータレート変換装置を提供することにある。
【0022】
【課題を解決するための手段】
本発明は上記の目的を達成するため、入力符号化データであるMPEGの可変長符号を復号すると共に、AC符号とその符号長を示すAC符号のVLCコードと動きベクトルとを出力する可変長復号手段と、入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子へ入力信号を出力し、Bピクチャの場合は第2の端子へ入力信号を出力する選択動作を行う第1のスイッチ手段と、ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子の入力信号を選択して出力し、Bピクチャの場合は第2の端子の入力信号を選択して出力する第2のスイッチ手段と、第2のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、第1のスイッチ手段により選択され、可変長復号手段により可変長復号されたBピクチャとVLCコードが入力信号として入力され、その入力Bピクチャに対して、量子化スケールをそのままにしてAC符号であるVLCコード化されたAC係数部分に対応するVLCコードを削減する再符号化を行って、第2のスイッチ手段の第2の端子に入力する再符号化手段と、第1のスイッチ手段により選択され、可変長復号手段により可変長復号されたIピクチャ又はPピクチャと動きベクトルとが入力信号として入力され、その入力信号に対してMPEG規定の復号化動作を行って復号データを得る復号手段と、量子化器を含み、復号手段から出力された復号データに対してMPEG規定の符号化を行って符号化データを得て、第2のスイッチ手段の第1の端子に入力する符号化手段と、MPEGに規定されたGOP内のIピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量が、一つ前のGOPの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められたGOPの目標符号量内で配分されており、再符号化手段による再符号化又は符号化手段による符号化によってマクロブロック単位に発生し、第2のスイッチ手段を経由してバッファに蓄積されるGOP内のIピクチャ、Pピクチャ、Bピクチャの合計の発生符号量と、GOPの目標符号量とのマクロブロック単位毎の差分に応じて、GOP内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内でGOP内のまだ符号化されていないIピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量を画面の複雑さを示すパラメータと目標レートとを用いて決定し、Iピクチャ又はPピクチャ検出時は、決定したIピクチャ、Pピクチャの割り当て符号量に応じて符号化手段の量子化器の量子化幅を制御し、Bピクチャ検出時は再符号化手段により入力信号のAC符号を削減させる符号量制御手段とを有する構成としたものである。
【0023】
この発明では、入力符号化データのBピクチャに対しては直接に再符号化手段によりAC符号の削減を行い、IピクチャとPピクチャに対しては復号した後、再度符号化するようにしたため、IピクチャやPピクチャにおいてAC係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することがない。また、Iピクチャ又はPピクチャに対しては、MPEG規定の復号化動作を行って復号データを得た後、その復号データに対してMPEG規定の符号化を行って符号化データを得るようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【0024】
また、本発明は上記の目的を達成するため、上記の発明における再符号化手段を、第1のスイッチ手段により選択され、可変長復号手段により可変長復号されたBピクチャとAC係数とが入力信号として入力され、その入力Bピクチャに対して、可変長復号手段の入力符号化データを量子化した際に用いられている量子化スケール以上の値に変更された量子化スケールで再量子化を行うことにより、AC係数を削減する再符号化を行って、第2のスイッチ手段の第2の端子に入力する構成としたことを特徴とする。
【0025】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になるデータレート変換装置の第1の実施の形態のブロック図を示す。同図中、図6と同一構成部分には同一符号を付してある。図1に示す第1の実施の形態では、Bピクチャの符号量変換をAC符号削減器21で行う点に特徴がある。
【0026】
入力符号化データは、まずVLD器13に入力される。VLD器13は可変長符号デコーダ(Variable Length Code Decoder)といって、MPEG方式により圧縮符号化された可変長符号を復号する部分である。このVLD器13は、入力符号化データ、すなわち、可変長符号を復号するとともに、ピクチャのタイプをピクチャタイプ検出器14に供給する。
【0027】
ピクチャタイプ検出器14では、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているかを検出し、その検出信号をスイッチ回路(SW)15及び24へそれぞれ供給し、それらをスイッチング制御する。すなわち、ピクチャタイプがIピクチャもしくはPピクチャの場合、SW15及び24は図中、IPの方へ切り替えられ、Bピクチャの場合には図中、Bの方へ切り替えられる。
【0028】
まず、Bピクチャが検出されて、SW15及び24がB側に切り替えられたときの動作を説明する。この場合、VLD器13で復号されたBピクチャのデータは、SW15を経由してAC符号削減器21に入力される。AC符号削減器21では、符号量制御器23によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャあたりの目標符号量になるようAC符号(VLCコード化されたAC係数部分に対応するVLCコードで、以下、AC係数符号ともいう)を削減する。
【0029】
各ピクチャのマクロブロックのAC符号コードは表1に示したMPEGで規定されたハフマン符号(VLCコード)で符号化されている。なお、表1中、符号長はAC係数のハフマン符号(VLCコード)の符号長を示す。
【0030】
【表1】
MPEGで規定されたマクロブロックの中には、8×8画素のブロックが、輝度信号4つ、2種類の色差信号各1つの計6つ分存在する。これらのブロックそれぞれにAC符号が存在する。これらブロック内のハフマン符号事象は、図3に示すように、ジグザグにDCT係数を並べた時、0以外の有効係数が検出されるまでの、0の個数(0ランレングス)と有効係数という組み合わせの事象によって表現されている。
【0031】
すなわち、これらを展開したとすると、図3のイントラの場合と、図4に示すノンイントラの場合では、左上にくるDC符号コードの存在、非存在の違いがある。VLD器13ではこのようにAC係数の”0ランレングスと有効係数”事象とその符号長を検出して、図3、図4に示すようなAC係数符号の送られてくる順番、すなわち、低域の信号から並べたときの、その符号長の累積符号量と、ジグザグスキャンした場合の係数位置を示すアドレスを計算して、その情報をVLD情報として、符号化データと共にAC符号削減器21に供給する。
【0032】
AC符号削減器21ではVLD器13からの符号化データとVLD情報、符号量制御器23からの目標符号量TbをもとにAC係数符号を削減する。VLD情報は、AC係数符号とその符号長を含んでいる。図5に示すように、AC係数符号の低域の信号から並べて、その符号長の累積符号量のトータル符号量278ビットに対し、元の符号化ピクチャデータと目標符号量との概略の比率(1−削除率Rc)を乗じた値までを有効として、それ以降の符号は削除する。削除後のAC符号にEOB(END OF BLOCK)コードを送信する。
【0033】
従って、例えば、Rc=0.5の場合、元の符号化ピクチャデータの累積符号長が、トータル符号量である278ビットに0.5(=1−0.5)を乗じた値139ビットに達するまでのAC係数のVLCコードはそのままとし、それ以降のVLCコードを削除することとなり、この場合、表1のアドレス14以降のVLCコードが削除される(値が0とされる)。なお、図5の数値は、AC係数の値を示す。
【0034】
このようにして、AC符号削減器21において、全部のブロックについて処理された符号化データは、SW24がB側に切り替えられているときに、SW24を通して1ピクチャ分バッファ25に供給されて蓄積される。
【0035】
バッファ25は発生符号量を符号量カウンタ22に供給する。符号量カウンタ22は発生符号量を1ピクチャ毎にカウントしているので、符号量制御器23で制御される削除の割合は、1ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【0036】
次に、Iピクチャ又はPビクチャがピクチャタイプ検出器14で検出されて、SW15及び24がIP側に切り替えられたときの動作を説明する。この場合、VLD器13で復号されたIピクチャ又はPピクチャのデータは、SW15を経由して逆量子化器17に供給され、逆量子化が行われる。逆量子化されたデータは逆DCT器18にて、逆DCTされる。逆DCTにより得られた差分画像データは、動き補償予測器16からの一つ前の動き補償後の画像データに加算器19で加算され、減算回路1へ供給される。
【0037】
また、同時に加算器19により加算された後の画像データは、画像メモリ20に供給されて蓄積され、次の動き補償のためのリファレンス画像(参照画像)として再度、動き補償予測器16に入力される。動き補償予測器16では、VLDされたマクロブロック毎の動きベクトルをもとに画像メモリ20に蓄積された画像データを動き補償して、次の、逆DCTされた差分画像データに加算器19にて加算される画像を計算する。
【0038】
減算回路1ではIピクチャの場合には減算操作をすることなく、入力画像データをそのままDCT器3へ供給する。Pピクチャの場合には、VLD器13からの動きベクトルをもとに動き補償予測器2で動き補償予測が行われ、減算回路1で予測画像との差分が計算される。差分画像データはDCT器3においてDCTが行われてDCT係数とされる。
【0039】
このDCT係数は量子化器4で量子化され、動きベクトルや符号化モードとともにVLC器9で可変長符号化(VLC)後、SW24を通してバッファ25に供給されて一旦、蓄積され、これよりレート変換されたMPEGビデオストリームとして出力される。
【0040】
このとき、符号量制御器23はバッファ25の充足度(蓄積符号量)を符号量カウンタ22の値から監視して、基本的にはバッファ25の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように、量子化器4の量子化幅を制御する。
【0041】
また、Iピクチャ及びPピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化器4で量子化された情報は逆量子化器5、逆DCT器6及び動き補償予測器2により、逆量子化、逆DCT、動き補償されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ8に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【0042】
このように、本実施の形態では、IピクチャとPピクチャは、バッファ25の充足度(蓄積符号量)に応じてステップ幅が制御される量子化器4の出力信号を局部復号して参照画像として用い、一方、Bピクチャは直接にAC符号を削除することにより、IピクチャやPピクチャにおいてAC係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決できる。
【0043】
また、逆量子化器17から加算器19までの回路部でMPEG規定の復号化を行ってから、減算回路1からVLC器9までの回路部でMPEG規定の符号化をするようにしているため、復号化と符号化を同時に行える処理能力を必要とせず、一度復号化したデータを蓄積するためのメモリを必要としない。
【0044】
次に、符号量制御の方法について説明する。符号化されたデータは一時バッファ25に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量カウンタ22を通して符号量制御器23に供給され、目標符号量に対する発生符号量との差分を量子化器4にフィードバックして符号量制御する。例えば、短区間を1GOP(Group of Picture)とすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【0045】
(a)ステップS1
まず、各GOPのレート変換後の目標符号量をRとすると、ステップS1ではGOPの各ピクチャに対する割り当て符号量を、GOP内でまだ符号化していないピクチャに対してある重みをつけて配分する。
Xi=Si×Qi Xp=Sp×Qp Xb=Sb×Qb
ここで、Xはグローバル・コンプレキシティ・メジャー(global complexity measure)と呼ばれ、一つ前の同ピクチャタイプの符号化結果のS(発生符号量)とQ(平均量子化スケール)の積で定義される、画面の複雑さを示すパラメータである。
【0046】
また、理想的な画質を達成する量子化スケールは、Iピクチャを基準とした場合のPピクチャとの比率はKp=1.0、Bピクチャとの比率はKb=1.4と仮定する。ここで、GOP中のIピクチャ、Pピクチャ及びBピクチャに対する割り当て符号量Ti、Tp及びTbは次式で表される。
Ti=MAX{R/(1+(NpXp/XiKp)+NbXb/XiKb)}、bit_rate/(8*picture_rate)}
Tp=MAX{R/(Np+(NbKpXb/KbXp))、bit_rate/(8*picture_rate)}
Tb=MAX{R/(Nb+(NpKbXp/KbXb))、bit_rate/(8*picture_rate)}
ただし、上式中、Np、NbはGOP内のPやBの未符号化ピクチャ枚数である。Rの初期値はそのGOPに与えられた符号量である。また、bit_rateは目標レートである。
【0047】
このようにして求めた割り当て符号量をもとにして、各ピクチャを符号化する毎に、GOP内のまだ符号化されていないピクチャに対して割り当てられる目標符号量Rは次のように更新される。
R=R−Si,p,b
【0048】
(b)ステップS2
ステップS2ではステップS1で割り当てられた各ピクチャの符号量(Ti,Tp,Tb)と実際の発生符号量を一致させるため、マクロブロック(MB)毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を量子化スケールにMB単位でフィードバックする。ここで、j番目のMBの符号化に先立ち、I、P及びBピクチャの各先頭からj番目における各仮想バッファの占有量dji、djp及びdjbをそれぞれ次式により求める。
【0049】
dji=d0i+Bj −1−(Ti・(j−1)/MB_cnt)
djp=d0p+Bj −1−(Tp・(j−1)/MB_cnt)
djb=d0b+Bj −1−(Tb・(j−1)/MB_cnt)
ただし、上式中、d0i、d0p、d0bはI、P、Bピクチャの各仮想バッファの初期占有量、Bjは符号量カウンタ22でカウントされた各ピクチャの先頭からj番目のMBまでの発生符号量、MB_cntは1ピクチャ内のMB数である。
【0050】
また、I及びPピクチャの量子化スケールQは次式により求める。
Q=dj×31/r (1≦Q≦31)
r=2×bit_rate/picture_rate
ただし、上式中、rはフィードバックの応答速度を決定するパラメータである。このようにして、符号量制御を行うことが可能となる。
【0051】
なお、Bピクチャの場合には、符号量制御はAC係数のVLCコードを削減することで行うこととしているので、量子化スケールは固定とし、前述したAC係数削除により符号量を制御するが、Bピクチャにおいても、以下のような式で符号量制御することが可能である。
【0052】
Rc=dj×0.9/r (0.1≦Q・Rc≦0.9)
r=2×bit_rate/picture_rate
ただし、上式中、Rcは削減率である。このようにして符号量制御を行うことが可能となる。また、ここでは、Rcをdjのバッファでフィードバックするように示したが、Rcは固定でAC係数削減を行ってもよい。
【0053】
次に、本発明の第2の実施の形態について説明する。図2は本発明になるビットレート変換装置の第2の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付してある。図2において、入力符号化データは、まずVLD器13に入力され、ここで可変長符号が復号されるとともに、ピクチャのタイプがピクチャタイプ検出器14に供給されて、入力符号化データのそれぞれのピクチャがどのピクチャタイプで符号化されているか検出される。
【0054】
第1の実施の形態と同様に、ピクチャタイプがIピクチャもしくはPピクチャの場合、SW15及び29はIP側へ切り替えられる。Bピクチャの場合にはB側へ切り替えられる。
【0055】
まず、BピクチャヘSW15及び29を切り替えたときの説明をする。VLD器13で復号されたBピクチャのデータは、SW15を経由して再量子化器28に入力される。再量子化器28は、符号量制御器23によって指示された符号量、すなわち、後述するアルゴリズムで求められたピクチャ当たりの目標符号量になるよう、量子化スケールを制御する。その場合、元の符号化データに記述されている対象のBピクチャの各マクロブロックごとの量子化スケールに比較して、その量子化スケール以上の値で量子化するようにする。
【0056】
すなわち、符号量カウンタ22によるバッファ30からの符号量カウンタ値を基に、レート変換する前の元のピクチャ全体の符号量より小さい値を目標符号量とするために、基本的には量子化スケールは大きい方向へ制御されるはずであるが、局所的にバッファ30のフィードバック制御状態によっては、元の量子化スケールより小さい値になる可能性がある。その場合、画像の品質は元の画質より向上することはないので、再量子化器28で再量子化をする場合に制御される量子化スケールは、元の量子化スケールに対してリミッタをかけて、元の量子化スケール以上の値で量子化するように変更し、これにより量子化スケールが無駄に小さい値をとることで、画質向上につながらない符号量増加を防止する。
【0057】
再量子化器28ではVLD器13からのBビクチャの符号化データとVLD情報、符号量制御器23からの目標符号量Tbを基に、量子化スケールを上記のように制御する。符号量制御の方法は次に述べるIピクチャ及びPピクチャの場合と同じアルゴリズムを用いればよい。
【0058】
このようにして、再量子化器28で全部のブロックを再量子化処理されて得られた符号化データは、B側に接続されているSW29を経由して1ピクチャ分バッファ30に供給されて蓄積される。バッファ30は発生符号量を符号量カウンタ22に供給する。符号量カウンタ22は前述したように、発生符号量を1ピクチャ毎にカウントしているので、符号量制御器23で制御される削除の割合は、1ピクチャ内のマクロブロックを処理していくにあたって、目標符号量になるようピクチャ内でフィードバックして制御してもよい。
【0059】
次に、ピクチャタイプ検出器14でピクチャタイプがIピクチャもしくはPピクチャとして検出された場合の動作について説明する。VLD器13により復号されたIピクチャ又はPピクチャの符号化データは、IP側に接続されているSW15を通して逆量子化器17に供給され、ここで逆量子化が行われる。逆量子化されたデータは、逆DCT器18にて逆DCTされた後、加算器19に供給され、ここで動き補償予測器16からの一つ前の動き補償後の画像データと加算され、減算回路1へ供給される。
【0060】
また、同時に、加算器19からの画像データは画像メモリ20に供給されて蓄積され、次の動き補償のためのリファレンス画像として再度、動き補償予測器16に入力される。動き補償予測器16は、VLDされたマクロブロックごとの動きベクトルを基に画像メモリ20にメモリされた画像を動き補償して、次の逆DCTされた差分画像データに加算器19にて加算される画像を計算する。
【0061】
減算回路1はIピクチャの場合には減算操作をすることなく、入力データをそのままDCT器3へ伝送する。Pピクチャの場合には、VLD器13からの動きベクトルをもとに動き補償予測器2で動き補償予測が行われ、減算回路1で動き補償予測器2からの予測画像との差分が計算される。
【0062】
減算回路1からの差分画像データはDCT器3においてDCTが行われる。DCT係数は量子化器4で量子化され、動きベクトルや符号化モードとともにVLC器9で可変長符号化(VLC)後、IP側に接続されているSW29を経由してバッファ30に供給されて蓄積された後、MPEGビデオストリームとして出力される。
【0063】
符号量制御器23はバッファ30の充足度(蓄積符号量)を符号量カウンタ22を通して監視して、基本的にはバッファ30の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするように量子化器4の量子化幅を制御する。
【0064】
また、Iピクチャ、Pピクチャは、後で動き補償予測の参照画面として用いる必要があるため、量子化された情報は逆量子化器5、逆DCT器6および動き補償予測器2により、逆量子化、逆DCT、動き補償予測されて、局部復号化が行われ、復号器と同じ画像が復元されて画像メモリ8に蓄積される。この画像は次の動き補償予測の参照画面とされる。
【0065】
次に、Iピクチャ、Pピクチャ及びBピクチャの各ピクチャ共通の符号量制御の方法について説明する。符号化されたデータは一時バッファ30に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器23に出力され、目標符号量に対する発生符号量との差分を量子化器4にフィードバックして符号量制御される。例えば、短区間を1GOPとすると以下の様な方法で、画質をある程度保ちながら符号を制御することができる。
【0066】
すなわち、まず、各GOPのレート変換後の目標符号量をRとすると、GOPの各ピクチャに対する割り当て符号量を、ステップS1では、前述した第1の実施の形態でのステップS1と同様に、GOP内でまだ符号化していないピクチャに対してある重みをつけて配分する。この配分をGOP内の符号化ピクチャ順に繰り返し、前述した第1の実施の形態のステップS1での動作と同じ符号量割り当て動作を行う。また、GOP内で符号化が進むごとにRは次のように更新する。
R=R−Si,p,b
【0067】
次に、ステップS2では、ステップS1で求めた各ピクチャに対する割り当て符号量Ti、Tp及びTbと、実際の発生符号量とを一致させるため、まず、j番目のマクロブロックの符号化に先立ち、仮想バッファの占有量dji、djp及びdjbを、第1の実施の形態で前述したdji、djp、djbの式と同じ式により求めた後、j番目のマクロブロックに対する量子化スケールQを次式により求める。
【0068】
Q=dj×31/r (prevQ≦Q≦31)
r=2×bit_rate/picture_rate
ただし、上式中、rはフィードバックの応答速度を決定するパラメータ、prevQは、レート変換前のマクロブロックで使用されていた量子化スケールである。このようにして、符号量制御を行うことが可能になる。
【0069】
本実施の形態によれば、IピクチャとPピクチャのデータに対しては、局部復号することで次の予測画像の参照データとして再符号化し、Bピクチャに関しては再量子化器28により直接再符号化するようにしたため、IピクチャやPピクチャにおいてAC係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて再生画像に顕著に発生することを防止できる。
【0070】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図1及び図2において、量子化器4の出力信号を逆量子化器5に供給するのではなく、VLC器9の出力側に逆VLC器を設け、その逆VLC器からの信号を逆量子化器5に供給するように構成してもよい。従って、この場合は、レート変換のためのVLC後のデータが局部復号されることになる。
【0071】
【発明の効果】
以上説明したように、本発明によれば、IピクチャデータとPピクチャデータに関しては、MPEG規定の復号してから、その復号データに対するレート変換のための量子化後、若しくはVLC後のデータを局部復号することで次の予測画像の参照データとして再符号化をし、Bピクチャに関しては直接再符号化するようにしたので、IピクチャやPピクチャにおいてAC係数を削減したり、量子化スケールを変更しても、予測残差成分に誤差が発生することなく、巡回して予測していく動作の中で、誤差が蓄積されて、再生画像にその誤差蓄積が顕著に発生することを解決し、レート変換後の再生画像の品質を向上することができる。
【0072】
また、本発明によれば、従来の再圧縮の方式のように、復号化、符号化が同時に行える処理能力を必要としないため、一度復号化したデータを蓄積するための余分なメモリ追加が必要なくなり、コスト低減ができる。
【図面の簡単な説明】
【図1】本発明のレート変換装置の第1の実施の形態のブロック図である。
【図2】本発明のレート変換装置の第2の実施の形態のブロック図である。
【図3】DCT係数のイントラMBのスキャン方法を説明する説明図である。
【図4】DCT係数のノンイントラMBのスキャン方法を説明する説明図である。
【図5】DCT係数の発生例を示す説明図である。
【図6】MPEG符号化器の一例のブロック図である。
【図7】MPEG復号化器の一例のブロック図である。
【符号の説明】
1 減算回路
2、16、38 動き補償予測器
3 DCT器
4 量子化器
5、17、34 逆量子化器
6、18、35 逆DCT器
7、19、36 加算器
8、20、37 画像メモリ
9 VLC器
10、25、30、32 バッファ
11、23 符号量制御器
13、33 VLD器
14 ピクチャタイプ検出器
15、24、29 スイッチ回路(SW)
21 AC符号削減器
22 符号量カウンタ
28 再量子化器
Claims (2)
- 入力符号化データであるMPEGの可変長符号を復号すると共に、VLCコードと動きベクトルとを出力する可変長復号手段と、
前記入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子へ入力信号を出力し、Bピクチャの場合は第2の端子へ入力信号を出力する選択動作を行う第1のスイッチ手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子の入力信号を選択して出力し、Bピクチャの場合は第2の端子の入力信号を選択して出力する第2のスイッチ手段と、
前記第2のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、
前記第1のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたBピクチャと前記VLCコードが入力信号として入力され、その入力Bピクチャに対して、量子化スケールをそのままにしてAC符号であるVLCコード化されたAC係数部分に対応するVLCコードを削減する再符号化を行って、前記第2のスイッチ手段の第2の端子に入力する再符号化手段と、
前記第1のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたIピクチャ又はPピクチャと前記動きベクトルとが入力信号として入力され、その入力信号に対してMPEG規定の復号化動作を行って復号データを得る復号手段と、
量子化器を含み、前記復号手段から出力された復号データに対してMPEG規定の符号化を行って符号化データを得て、前記第2のスイッチ手段の第1の端子に入力する符号化手段と、
前記MPEGに規定されたGOP内の前記Iピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量が、一つ前のGOPの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められた前記GOPの目標符号量内で配分されており、前記再符号化手段による再符号化又は前記符号化手段による符号化によってマクロブロック単位に発生し、前記第2のスイッチ手段を経由して前記バッファに蓄積される前記GOP内の前記Iピクチャ、Pピクチャ、Bピクチャの合計の発生符号量と、前記GOPの目標符号量との前記マクロブロック単位毎の差分に応じて、前記GOP内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内で前記GOP内のまだ符号化されていない前記Iピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量を前記画面の複雑さを示すパラメータと前記目標レートとを用いて決定し、前記Iピクチャ又はPピクチャ検出時は、決定した前記Iピクチャ、Pピクチャの割り当て符号量に応じて前記符号化手段の前記量子化器の量子化幅を制御し、前記Bピクチャ検出時は前記再符号化手段により入力信号のAC符号を削減させる符号量制御手段と
を有することを特徴とするデータレート変換装置。 - 入力符号化データであるMPEGの可変長符号を復号すると共に、AC係数と動きベクトルとを出力する可変長復号手段と、
前記入力符号化データのそれぞれのピクチャが、どのピクチャタイプで符号化されているかを検出するピクチャタイプ検出手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子へ入力信号を出力し、Bピクチャの場合は第2の端子へ入力信号を出力する選択動作を行う第1のスイッチ手段と、
前記ピクチャタイプ検出手段により検出されたピクチャタイプがIピクチャもしくはPピクチャの場合は第1の端子の入力信号を選択して出力し、Bピクチャの場合は第2の端子の入力信号を選択して出力する第2のスイッチ手段と、
前記第2のスイッチ手段から取り出された信号を一旦蓄積して、前記入力符号化データに対してレート変換された符号化データとして出力するバッファと、
前記第1のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたBピクチャと前記AC係数とが入力信号として入力され、その入力Bピクチャに対して、前記可変長復号手段の入力符号化データを量子化した際に用いられている量子化スケール以上の値に変更された量子化スケールで再量子化を行うことにより、前記AC係数を削減する再符号化を行って、前記第2のスイッチ手段の第2の端子に入力する再符号化手段と、
前記第1のスイッチ手段により選択され、前記可変長復号手段により可変長復号されたIピクチャ又はPピクチャと前記動きベクトルとが入力信号として入力され、その入力信号に対してMPEG規定の復号化動作を行って復号データを得る復号手段と、
量子化器を含み、前記復号手段から出力された復号データに対してMPEG規定の符号化を行って符号化データを得て、前記第2のスイッチ手段の第1の端子に入力する符号化手段と、
前記MPEGに規定されたGOP内の前記Iピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量が、一つ前のGOPの同じピクチャタイプの発生符号量と平均量子化スケールの積で定義される画面の複雑さを示すパラメータと目標レートとを用いて、予め定められた前記GOPの目標符号量内で配分されており、前記再符号化手段による再符号化又は前記符号化手段による符号化によってマクロブロック単位に発生し、前記第2のスイッチ手段を経由して前記バッファに蓄積される前記GOP内の前記Iピクチャ、Pピクチャ、Bピクチャの合計の発生符号量と、前記GOPの目標符号量との前記マクロブロック単位毎の差分に応じて、前記GOP内のまだ符号化されていないピクチャに対する目標符号量を更新すると共に、その更新した目標符号量内で前記GOP内のまだ符号化されていない前記Iピクチャ、Pピクチャ、Bピクチャに対する各割り当て符号量を前記画面の複雑さを示すパラメータと前記目標レートとを用いて決定し、前記Iピクチャ又はPピクチャ検出時は、決定した前記Iピクチャ、Pピクチャの割り当て符号量に応じて前記符号化手段の前記量子化器の量子化幅を制御し、前記Bピクチャ検出時は前記再符号化手段により入力信号の前記AC係数を削減させる符号量制御手段と
を有することを特徴とするデータレート変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001028929A JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001028929A JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002232894A JP2002232894A (ja) | 2002-08-16 |
JP3800965B2 true JP3800965B2 (ja) | 2006-07-26 |
Family
ID=18893339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001028929A Expired - Lifetime JP3800965B2 (ja) | 2001-02-06 | 2001-02-06 | データレート変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3800965B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
JP4798652B2 (ja) * | 2005-11-11 | 2011-10-19 | Kddi株式会社 | 動画像のレート変換装置 |
JP2008244993A (ja) * | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | トランスコーディングのための装置および方法 |
JP5256803B2 (ja) | 2008-03-19 | 2013-08-07 | 株式会社メガチップス | トランスコーダ |
-
2001
- 2001-02-06 JP JP2001028929A patent/JP3800965B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002232894A (ja) | 2002-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6658157B1 (en) | Method and apparatus for converting image information | |
US7822118B2 (en) | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders | |
US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
US7809065B2 (en) | Picture encoding system conversion device and encoding rate conversion device | |
EP1445958A1 (en) | Quantization method and system, for instance for video MPEG applications, and computer program product therefor | |
US5461422A (en) | Quantizer with automatic pre-threshold | |
US20050036549A1 (en) | Method and apparatus for selection of scanning mode in dual pass encoding | |
EP1032212A2 (en) | Transcoder, transcoding system, and recording medium | |
JPH09322176A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 | |
JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
JP3800965B2 (ja) | データレート変換装置 | |
JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP2900927B2 (ja) | 符号化方法及び符号化装置 | |
JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
JP3765129B2 (ja) | 符号化装置および符号化方法 | |
JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP4007398B2 (ja) | 量子化制御装置およびその方法 | |
JP4359273B2 (ja) | 符号化モード選択方法 | |
JP3765130B2 (ja) | 符号化装置および符号化方法 | |
JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP4359274B2 (ja) | 動画像圧縮符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060424 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3800965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |