JPH11239319A - 高能率符号化画像信号合成装置及び編集装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の編集装置では、オーバーラップ処理を
行うと、逆直交変換および直交変換を繰り返す事による
画質劣化を伴い、また、符号化による誤差もしくは符号
量が増大し、回路構成もしくは演算量の増大も招く。 【解決手段】 パラメータレジスタ５６には、オーバー
ラップ処理を行うフレーム数が設定される。シーケンサ
５７は、パラメータレジスタ５６に設定された、オーバ
ーラップ処理を行う総フレーム数を元に、フレームカウ
ンタを動作させる。直交変換係数合成回路５９は、シン
タックス設定回路５８で決定されたフレームタイプを元
に、データメモリ５５に蓄積された２つの基準となる画
像データのＤＣＴ係数より合成処理を行い、結果を量子
化回路６０、可変長符号化回路６１を通してマルチプレ
クサ６２に供給する。オーバーラップ区間に関しての
み、上記の合成されたストリームが出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は高能率符号化画像信
号合成装置及び編集装置に係り、特に高能率符号化され
た画像信号を取り扱う高能率符号化画像信号合成装置及
び編集装置に関する。

【０００２】

【従来の技術】近年、ディジタル化された画像信号に対
して高能率符号化による圧縮された情報を光ディスクや
磁気媒体等のメディアに記録し、この記録メディアを再
生して得られた情報に対して復号処理を行って画像信号
を復元し再生する、記録再生システムが開発・実用化さ
れている。これらの記録再生システムに用いられている
代表的な高能率符号化方式として動画像に対する符号化
であるＭＰＥＧ２がある。

【０００３】ＭＰＥＧ２においては、まず基準となる画
像（Ｉフレーム）を決定して、その画像データを水平・
垂直の２次元ブロックに分割し、分割されたブロック単
位で直交変換の一種であるＤＣＴ（離散コサイン変換）
処理を施し、ＤＣＴ変換された各々の係数を可変長符号
化する。

【０００４】ＤＣＴ変換された成分は、画像の持つ周波
数成分に相当する値となる為、人間の視覚的特性を考慮
して高域成分を粗く、低域成分を細かく量子化する事に
より情報量を削減する。最低域成分であるＤＣ成分はブ
ロックの平均値を表わし、その値はブロック間の画像の
相関を用い差分データが可変長符号化される。量子化さ
れた高域成分（ＡＣ成分）は０が連続する事が多くな
り、ＤＣＴ変換係数を低域から高域へと順番にスキャン
していき、０の連続する係数の数と０でない成分の値を
可変長符号化する。以上の処理により、少ない情報量で
ＤＣＴ変換係数を表わす事ができる。

【０００５】更に、上記基準となる画像を用いて他の画
像（Ｐフレーム、Ｂフレーム）の動き成分を求め、予測
符号化を行う。動きベクトル検出は分割した２次元ブロ
ック単位で行い、水平・垂直の動き成分が２次元ベクト
ルとして求められる。求められた動きベクトルだけ移動
した位置の基準画像ブロックの値を符号化する画像のブ
ロックの値から引く事により予測ブロックを構成し、こ
れを基準画像と同様に直交変換し可変長符号化を行う。
予測符号化を行う事でより大きな情報圧縮を行う事がで
きる。Ｐフレームは、更に基準画像となる事ができ、他
のＰフレーム、Ｂフレームの予測符号化に使用される。

【０００６】図２はＭＰＥＧ２の基本的な符号化シンタ
ックスを示す。また、上記で示したような高能率符号化
を行う装置として、図３のブロック図に示すような構成
が知られている。図３において、入力されたディジタル
画像信号はフレームメモリ１に記憶され、符号化シンタ
ックスに従って符号化される順番に並べ替えを行う為遅
延される。フレームメモリ１から出力されたディジタル
信号は、減算器２を通して２次元ブロック変換回路３に
供給され、ここで基準フレームにおいては垂直方向Ｎ画
素・水平方向Ｍ画素（通常Ｎ，Ｍは８）の２次元ブロッ
クに変換される。変換されたデータは直交変換回路４に
てＤＣＴ変換が行われ、量子化回路５に送られる。

【０００７】量子化回路５において量子化されたＤＣＴ
変換係数は、符号化回路６において、符号化テーブル７
の係数に対応したアドレスを参照する事により可変長ま
たは固定長の符号化が行われ、マルチプレクサ１５によ
り上記符号化データと画面内でのブロックの場所等を示
す情報とが多重化され、ビットストリームとして出力さ
れ、記録メディア１７に記録される。

【０００８】ストリームの符号量はレートコントロール
回路１６において目標の符号量との比較がとられ、目標
符号量に近づける為に量子化回路５の量子化の細かさが
調節されフィードバック制御されて、続くブロックの符
号化処理が行われる。

【０００９】符号化処理と共に、量子化回路５で量子化
されたＤＣＴ変換係数は、逆量子化回路８、逆直交変換
回路９において逆量子化及び逆ＤＣＴ変換が行われ符号
化ビットストリームが復号された状態の画像信号に復元
されて、更にデブロック回路１０及び加算器１１を通し
て予測メモリ１２に入力されて格納される。

【００１０】続いて予測フレームにおいては、フレーム
メモリ１から出力される画像と予測メモリ１２に格納さ
れている画像との間で動きベクトル検出回路１３によっ
て、画像間での動きベクトルが求められる。動きベクト
ル検出回路１３は、一般的にブロックマッチングにより
求められ、符号化する画像と予測メモリ１２の画像をそ
れぞれ２次元ブロック化し、画素毎の差分絶対値総和
（もしくは差分二乗総和）の最も小さいブロックに対す
る画面内の動き成分を動きベクトルとして出力する。

【００１１】出力された動きベクトルにより、予測ブロ
ックが動き補償予測回路１４により予測メモリ１２から
切り出される。動き補償予測回路１４では、予測を使用
するか使用しないか、予測モードの選択（Ｂフレームの
場合には、２つの基準フレームを持つ為、どの予測を適
用するかの判断を行い、符号化する画像ブロックとの差
分を減算器２でとってから２次元ブロック変換回路３に
送り出す。以降の処理は、前記フレームの各ブロックと
同様の処理が行われ、ＤＣＴ変換係数が動きベクトルや
予測モードと共にビットストリームとして出力される。

【００１２】一方、ディジタル記録メディアを用いて、
さまざまな画像情報を配給する際に、原画像に対して様
々な特殊効果処理を施し、映像表現の幅を広げる処理が
一般的に行われる。従来、このような特殊効果処理は高
能率符号化される前に編集処理として行われる事が多
く、何回かの試行処理により効果を施す場所を決定して
最終的に作成された編集画像を用い、高能率符号化処理
が行われて記録される。

【００１３】このような編集処理を行う為には、非圧縮
の状態で編集後の大容量ディジタル画像データを記録す
る事のできるメディアが必要になり、業務用途の大規模
な編集システムが必要となる。

【００１４】しかしながら、ビデオレター等の個人用途
においては、上記のような大規模な編集システムを用意
する事は困難であり、個人用途においては、高能率符号
化された画像信号を簡易的に編集できるシステムが必要
となっている。

【００１５】個人用途で用いられる編集処理として、２
つの画像信号を円滑に繋ぐオーバーラップ処理が用いら
れる。オーバーラップ処理は、ある画像信号の最後と他
の画像信号の最初を繋ぎ合わせる際に、画像同士をミッ
クスさせ、ミックスレベルを時間の経過に従って変化さ
せていく事により、スムーズなシーンの移行を実現でき
る。

【００１６】そこで、上記オーバーラップ編集処理を行
う方法として、符号化されたビットストリームを元に、
復元処理を行った画像データに対してオーバーラップ処
理を行い、再度符号化処理を行いオーバーラップ効果を
施したビットストリームを再記録する方法がある。この
手法を用いた従来の編集装置の構成を図４のブロック図
に示し説明する。同図中、図３と同一構成部分には同一
符号を付してある。

【００１７】図４において、ハードディスクなどの記録
メディア２０から得られた符号化ビットストリームは、
デマルチプレクサ２１により動きベクトルや画面の位置
情報等の付加情報とＤＣＴ係数の符号化情報に分けられ
復号回路２２に入力される。復号回路２２は、復号テー
ブル２３を参照して可変長もしくは固定長符号化された
ＤＣＴ係数の符号化情報を復号し、量子化されたＤＣＴ
変換係数を取り出す。取り出された係数は、逆量子化回
路２４により逆量子化が、更に逆直交変換回路２５によ
り逆ＤＣＴ変換が行われ、デブロック回路２６により２
次元ブロックがディスプレイのスキャンライン順に並べ
替えられた後、予測ブロックである場合には動き補償予
測回路２７により予測メモリ２８より切り出された値が
加算器２９で加算されて、ディジタル画像データとして
復元されて予測メモリ２８に蓄積される。

【００１８】この復元された画像データに対してオーバ
ーラップ処理が行われる。オーバーラップ処理を行う為
には、２画面の基準画像が必要となる為、２画面の復号
画像メモリ（フレームメモリ）３０に上記画像データが
蓄積される。特殊効果処理回路３１は、２画面の空間的
に同位置にある画素同士をオーバーラップパラメータに
応じて加算する事により、オーバーラップ画面を生成す
る。オーバーラップパラメータは時間的に前に存在する
画像１００％から後に存在する画像１００％へと変化し
ていき、その度に特殊効果処理回路３１はオーバーラッ
プ画面を生成していく。生成されたオーバーラップ画面
の符号化画像データは、順次ＭＰＥＧ２のシンタックス
に従って、減算器３２を通して２次元ブロック変換回路
３に入力され、以下図３で示した構成と同様の符号化回
路を用いて符号化処理が行われ、符号化データが出力さ
れ、記録メディア３３に記録される。

【００１９】

【発明が解決しようとする課題】しかるに、上記の従来
の編集装置では、オーバーラップ処理を行うと、逆直交
変換および直交変換を繰り返す事による画質劣化を伴
う。また、オーバーラップされたデータは、２つの画像
がミックスされた画像である為、予測の基準となる画像
と輝度レベルや解像度が異なる場合があり、ブロックマ
ッチングを基本として行われる動きベクトル検出におい
て誤検出を誘発する可能性が高くなり、符号化による誤
差もしくは符号量が増大する。また、編集装置内に、符
号化回路と同等の規模の回路を必要とする事により回路
構成もしくは演算量の増大を招く欠点がある。

【００２０】本発明は以上の点に鑑みなされたもので、
より簡易な装置及び手段で高能率符号化された画像の符
号化ビットストリームに対して画像劣化の少ないオーバ
ーラップ処理を行う事のできる高能率符号化画像信号合
成装置及び編集装置を提供することを目的とする。

【００２１】

【課題を解決するための手段】上記の目的を達成するた
め、本発明合成装置は、基準フレームの画像信号を所定
ブロック単位に直交変換した後、量子化してから符号化
し、基準フレームの画像信号を用いて他のフレームの画
像信号の動き成分を求めて予測ブロックを生成した後、
量子化してから符号化することにより得られたストリー
ムが入力され、基準フレームを分離する分離手段と、分
離手段により分離された基準フレームの画像データを復
号及び逆量子化して直交変換された画像信号を得る復元
手段と、復元手段よりの直交変換された画像信号を蓄積
するメモリと、外部からオーバーラップ期間の符号化シ
ンタックスを設定する設定手段と、設定手段により設定
された符号化シンタックスに基づき、メモリから読み出
した２つの直交変換された画像信号を合成する合成手段
とを有する構成としたものである。

【００２２】本発明合成装置における設定手段は、オー
バーラップフレーム数を記憶している記憶手段と、記憶
手段からのオーバーラップフレーム数のそれぞれのフレ
ームについて前に存在するフレームからの予測を行うフ
レームであるか否か、または前後するフレームとの間で
の双方向予測を行うフレームであるかのフレームタイプ
を決定する決定手段とからなり、合成手段は、メモリか
ら読み出したオーバーラップ期間における２つの直交変
換された画像信号を、フレームタイプに応じた比率で合
成する手段であることを特徴とする。

【００２３】また、本発明編集装置は、前記の合成装置
に、合成手段から取り出された合成画像信号を量子化し
た後、符号化する量子化及び符号化手段と、量子化及び
符号化手段から出力された合成画像符号を記録媒体に記
録する記録手段とを有する構成としたものである。

【００２４】本発明では、高能率符号化されたビットス
トリームを取り扱う合成装置及び編集装置において、前
後の復号された直交変換領域の画像信号より、自動的に
オーバーラップ区間のシンタックスに基づき合成画像信
号を得ることができる。

【００２５】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図１は本発明になる高能率画像
信号編集装置の一実施の形態のブロック図を示す。編集
される符号化ビットストリームは、ハードディスク等の
記録メディア５１よりデマルチプレクサ５２に供給さ
れ、ここでＩフレームが検出され、動きベクトルや画面
の位置情報等の付加情報とＤＣＴ係数の符号化情報が分
離されてＤＣＴ係数の符号化情報が可変長復号回路５３
に入力される。可変長復号回路５３は、入力されたＤＣ
Ｔ係数の符号化情報の可変長復号を行い、得られた復号
データを逆量子化回路５４に供給する。逆量子化回路５
４により逆量子化されて取り出されたＤＣＴ領域の画像
データは、直交変換領域データメモリ５５に格納され
る。

【００２６】編集する前半のストリームの最後のＩフレ
ームのデータのみを残しておき、後半の符号化ストリー
ムの最初のＩフレームを抜き出し、ＤＣＴ係数の符号化
情報を分離して可変長復号回路５３に入力し、以下同様
に復号処理を行い、データメモリ５５に蓄積する。パラ
メータレジスタ５６には、オーバーラップ処理を行うフ
レーム数が設定される。シーケンサ５７は、パラメータ
レジスタ５６に設定された、オーバーラップ処理を行う
総フレーム数を元に、フレームカウンタを動作させる。

【００２７】シンタックス設定回路５８は、パラメータ
レジスタ５６に設定されているオーバーラップ処理を行
うフレーム数より、シーケンサ５７の出力であるフレー
ムカウンタのカウント値に基づき各フレームに対するフ
レームタイプを決定する。更に、そのときの動きベクト
ル値等の付加情報をどのように設定するか、及び直交変
換係数の合成式をどのように設定するかを後述するよう
にして設定し、決定されたフレームタイプと共に直交変
換係数合成回路５９と付加情報符号化回路６５に出力す
る。

【００２８】そして、この決定されたフレームタイプを
元に、直交変換係数合成回路５９では、２つの基準とな
る画像データのＤＣＴ係数より合成処理を行い、結果を
量子化回路６０に供給する。量子化回路６０は、合成さ
れたＤＣＴ係数に対して量子化処理を行い、得られた量
子化データを可変長符号化回路６１で可変長符号化を行
わせる。この可変長符号化データは、マルチプレクサ６
２に供給される。

【００２９】付加情報符号化回路６５はシンタックス設
定回路５８から供給される動きベクトルや画面の位置情
報などの付加情報を符号化してマルチプレクサ６２に供
給する。マルチプレクサ６２は、可変長符号化回路６１
から供給されるＤＣＴ係数の符号化情報と、この符号化
された付加情報を合成したストリームとして出力し、ス
イッチ６３を介して記録メディア６４に記録される。

【００３０】なお、上記の設定された２つの基準フレー
ムの前後の符号化データ（合成しない画像データ）に関
しては、スイッチ６３が切り換えられてデマルチプレク
サ５２から取り出された、付加情報を分離していない画
像データの符号化ストリームがそのまま記録メディア６
４に記録され、オーバーラップ区間に関してのみ、上記
の合成されたストリームがマルチプレクサ６２から出力
されて記録される。

【００３１】以下、図２のようなＭＰＥＧ２のシンタッ
クスを想定し、総オーバーラップフレーム数が３０、Ｉ
フレームの間隔を１５フレーム、Ｐフレームの間隔を３
フレームとした場合の動作を説明する。シンタックス設
定回路５８は、シーケンサ５７から与えられたフレーム
カウンタの値を１５で除算した余りが０の場合は、Ｉフ
レームを設定し、それ以外の場合に３で除算した余りが
０の場合にＰフレームを設定し、上記以外の場合にはＢ
フレームが設定される。

【００３２】次に、Ｉフレームの場合（フレームカウン
タのカウント値１５のとき）、Ｐフレームの場合（フレ
ームカウンタのカウント値６のとき）、Ｂフレームの場
合（フレームカウンタのカウント値１０のとき）の直交
変換係数合成回路５９の動作について説明する。

【００３３】直交変換領域データメモリ５５から入力さ
れる２つの基準画像データ（直交変換領域）をそれぞれ
Ａ、Ｂとすると、フレームカウンタのカウント値が１５
であるときはＩフレームであり、Ｉフレームの場合は、
符号化すべきデータが動き補償予測を行わないデータで
あるため、２つの基準画像データＡ及びＢを距離の比率
で合成すればよい。

【００３４】従って、この場合は総オーバーラップフレ
ーム数をＸ、フレームカウンタ数をＹとすると、直交変
換係数合成回路５９により、合成画像データＣは（１）
式の演算に基づいて、 Ｃ＝Ａ×｛（Ｘ−Ｙ）／Ｘ｝＋Ｂ×（Ｙ／Ｘ） ＝Ａ×（１５／３０）＋Ｂ×（１５／３０） ＝（Ａ＋Ｂ）／２ （１） となる。

【００３５】また、Ｐフレームの場合には、前に存在す
るＩフレーム若しくはＰフレームからの予測が行われる
ため、Ｐフレーム間隔での画像の変位が誤差データとな
る。よって、動きベクトルを０と想定すると、２つの基
準画像データＡ及びＢの差分値をオーバーラップフレー
ム数とＰフレーム間隔との比率で除算すればよいことに
なる。

【００３６】従って、フレームカウンタのカウント値が
６であるとき、Ｐフレームであるから、２つの基準画像
データからの合成画像データＣは、Ｐフレーム間隔をＺ
とすると、直交変換係数合成回路５９により、（２）式
の演算に基づいて、計算され、 Ｃ＝（Ｂ−Ａ）×（Ｚ／Ｘ） ＝（Ｂ−Ａ）×（３／３０） ＝（Ｂ−Ａ）／１０ （２） となる。

【００３７】更に、Ｂフレームの場合には、前後するＩ
フレーム若しくはＰフレームとの間で双方向予測を行う
ことができるため、前後するＩフレーム若しくはＰフレ
ームと符号化するＢフレームとの距離と中心点に相当す
る時間（つまり、双方向で予測された２つのリファレン
ス画像の中心点）との差に相当する変位が誤差データと
なる。Ｐフレームの場合と同様に、動きベクトルを両方
向共に０と想定し、変位量を符号化データとする。フレ
ームカウンタのカウント値が１０の時には、Ｂフレーム
であり、Ｐフレーム間隔をＺ、前方向の基準画像とＢフ
レームとの距離をＴとすると、直交変換係数合成回路５
９により、２つの基準画像データＡ及びＢの合成画像デ
ータＣは、（３）式の演算に基づいて、 Ｃ＝（Ｂ−Ａ）×｛（１／２）−（Ｔ／Ｚ）｝／３０ ＝（Ｂ−Ａ）×｛（１／２）−（１／３）｝／３０ ＝（Ｂ−Ａ）×（１／６）／３０ ＝（Ｂ−Ａ）／１８０ （３） となる。

【００３８】このように、連続するオーバーラップ期間
に対して、それぞれ符号化されるべきＤＣＴ係数（画像
データ）は、２つの基準画像データのＤＣＴ係数より導
き出せることになり、編集装置上に逆直交変換と符号化
するための動きベクトル検出回路、動き補償回路及び直
交変換回路を具備することなく、オーバーラップ編集が
実現できる。

【００３９】なお、出力されたＤＣＴ係数に対して量子
化処理を行った場合には、量子化レベルに応じて符号化
誤差が生じる。Ｐフレームの場合には予測が巡回型であ
るため、誤差を無視して符号化を行っていくと誤差が蓄
積する。しかし、Ｐフレームの場合には、直交変換領域
での量子化誤差をメモリに蓄えておき、次のＰフレーム
に対する誤差値のＤＣＴ係数に足し合わせることによ
り、蓄積を防ぐことができる。

【００４０】また、Ｐフレームの間隔を２フレームに設
定した場合には、Ｂフレームの誤差値を導き出すための
（３）式の値は、 Ｃ＝（Ｂ−Ａ）×｛（１／２）−（１／２）｝／３０＝
０ となるために誤差値は発生せず、動きベクトル０と両方
向予測モードで誤差を送らず、符号化データを出力でき
るため、少ない符号量でオーバーラップ処理を実現でき
る。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
高能率符号化されたビットストリームを取り扱う合成装
置及び編集装置において、前後の復号された直交変換領
域の画像信号より、自動的にオーバーラップ区間のシン
タックスに基づき合成画像信号を得ることができるた
め、直交変換手段や量子化手段を必要とせず、特殊変換
処理による劣化を生じないオーバーラップ処理された画
像信号を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態のブロック図である。

【図２】ＭＰＥＧ２の基本的な符号化シンタックスを示
す図である。

【図３】高能率符号化装置の一例のブロック図である。

【図４】従来の高能率符号化画像信号編集装置の一例の
ブロック図である。

【符号の説明】

５１、６４ 記録メディア ５２ デマルチプレクサ ５３ 可変長復号回路 ５４ 逆量子化回路 ５５ 直交変換領域データメモリ ５６ パラメータレジスタ ５７ シーケンサ ５８ シンタックス設定回路 ５９ 直交変換係数合成回路 ６０ 量子化回路 ６１ 可変長符号化回路 ６２ マルチプレクサ ６３ 切換スイッチ ６５ 付加情報符号化回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 基準フレームの画像信号を所定ブロック
   単位に直交変換した後、量子化してから符号化し、前記
   基準フレームの画像信号を用いて他のフレームの画像信
   号の動き成分を求めて予測ブロックを生成した後、量子
   化してから符号化することにより得られたストリームが
   入力され、前記基準フレームを分離する分離手段と、 前記分離手段により分離された前記基準フレームの画像
   データを復号及び逆量子化して前記直交変換された画像
   信号を得る復元手段と、 前記復元手段よりの直交変換された画像信号を蓄積する
   メモリと、 外部からオーバーラップ期間の符号化シンタックスを設
   定する設定手段と、 前記設定手段により設定された符号化シンタックスに基
   づき、前記メモリから読み出した２つの前記直交変換さ
   れた画像信号を合成する合成手段とを有することを特徴
   とする高能率符号化画像信号合成装置。
2. 【請求項２】 前記設定手段は、オーバーラップフレー
   ム数を記憶している記憶手段と、前記記憶手段からのオ
   ーバーラップフレーム数のそれぞれのフレームについて
   前に存在するフレームからの予測を行うフレームである
   か否か、または前後するフレームとの間での双方向予測
   を行うフレームであるかのフレームタイプを決定する決
   定手段とからなり、前記合成手段は、前記メモリから読
   み出した前記オーバーラップ期間における２つの前記直
   交変換された画像信号を、前記フレームタイプに応じた
   比率で合成する手段であることを特徴とする請求項１記
   載の高能率符号化画像信号合成装置。
3. 【請求項３】 基準フレームの画像信号を所定ブロック
   単位に直交変換した後、量子化してから符号化し、前記
   基準フレームの画像信号を用いて他のフレームの画像信
   号の動き成分を求めて予測ブロックを生成した後、量子
   化してから符号化することにより得られたストリームが
   入力され、前記基準フレームを分離する分離手段と、 前記分離手段により分離された前記基準フレームの画像
   データを復号及び逆量子化して前記直交変換された画像
   信号を得る復元手段と、 前記復元手段よりの直交変換された画像信号を蓄積する
   メモリと、 外部からオーバーラップ期間の符号化シンタックスを設
   定する設定手段と、 前記設定手段により設定された符号化シンタックスに基
   づき、前記メモリから読み出した２つの前記直交変換さ
   れた画像信号を合成する合成手段と、 前記合成手段から取り出された合成画像信号を量子化し
   た後、符号化する量子化及び符号化手段と、 前記量子化及び符号化手段から出力された合成画像符号
   を記録媒体に記録する記録手段とを有することを特徴と
   する高能率符号化画像信号編集装置。