JPH11239319A - 高能率符号化画像信号合成装置及び編集装置 - Google Patents
高能率符号化画像信号合成装置及び編集装置Info
- Publication number
- JPH11239319A JPH11239319A JP3945898A JP3945898A JPH11239319A JP H11239319 A JPH11239319 A JP H11239319A JP 3945898 A JP3945898 A JP 3945898A JP 3945898 A JP3945898 A JP 3945898A JP H11239319 A JPH11239319 A JP H11239319A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- frame
- unit
- orthogonally transformed
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 従来の編集装置では、オーバーラップ処理を
行うと、逆直交変換および直交変換を繰り返す事による
画質劣化を伴い、また、符号化による誤差もしくは符号
量が増大し、回路構成もしくは演算量の増大も招く。 【解決手段】 パラメータレジスタ56には、オーバー
ラップ処理を行うフレーム数が設定される。シーケンサ
57は、パラメータレジスタ56に設定された、オーバ
ーラップ処理を行う総フレーム数を元に、フレームカウ
ンタを動作させる。直交変換係数合成回路59は、シン
タックス設定回路58で決定されたフレームタイプを元
に、データメモリ55に蓄積された2つの基準となる画
像データのDCT係数より合成処理を行い、結果を量子
化回路60、可変長符号化回路61を通してマルチプレ
クサ62に供給する。オーバーラップ区間に関しての
み、上記の合成されたストリームが出力される。
行うと、逆直交変換および直交変換を繰り返す事による
画質劣化を伴い、また、符号化による誤差もしくは符号
量が増大し、回路構成もしくは演算量の増大も招く。 【解決手段】 パラメータレジスタ56には、オーバー
ラップ処理を行うフレーム数が設定される。シーケンサ
57は、パラメータレジスタ56に設定された、オーバ
ーラップ処理を行う総フレーム数を元に、フレームカウ
ンタを動作させる。直交変換係数合成回路59は、シン
タックス設定回路58で決定されたフレームタイプを元
に、データメモリ55に蓄積された2つの基準となる画
像データのDCT係数より合成処理を行い、結果を量子
化回路60、可変長符号化回路61を通してマルチプレ
クサ62に供給する。オーバーラップ区間に関しての
み、上記の合成されたストリームが出力される。
Description
【0001】
【発明の属する技術分野】本発明は高能率符号化画像信
号合成装置及び編集装置に係り、特に高能率符号化され
た画像信号を取り扱う高能率符号化画像信号合成装置及
び編集装置に関する。
号合成装置及び編集装置に係り、特に高能率符号化され
た画像信号を取り扱う高能率符号化画像信号合成装置及
び編集装置に関する。
【0002】
【従来の技術】近年、ディジタル化された画像信号に対
して高能率符号化による圧縮された情報を光ディスクや
磁気媒体等のメディアに記録し、この記録メディアを再
生して得られた情報に対して復号処理を行って画像信号
を復元し再生する、記録再生システムが開発・実用化さ
れている。これらの記録再生システムに用いられている
代表的な高能率符号化方式として動画像に対する符号化
であるMPEG2がある。
して高能率符号化による圧縮された情報を光ディスクや
磁気媒体等のメディアに記録し、この記録メディアを再
生して得られた情報に対して復号処理を行って画像信号
を復元し再生する、記録再生システムが開発・実用化さ
れている。これらの記録再生システムに用いられている
代表的な高能率符号化方式として動画像に対する符号化
であるMPEG2がある。
【0003】MPEG2においては、まず基準となる画
像(Iフレーム)を決定して、その画像データを水平・
垂直の2次元ブロックに分割し、分割されたブロック単
位で直交変換の一種であるDCT(離散コサイン変換)
処理を施し、DCT変換された各々の係数を可変長符号
化する。
像(Iフレーム)を決定して、その画像データを水平・
垂直の2次元ブロックに分割し、分割されたブロック単
位で直交変換の一種であるDCT(離散コサイン変換)
処理を施し、DCT変換された各々の係数を可変長符号
化する。
【0004】DCT変換された成分は、画像の持つ周波
数成分に相当する値となる為、人間の視覚的特性を考慮
して高域成分を粗く、低域成分を細かく量子化する事に
より情報量を削減する。最低域成分であるDC成分はブ
ロックの平均値を表わし、その値はブロック間の画像の
相関を用い差分データが可変長符号化される。量子化さ
れた高域成分(AC成分)は0が連続する事が多くな
り、DCT変換係数を低域から高域へと順番にスキャン
していき、0の連続する係数の数と0でない成分の値を
可変長符号化する。以上の処理により、少ない情報量で
DCT変換係数を表わす事ができる。
数成分に相当する値となる為、人間の視覚的特性を考慮
して高域成分を粗く、低域成分を細かく量子化する事に
より情報量を削減する。最低域成分であるDC成分はブ
ロックの平均値を表わし、その値はブロック間の画像の
相関を用い差分データが可変長符号化される。量子化さ
れた高域成分(AC成分)は0が連続する事が多くな
り、DCT変換係数を低域から高域へと順番にスキャン
していき、0の連続する係数の数と0でない成分の値を
可変長符号化する。以上の処理により、少ない情報量で
DCT変換係数を表わす事ができる。
【0005】更に、上記基準となる画像を用いて他の画
像(Pフレーム、Bフレーム)の動き成分を求め、予測
符号化を行う。動きベクトル検出は分割した2次元ブロ
ック単位で行い、水平・垂直の動き成分が2次元ベクト
ルとして求められる。求められた動きベクトルだけ移動
した位置の基準画像ブロックの値を符号化する画像のブ
ロックの値から引く事により予測ブロックを構成し、こ
れを基準画像と同様に直交変換し可変長符号化を行う。
予測符号化を行う事でより大きな情報圧縮を行う事がで
きる。Pフレームは、更に基準画像となる事ができ、他
のPフレーム、Bフレームの予測符号化に使用される。
像(Pフレーム、Bフレーム)の動き成分を求め、予測
符号化を行う。動きベクトル検出は分割した2次元ブロ
ック単位で行い、水平・垂直の動き成分が2次元ベクト
ルとして求められる。求められた動きベクトルだけ移動
した位置の基準画像ブロックの値を符号化する画像のブ
ロックの値から引く事により予測ブロックを構成し、こ
れを基準画像と同様に直交変換し可変長符号化を行う。
予測符号化を行う事でより大きな情報圧縮を行う事がで
きる。Pフレームは、更に基準画像となる事ができ、他
のPフレーム、Bフレームの予測符号化に使用される。
【0006】図2はMPEG2の基本的な符号化シンタ
ックスを示す。また、上記で示したような高能率符号化
を行う装置として、図3のブロック図に示すような構成
が知られている。図3において、入力されたディジタル
画像信号はフレームメモリ1に記憶され、符号化シンタ
ックスに従って符号化される順番に並べ替えを行う為遅
延される。フレームメモリ1から出力されたディジタル
信号は、減算器2を通して2次元ブロック変換回路3に
供給され、ここで基準フレームにおいては垂直方向N画
素・水平方向M画素(通常N,Mは8)の2次元ブロッ
クに変換される。変換されたデータは直交変換回路4に
てDCT変換が行われ、量子化回路5に送られる。
ックスを示す。また、上記で示したような高能率符号化
を行う装置として、図3のブロック図に示すような構成
が知られている。図3において、入力されたディジタル
画像信号はフレームメモリ1に記憶され、符号化シンタ
ックスに従って符号化される順番に並べ替えを行う為遅
延される。フレームメモリ1から出力されたディジタル
信号は、減算器2を通して2次元ブロック変換回路3に
供給され、ここで基準フレームにおいては垂直方向N画
素・水平方向M画素(通常N,Mは8)の2次元ブロッ
クに変換される。変換されたデータは直交変換回路4に
てDCT変換が行われ、量子化回路5に送られる。
【0007】量子化回路5において量子化されたDCT
変換係数は、符号化回路6において、符号化テーブル7
の係数に対応したアドレスを参照する事により可変長ま
たは固定長の符号化が行われ、マルチプレクサ15によ
り上記符号化データと画面内でのブロックの場所等を示
す情報とが多重化され、ビットストリームとして出力さ
れ、記録メディア17に記録される。
変換係数は、符号化回路6において、符号化テーブル7
の係数に対応したアドレスを参照する事により可変長ま
たは固定長の符号化が行われ、マルチプレクサ15によ
り上記符号化データと画面内でのブロックの場所等を示
す情報とが多重化され、ビットストリームとして出力さ
れ、記録メディア17に記録される。
【0008】ストリームの符号量はレートコントロール
回路16において目標の符号量との比較がとられ、目標
符号量に近づける為に量子化回路5の量子化の細かさが
調節されフィードバック制御されて、続くブロックの符
号化処理が行われる。
回路16において目標の符号量との比較がとられ、目標
符号量に近づける為に量子化回路5の量子化の細かさが
調節されフィードバック制御されて、続くブロックの符
号化処理が行われる。
【0009】符号化処理と共に、量子化回路5で量子化
されたDCT変換係数は、逆量子化回路8、逆直交変換
回路9において逆量子化及び逆DCT変換が行われ符号
化ビットストリームが復号された状態の画像信号に復元
されて、更にデブロック回路10及び加算器11を通し
て予測メモリ12に入力されて格納される。
されたDCT変換係数は、逆量子化回路8、逆直交変換
回路9において逆量子化及び逆DCT変換が行われ符号
化ビットストリームが復号された状態の画像信号に復元
されて、更にデブロック回路10及び加算器11を通し
て予測メモリ12に入力されて格納される。
【0010】続いて予測フレームにおいては、フレーム
メモリ1から出力される画像と予測メモリ12に格納さ
れている画像との間で動きベクトル検出回路13によっ
て、画像間での動きベクトルが求められる。動きベクト
ル検出回路13は、一般的にブロックマッチングにより
求められ、符号化する画像と予測メモリ12の画像をそ
れぞれ2次元ブロック化し、画素毎の差分絶対値総和
(もしくは差分二乗総和)の最も小さいブロックに対す
る画面内の動き成分を動きベクトルとして出力する。
メモリ1から出力される画像と予測メモリ12に格納さ
れている画像との間で動きベクトル検出回路13によっ
て、画像間での動きベクトルが求められる。動きベクト
ル検出回路13は、一般的にブロックマッチングにより
求められ、符号化する画像と予測メモリ12の画像をそ
れぞれ2次元ブロック化し、画素毎の差分絶対値総和
(もしくは差分二乗総和)の最も小さいブロックに対す
る画面内の動き成分を動きベクトルとして出力する。
【0011】出力された動きベクトルにより、予測ブロ
ックが動き補償予測回路14により予測メモリ12から
切り出される。動き補償予測回路14では、予測を使用
するか使用しないか、予測モードの選択(Bフレームの
場合には、2つの基準フレームを持つ為、どの予測を適
用するかの判断を行い、符号化する画像ブロックとの差
分を減算器2でとってから2次元ブロック変換回路3に
送り出す。以降の処理は、前記フレームの各ブロックと
同様の処理が行われ、DCT変換係数が動きベクトルや
予測モードと共にビットストリームとして出力される。
ックが動き補償予測回路14により予測メモリ12から
切り出される。動き補償予測回路14では、予測を使用
するか使用しないか、予測モードの選択(Bフレームの
場合には、2つの基準フレームを持つ為、どの予測を適
用するかの判断を行い、符号化する画像ブロックとの差
分を減算器2でとってから2次元ブロック変換回路3に
送り出す。以降の処理は、前記フレームの各ブロックと
同様の処理が行われ、DCT変換係数が動きベクトルや
予測モードと共にビットストリームとして出力される。
【0012】一方、ディジタル記録メディアを用いて、
さまざまな画像情報を配給する際に、原画像に対して様
々な特殊効果処理を施し、映像表現の幅を広げる処理が
一般的に行われる。従来、このような特殊効果処理は高
能率符号化される前に編集処理として行われる事が多
く、何回かの試行処理により効果を施す場所を決定して
最終的に作成された編集画像を用い、高能率符号化処理
が行われて記録される。
さまざまな画像情報を配給する際に、原画像に対して様
々な特殊効果処理を施し、映像表現の幅を広げる処理が
一般的に行われる。従来、このような特殊効果処理は高
能率符号化される前に編集処理として行われる事が多
く、何回かの試行処理により効果を施す場所を決定して
最終的に作成された編集画像を用い、高能率符号化処理
が行われて記録される。
【0013】このような編集処理を行う為には、非圧縮
の状態で編集後の大容量ディジタル画像データを記録す
る事のできるメディアが必要になり、業務用途の大規模
な編集システムが必要となる。
の状態で編集後の大容量ディジタル画像データを記録す
る事のできるメディアが必要になり、業務用途の大規模
な編集システムが必要となる。
【0014】しかしながら、ビデオレター等の個人用途
においては、上記のような大規模な編集システムを用意
する事は困難であり、個人用途においては、高能率符号
化された画像信号を簡易的に編集できるシステムが必要
となっている。
においては、上記のような大規模な編集システムを用意
する事は困難であり、個人用途においては、高能率符号
化された画像信号を簡易的に編集できるシステムが必要
となっている。
【0015】個人用途で用いられる編集処理として、2
つの画像信号を円滑に繋ぐオーバーラップ処理が用いら
れる。オーバーラップ処理は、ある画像信号の最後と他
の画像信号の最初を繋ぎ合わせる際に、画像同士をミッ
クスさせ、ミックスレベルを時間の経過に従って変化さ
せていく事により、スムーズなシーンの移行を実現でき
る。
つの画像信号を円滑に繋ぐオーバーラップ処理が用いら
れる。オーバーラップ処理は、ある画像信号の最後と他
の画像信号の最初を繋ぎ合わせる際に、画像同士をミッ
クスさせ、ミックスレベルを時間の経過に従って変化さ
せていく事により、スムーズなシーンの移行を実現でき
る。
【0016】そこで、上記オーバーラップ編集処理を行
う方法として、符号化されたビットストリームを元に、
復元処理を行った画像データに対してオーバーラップ処
理を行い、再度符号化処理を行いオーバーラップ効果を
施したビットストリームを再記録する方法がある。この
手法を用いた従来の編集装置の構成を図4のブロック図
に示し説明する。同図中、図3と同一構成部分には同一
符号を付してある。
う方法として、符号化されたビットストリームを元に、
復元処理を行った画像データに対してオーバーラップ処
理を行い、再度符号化処理を行いオーバーラップ効果を
施したビットストリームを再記録する方法がある。この
手法を用いた従来の編集装置の構成を図4のブロック図
に示し説明する。同図中、図3と同一構成部分には同一
符号を付してある。
【0017】図4において、ハードディスクなどの記録
メディア20から得られた符号化ビットストリームは、
デマルチプレクサ21により動きベクトルや画面の位置
情報等の付加情報とDCT係数の符号化情報に分けられ
復号回路22に入力される。復号回路22は、復号テー
ブル23を参照して可変長もしくは固定長符号化された
DCT係数の符号化情報を復号し、量子化されたDCT
変換係数を取り出す。取り出された係数は、逆量子化回
路24により逆量子化が、更に逆直交変換回路25によ
り逆DCT変換が行われ、デブロック回路26により2
次元ブロックがディスプレイのスキャンライン順に並べ
替えられた後、予測ブロックである場合には動き補償予
測回路27により予測メモリ28より切り出された値が
加算器29で加算されて、ディジタル画像データとして
復元されて予測メモリ28に蓄積される。
メディア20から得られた符号化ビットストリームは、
デマルチプレクサ21により動きベクトルや画面の位置
情報等の付加情報とDCT係数の符号化情報に分けられ
復号回路22に入力される。復号回路22は、復号テー
ブル23を参照して可変長もしくは固定長符号化された
DCT係数の符号化情報を復号し、量子化されたDCT
変換係数を取り出す。取り出された係数は、逆量子化回
路24により逆量子化が、更に逆直交変換回路25によ
り逆DCT変換が行われ、デブロック回路26により2
次元ブロックがディスプレイのスキャンライン順に並べ
替えられた後、予測ブロックである場合には動き補償予
測回路27により予測メモリ28より切り出された値が
加算器29で加算されて、ディジタル画像データとして
復元されて予測メモリ28に蓄積される。
【0018】この復元された画像データに対してオーバ
ーラップ処理が行われる。オーバーラップ処理を行う為
には、2画面の基準画像が必要となる為、2画面の復号
画像メモリ(フレームメモリ)30に上記画像データが
蓄積される。特殊効果処理回路31は、2画面の空間的
に同位置にある画素同士をオーバーラップパラメータに
応じて加算する事により、オーバーラップ画面を生成す
る。オーバーラップパラメータは時間的に前に存在する
画像100%から後に存在する画像100%へと変化し
ていき、その度に特殊効果処理回路31はオーバーラッ
プ画面を生成していく。生成されたオーバーラップ画面
の符号化画像データは、順次MPEG2のシンタックス
に従って、減算器32を通して2次元ブロック変換回路
3に入力され、以下図3で示した構成と同様の符号化回
路を用いて符号化処理が行われ、符号化データが出力さ
れ、記録メディア33に記録される。
ーラップ処理が行われる。オーバーラップ処理を行う為
には、2画面の基準画像が必要となる為、2画面の復号
画像メモリ(フレームメモリ)30に上記画像データが
蓄積される。特殊効果処理回路31は、2画面の空間的
に同位置にある画素同士をオーバーラップパラメータに
応じて加算する事により、オーバーラップ画面を生成す
る。オーバーラップパラメータは時間的に前に存在する
画像100%から後に存在する画像100%へと変化し
ていき、その度に特殊効果処理回路31はオーバーラッ
プ画面を生成していく。生成されたオーバーラップ画面
の符号化画像データは、順次MPEG2のシンタックス
に従って、減算器32を通して2次元ブロック変換回路
3に入力され、以下図3で示した構成と同様の符号化回
路を用いて符号化処理が行われ、符号化データが出力さ
れ、記録メディア33に記録される。
【0019】
【発明が解決しようとする課題】しかるに、上記の従来
の編集装置では、オーバーラップ処理を行うと、逆直交
変換および直交変換を繰り返す事による画質劣化を伴
う。また、オーバーラップされたデータは、2つの画像
がミックスされた画像である為、予測の基準となる画像
と輝度レベルや解像度が異なる場合があり、ブロックマ
ッチングを基本として行われる動きベクトル検出におい
て誤検出を誘発する可能性が高くなり、符号化による誤
差もしくは符号量が増大する。また、編集装置内に、符
号化回路と同等の規模の回路を必要とする事により回路
構成もしくは演算量の増大を招く欠点がある。
の編集装置では、オーバーラップ処理を行うと、逆直交
変換および直交変換を繰り返す事による画質劣化を伴
う。また、オーバーラップされたデータは、2つの画像
がミックスされた画像である為、予測の基準となる画像
と輝度レベルや解像度が異なる場合があり、ブロックマ
ッチングを基本として行われる動きベクトル検出におい
て誤検出を誘発する可能性が高くなり、符号化による誤
差もしくは符号量が増大する。また、編集装置内に、符
号化回路と同等の規模の回路を必要とする事により回路
構成もしくは演算量の増大を招く欠点がある。
【0020】本発明は以上の点に鑑みなされたもので、
より簡易な装置及び手段で高能率符号化された画像の符
号化ビットストリームに対して画像劣化の少ないオーバ
ーラップ処理を行う事のできる高能率符号化画像信号合
成装置及び編集装置を提供することを目的とする。
より簡易な装置及び手段で高能率符号化された画像の符
号化ビットストリームに対して画像劣化の少ないオーバ
ーラップ処理を行う事のできる高能率符号化画像信号合
成装置及び編集装置を提供することを目的とする。
【0021】
【課題を解決するための手段】上記の目的を達成するた
め、本発明合成装置は、基準フレームの画像信号を所定
ブロック単位に直交変換した後、量子化してから符号化
し、基準フレームの画像信号を用いて他のフレームの画
像信号の動き成分を求めて予測ブロックを生成した後、
量子化してから符号化することにより得られたストリー
ムが入力され、基準フレームを分離する分離手段と、分
離手段により分離された基準フレームの画像データを復
号及び逆量子化して直交変換された画像信号を得る復元
手段と、復元手段よりの直交変換された画像信号を蓄積
するメモリと、外部からオーバーラップ期間の符号化シ
ンタックスを設定する設定手段と、設定手段により設定
された符号化シンタックスに基づき、メモリから読み出
した2つの直交変換された画像信号を合成する合成手段
とを有する構成としたものである。
め、本発明合成装置は、基準フレームの画像信号を所定
ブロック単位に直交変換した後、量子化してから符号化
し、基準フレームの画像信号を用いて他のフレームの画
像信号の動き成分を求めて予測ブロックを生成した後、
量子化してから符号化することにより得られたストリー
ムが入力され、基準フレームを分離する分離手段と、分
離手段により分離された基準フレームの画像データを復
号及び逆量子化して直交変換された画像信号を得る復元
手段と、復元手段よりの直交変換された画像信号を蓄積
するメモリと、外部からオーバーラップ期間の符号化シ
ンタックスを設定する設定手段と、設定手段により設定
された符号化シンタックスに基づき、メモリから読み出
した2つの直交変換された画像信号を合成する合成手段
とを有する構成としたものである。
【0022】本発明合成装置における設定手段は、オー
バーラップフレーム数を記憶している記憶手段と、記憶
手段からのオーバーラップフレーム数のそれぞれのフレ
ームについて前に存在するフレームからの予測を行うフ
レームであるか否か、または前後するフレームとの間で
の双方向予測を行うフレームであるかのフレームタイプ
を決定する決定手段とからなり、合成手段は、メモリか
ら読み出したオーバーラップ期間における2つの直交変
換された画像信号を、フレームタイプに応じた比率で合
成する手段であることを特徴とする。
バーラップフレーム数を記憶している記憶手段と、記憶
手段からのオーバーラップフレーム数のそれぞれのフレ
ームについて前に存在するフレームからの予測を行うフ
レームであるか否か、または前後するフレームとの間で
の双方向予測を行うフレームであるかのフレームタイプ
を決定する決定手段とからなり、合成手段は、メモリか
ら読み出したオーバーラップ期間における2つの直交変
換された画像信号を、フレームタイプに応じた比率で合
成する手段であることを特徴とする。
【0023】また、本発明編集装置は、前記の合成装置
に、合成手段から取り出された合成画像信号を量子化し
た後、符号化する量子化及び符号化手段と、量子化及び
符号化手段から出力された合成画像符号を記録媒体に記
録する記録手段とを有する構成としたものである。
に、合成手段から取り出された合成画像信号を量子化し
た後、符号化する量子化及び符号化手段と、量子化及び
符号化手段から出力された合成画像符号を記録媒体に記
録する記録手段とを有する構成としたものである。
【0024】本発明では、高能率符号化されたビットス
トリームを取り扱う合成装置及び編集装置において、前
後の復号された直交変換領域の画像信号より、自動的に
オーバーラップ区間のシンタックスに基づき合成画像信
号を得ることができる。
トリームを取り扱う合成装置及び編集装置において、前
後の復号された直交変換領域の画像信号より、自動的に
オーバーラップ区間のシンタックスに基づき合成画像信
号を得ることができる。
【0025】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図1は本発明になる高能率画像
信号編集装置の一実施の形態のブロック図を示す。編集
される符号化ビットストリームは、ハードディスク等の
記録メディア51よりデマルチプレクサ52に供給さ
れ、ここでIフレームが検出され、動きベクトルや画面
の位置情報等の付加情報とDCT係数の符号化情報が分
離されてDCT係数の符号化情報が可変長復号回路53
に入力される。可変長復号回路53は、入力されたDC
T係数の符号化情報の可変長復号を行い、得られた復号
データを逆量子化回路54に供給する。逆量子化回路5
4により逆量子化されて取り出されたDCT領域の画像
データは、直交変換領域データメモリ55に格納され
る。
て図面と共に説明する。図1は本発明になる高能率画像
信号編集装置の一実施の形態のブロック図を示す。編集
される符号化ビットストリームは、ハードディスク等の
記録メディア51よりデマルチプレクサ52に供給さ
れ、ここでIフレームが検出され、動きベクトルや画面
の位置情報等の付加情報とDCT係数の符号化情報が分
離されてDCT係数の符号化情報が可変長復号回路53
に入力される。可変長復号回路53は、入力されたDC
T係数の符号化情報の可変長復号を行い、得られた復号
データを逆量子化回路54に供給する。逆量子化回路5
4により逆量子化されて取り出されたDCT領域の画像
データは、直交変換領域データメモリ55に格納され
る。
【0026】編集する前半のストリームの最後のIフレ
ームのデータのみを残しておき、後半の符号化ストリー
ムの最初のIフレームを抜き出し、DCT係数の符号化
情報を分離して可変長復号回路53に入力し、以下同様
に復号処理を行い、データメモリ55に蓄積する。パラ
メータレジスタ56には、オーバーラップ処理を行うフ
レーム数が設定される。シーケンサ57は、パラメータ
レジスタ56に設定された、オーバーラップ処理を行う
総フレーム数を元に、フレームカウンタを動作させる。
ームのデータのみを残しておき、後半の符号化ストリー
ムの最初のIフレームを抜き出し、DCT係数の符号化
情報を分離して可変長復号回路53に入力し、以下同様
に復号処理を行い、データメモリ55に蓄積する。パラ
メータレジスタ56には、オーバーラップ処理を行うフ
レーム数が設定される。シーケンサ57は、パラメータ
レジスタ56に設定された、オーバーラップ処理を行う
総フレーム数を元に、フレームカウンタを動作させる。
【0027】シンタックス設定回路58は、パラメータ
レジスタ56に設定されているオーバーラップ処理を行
うフレーム数より、シーケンサ57の出力であるフレー
ムカウンタのカウント値に基づき各フレームに対するフ
レームタイプを決定する。更に、そのときの動きベクト
ル値等の付加情報をどのように設定するか、及び直交変
換係数の合成式をどのように設定するかを後述するよう
にして設定し、決定されたフレームタイプと共に直交変
換係数合成回路59と付加情報符号化回路65に出力す
る。
レジスタ56に設定されているオーバーラップ処理を行
うフレーム数より、シーケンサ57の出力であるフレー
ムカウンタのカウント値に基づき各フレームに対するフ
レームタイプを決定する。更に、そのときの動きベクト
ル値等の付加情報をどのように設定するか、及び直交変
換係数の合成式をどのように設定するかを後述するよう
にして設定し、決定されたフレームタイプと共に直交変
換係数合成回路59と付加情報符号化回路65に出力す
る。
【0028】そして、この決定されたフレームタイプを
元に、直交変換係数合成回路59では、2つの基準とな
る画像データのDCT係数より合成処理を行い、結果を
量子化回路60に供給する。量子化回路60は、合成さ
れたDCT係数に対して量子化処理を行い、得られた量
子化データを可変長符号化回路61で可変長符号化を行
わせる。この可変長符号化データは、マルチプレクサ6
2に供給される。
元に、直交変換係数合成回路59では、2つの基準とな
る画像データのDCT係数より合成処理を行い、結果を
量子化回路60に供給する。量子化回路60は、合成さ
れたDCT係数に対して量子化処理を行い、得られた量
子化データを可変長符号化回路61で可変長符号化を行
わせる。この可変長符号化データは、マルチプレクサ6
2に供給される。
【0029】付加情報符号化回路65はシンタックス設
定回路58から供給される動きベクトルや画面の位置情
報などの付加情報を符号化してマルチプレクサ62に供
給する。マルチプレクサ62は、可変長符号化回路61
から供給されるDCT係数の符号化情報と、この符号化
された付加情報を合成したストリームとして出力し、ス
イッチ63を介して記録メディア64に記録される。
定回路58から供給される動きベクトルや画面の位置情
報などの付加情報を符号化してマルチプレクサ62に供
給する。マルチプレクサ62は、可変長符号化回路61
から供給されるDCT係数の符号化情報と、この符号化
された付加情報を合成したストリームとして出力し、ス
イッチ63を介して記録メディア64に記録される。
【0030】なお、上記の設定された2つの基準フレー
ムの前後の符号化データ(合成しない画像データ)に関
しては、スイッチ63が切り換えられてデマルチプレク
サ52から取り出された、付加情報を分離していない画
像データの符号化ストリームがそのまま記録メディア6
4に記録され、オーバーラップ区間に関してのみ、上記
の合成されたストリームがマルチプレクサ62から出力
されて記録される。
ムの前後の符号化データ(合成しない画像データ)に関
しては、スイッチ63が切り換えられてデマルチプレク
サ52から取り出された、付加情報を分離していない画
像データの符号化ストリームがそのまま記録メディア6
4に記録され、オーバーラップ区間に関してのみ、上記
の合成されたストリームがマルチプレクサ62から出力
されて記録される。
【0031】以下、図2のようなMPEG2のシンタッ
クスを想定し、総オーバーラップフレーム数が30、I
フレームの間隔を15フレーム、Pフレームの間隔を3
フレームとした場合の動作を説明する。シンタックス設
定回路58は、シーケンサ57から与えられたフレーム
カウンタの値を15で除算した余りが0の場合は、Iフ
レームを設定し、それ以外の場合に3で除算した余りが
0の場合にPフレームを設定し、上記以外の場合にはB
フレームが設定される。
クスを想定し、総オーバーラップフレーム数が30、I
フレームの間隔を15フレーム、Pフレームの間隔を3
フレームとした場合の動作を説明する。シンタックス設
定回路58は、シーケンサ57から与えられたフレーム
カウンタの値を15で除算した余りが0の場合は、Iフ
レームを設定し、それ以外の場合に3で除算した余りが
0の場合にPフレームを設定し、上記以外の場合にはB
フレームが設定される。
【0032】次に、Iフレームの場合(フレームカウン
タのカウント値15のとき)、Pフレームの場合(フレ
ームカウンタのカウント値6のとき)、Bフレームの場
合(フレームカウンタのカウント値10のとき)の直交
変換係数合成回路59の動作について説明する。
タのカウント値15のとき)、Pフレームの場合(フレ
ームカウンタのカウント値6のとき)、Bフレームの場
合(フレームカウンタのカウント値10のとき)の直交
変換係数合成回路59の動作について説明する。
【0033】直交変換領域データメモリ55から入力さ
れる2つの基準画像データ(直交変換領域)をそれぞれ
A、Bとすると、フレームカウンタのカウント値が15
であるときはIフレームであり、Iフレームの場合は、
符号化すべきデータが動き補償予測を行わないデータで
あるため、2つの基準画像データA及びBを距離の比率
で合成すればよい。
れる2つの基準画像データ(直交変換領域)をそれぞれ
A、Bとすると、フレームカウンタのカウント値が15
であるときはIフレームであり、Iフレームの場合は、
符号化すべきデータが動き補償予測を行わないデータで
あるため、2つの基準画像データA及びBを距離の比率
で合成すればよい。
【0034】従って、この場合は総オーバーラップフレ
ーム数をX、フレームカウンタ数をYとすると、直交変
換係数合成回路59により、合成画像データCは(1)
式の演算に基づいて、 C=A×{(X−Y)/X}+B×(Y/X) =A×(15/30)+B×(15/30) =(A+B)/2 (1) となる。
ーム数をX、フレームカウンタ数をYとすると、直交変
換係数合成回路59により、合成画像データCは(1)
式の演算に基づいて、 C=A×{(X−Y)/X}+B×(Y/X) =A×(15/30)+B×(15/30) =(A+B)/2 (1) となる。
【0035】また、Pフレームの場合には、前に存在す
るIフレーム若しくはPフレームからの予測が行われる
ため、Pフレーム間隔での画像の変位が誤差データとな
る。よって、動きベクトルを0と想定すると、2つの基
準画像データA及びBの差分値をオーバーラップフレー
ム数とPフレーム間隔との比率で除算すればよいことに
なる。
るIフレーム若しくはPフレームからの予測が行われる
ため、Pフレーム間隔での画像の変位が誤差データとな
る。よって、動きベクトルを0と想定すると、2つの基
準画像データA及びBの差分値をオーバーラップフレー
ム数とPフレーム間隔との比率で除算すればよいことに
なる。
【0036】従って、フレームカウンタのカウント値が
6であるとき、Pフレームであるから、2つの基準画像
データからの合成画像データCは、Pフレーム間隔をZ
とすると、直交変換係数合成回路59により、(2)式
の演算に基づいて、計算され、 C=(B−A)×(Z/X) =(B−A)×(3/30) =(B−A)/10 (2) となる。
6であるとき、Pフレームであるから、2つの基準画像
データからの合成画像データCは、Pフレーム間隔をZ
とすると、直交変換係数合成回路59により、(2)式
の演算に基づいて、計算され、 C=(B−A)×(Z/X) =(B−A)×(3/30) =(B−A)/10 (2) となる。
【0037】更に、Bフレームの場合には、前後するI
フレーム若しくはPフレームとの間で双方向予測を行う
ことができるため、前後するIフレーム若しくはPフレ
ームと符号化するBフレームとの距離と中心点に相当す
る時間(つまり、双方向で予測された2つのリファレン
ス画像の中心点)との差に相当する変位が誤差データと
なる。Pフレームの場合と同様に、動きベクトルを両方
向共に0と想定し、変位量を符号化データとする。フレ
ームカウンタのカウント値が10の時には、Bフレーム
であり、Pフレーム間隔をZ、前方向の基準画像とBフ
レームとの距離をTとすると、直交変換係数合成回路5
9により、2つの基準画像データA及びBの合成画像デ
ータCは、(3)式の演算に基づいて、 C=(B−A)×{(1/2)−(T/Z)}/30 =(B−A)×{(1/2)−(1/3)}/30 =(B−A)×(1/6)/30 =(B−A)/180 (3) となる。
フレーム若しくはPフレームとの間で双方向予測を行う
ことができるため、前後するIフレーム若しくはPフレ
ームと符号化するBフレームとの距離と中心点に相当す
る時間(つまり、双方向で予測された2つのリファレン
ス画像の中心点)との差に相当する変位が誤差データと
なる。Pフレームの場合と同様に、動きベクトルを両方
向共に0と想定し、変位量を符号化データとする。フレ
ームカウンタのカウント値が10の時には、Bフレーム
であり、Pフレーム間隔をZ、前方向の基準画像とBフ
レームとの距離をTとすると、直交変換係数合成回路5
9により、2つの基準画像データA及びBの合成画像デ
ータCは、(3)式の演算に基づいて、 C=(B−A)×{(1/2)−(T/Z)}/30 =(B−A)×{(1/2)−(1/3)}/30 =(B−A)×(1/6)/30 =(B−A)/180 (3) となる。
【0038】このように、連続するオーバーラップ期間
に対して、それぞれ符号化されるべきDCT係数(画像
データ)は、2つの基準画像データのDCT係数より導
き出せることになり、編集装置上に逆直交変換と符号化
するための動きベクトル検出回路、動き補償回路及び直
交変換回路を具備することなく、オーバーラップ編集が
実現できる。
に対して、それぞれ符号化されるべきDCT係数(画像
データ)は、2つの基準画像データのDCT係数より導
き出せることになり、編集装置上に逆直交変換と符号化
するための動きベクトル検出回路、動き補償回路及び直
交変換回路を具備することなく、オーバーラップ編集が
実現できる。
【0039】なお、出力されたDCT係数に対して量子
化処理を行った場合には、量子化レベルに応じて符号化
誤差が生じる。Pフレームの場合には予測が巡回型であ
るため、誤差を無視して符号化を行っていくと誤差が蓄
積する。しかし、Pフレームの場合には、直交変換領域
での量子化誤差をメモリに蓄えておき、次のPフレーム
に対する誤差値のDCT係数に足し合わせることによ
り、蓄積を防ぐことができる。
化処理を行った場合には、量子化レベルに応じて符号化
誤差が生じる。Pフレームの場合には予測が巡回型であ
るため、誤差を無視して符号化を行っていくと誤差が蓄
積する。しかし、Pフレームの場合には、直交変換領域
での量子化誤差をメモリに蓄えておき、次のPフレーム
に対する誤差値のDCT係数に足し合わせることによ
り、蓄積を防ぐことができる。
【0040】また、Pフレームの間隔を2フレームに設
定した場合には、Bフレームの誤差値を導き出すための
(3)式の値は、 C=(B−A)×{(1/2)−(1/2)}/30=
0 となるために誤差値は発生せず、動きベクトル0と両方
向予測モードで誤差を送らず、符号化データを出力でき
るため、少ない符号量でオーバーラップ処理を実現でき
る。
定した場合には、Bフレームの誤差値を導き出すための
(3)式の値は、 C=(B−A)×{(1/2)−(1/2)}/30=
0 となるために誤差値は発生せず、動きベクトル0と両方
向予測モードで誤差を送らず、符号化データを出力でき
るため、少ない符号量でオーバーラップ処理を実現でき
る。
【0041】
【発明の効果】以上説明したように、本発明によれば、
高能率符号化されたビットストリームを取り扱う合成装
置及び編集装置において、前後の復号された直交変換領
域の画像信号より、自動的にオーバーラップ区間のシン
タックスに基づき合成画像信号を得ることができるた
め、直交変換手段や量子化手段を必要とせず、特殊変換
処理による劣化を生じないオーバーラップ処理された画
像信号を得ることができる。
高能率符号化されたビットストリームを取り扱う合成装
置及び編集装置において、前後の復号された直交変換領
域の画像信号より、自動的にオーバーラップ区間のシン
タックスに基づき合成画像信号を得ることができるた
め、直交変換手段や量子化手段を必要とせず、特殊変換
処理による劣化を生じないオーバーラップ処理された画
像信号を得ることができる。
【図1】本発明の一実施の形態のブロック図である。
【図2】MPEG2の基本的な符号化シンタックスを示
す図である。
す図である。
【図3】高能率符号化装置の一例のブロック図である。
【図4】従来の高能率符号化画像信号編集装置の一例の
ブロック図である。
ブロック図である。
51、64 記録メディア 52 デマルチプレクサ 53 可変長復号回路 54 逆量子化回路 55 直交変換領域データメモリ 56 パラメータレジスタ 57 シーケンサ 58 シンタックス設定回路 59 直交変換係数合成回路 60 量子化回路 61 可変長符号化回路 62 マルチプレクサ 63 切換スイッチ 65 付加情報符号化回路
Claims (3)
- 【請求項1】 基準フレームの画像信号を所定ブロック
単位に直交変換した後、量子化してから符号化し、前記
基準フレームの画像信号を用いて他のフレームの画像信
号の動き成分を求めて予測ブロックを生成した後、量子
化してから符号化することにより得られたストリームが
入力され、前記基準フレームを分離する分離手段と、 前記分離手段により分離された前記基準フレームの画像
データを復号及び逆量子化して前記直交変換された画像
信号を得る復元手段と、 前記復元手段よりの直交変換された画像信号を蓄積する
メモリと、 外部からオーバーラップ期間の符号化シンタックスを設
定する設定手段と、 前記設定手段により設定された符号化シンタックスに基
づき、前記メモリから読み出した2つの前記直交変換さ
れた画像信号を合成する合成手段とを有することを特徴
とする高能率符号化画像信号合成装置。 - 【請求項2】 前記設定手段は、オーバーラップフレー
ム数を記憶している記憶手段と、前記記憶手段からのオ
ーバーラップフレーム数のそれぞれのフレームについて
前に存在するフレームからの予測を行うフレームである
か否か、または前後するフレームとの間での双方向予測
を行うフレームであるかのフレームタイプを決定する決
定手段とからなり、前記合成手段は、前記メモリから読
み出した前記オーバーラップ期間における2つの前記直
交変換された画像信号を、前記フレームタイプに応じた
比率で合成する手段であることを特徴とする請求項1記
載の高能率符号化画像信号合成装置。 - 【請求項3】 基準フレームの画像信号を所定ブロック
単位に直交変換した後、量子化してから符号化し、前記
基準フレームの画像信号を用いて他のフレームの画像信
号の動き成分を求めて予測ブロックを生成した後、量子
化してから符号化することにより得られたストリームが
入力され、前記基準フレームを分離する分離手段と、 前記分離手段により分離された前記基準フレームの画像
データを復号及び逆量子化して前記直交変換された画像
信号を得る復元手段と、 前記復元手段よりの直交変換された画像信号を蓄積する
メモリと、 外部からオーバーラップ期間の符号化シンタックスを設
定する設定手段と、 前記設定手段により設定された符号化シンタックスに基
づき、前記メモリから読み出した2つの前記直交変換さ
れた画像信号を合成する合成手段と、 前記合成手段から取り出された合成画像信号を量子化し
た後、符号化する量子化及び符号化手段と、 前記量子化及び符号化手段から出力された合成画像符号
を記録媒体に記録する記録手段とを有することを特徴と
する高能率符号化画像信号編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3945898A JPH11239319A (ja) | 1998-02-20 | 1998-02-20 | 高能率符号化画像信号合成装置及び編集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3945898A JPH11239319A (ja) | 1998-02-20 | 1998-02-20 | 高能率符号化画像信号合成装置及び編集装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11239319A true JPH11239319A (ja) | 1999-08-31 |
Family
ID=12553610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3945898A Pending JPH11239319A (ja) | 1998-02-20 | 1998-02-20 | 高能率符号化画像信号合成装置及び編集装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11239319A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100843410B1 (ko) | 2007-08-24 | 2008-07-04 | 삼성전기주식회사 | 주파수 영역에서 이미지를 합성하는 이미지 합성 장치 |
-
1998
- 1998-02-20 JP JP3945898A patent/JPH11239319A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100843410B1 (ko) | 2007-08-24 | 2008-07-04 | 삼성전기주식회사 | 주파수 영역에서 이미지를 합성하는 이미지 합성 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1370087B1 (en) | Moving picture coding apparatus and moving picture decoding apparatus | |
JP3189258B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
US20040125204A1 (en) | Moving picture coding apparatus and moving picture decoding apparatus | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JPH10304401A (ja) | 映像信号変換装置、映像信号変換方法及び映像提供システム | |
JP2004242271A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置 | |
JPH09214970A (ja) | 画像符号変換方式 | |
JPH11168731A (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
KR20040094441A (ko) | 인코딩된 오디오/비디오 시퀀스의 편집 | |
EP0524792A2 (en) | Decoding apparatus for a compressed digital video signal | |
US6556714B2 (en) | Signal processing apparatus and method | |
JPH057356A (ja) | 画像記録再生装置 | |
JPH0832963A (ja) | 画像再生装置 | |
JPH11239319A (ja) | 高能率符号化画像信号合成装置及び編集装置 | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JPH06113291A (ja) | 画像符号化及び復号化装置 | |
JP3526316B2 (ja) | 動画像圧縮符号化方法 | |
JP3721972B2 (ja) | Mpeg画像データ記録方法 | |
JP4526529B2 (ja) | 階層画像を用いる映像信号変換装置 | |
JPH09261632A (ja) | 画像信号処理装置 | |
JP2000023096A (ja) | データ符号化方法、復号化方法及び装置 | |
JPH11122580A (ja) | 画像信号の編集装置、符号化装置及び復号装置 | |
JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
JP2001112002A (ja) | 画像サイズ変換可能なデジタル動画像復号装置 |