JPH0879765A - 動画像符号化方法及び装置、動画像復号化方法及び装置、動画像記録媒体 - Google Patents
動画像符号化方法及び装置、動画像復号化方法及び装置、動画像記録媒体Info
- Publication number
- JPH0879765A JPH0879765A JP23215794A JP23215794A JPH0879765A JP H0879765 A JPH0879765 A JP H0879765A JP 23215794 A JP23215794 A JP 23215794A JP 23215794 A JP23215794 A JP 23215794A JP H0879765 A JPH0879765 A JP H0879765A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise
- coding
- moving picture
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
号化方法及び装置、動画像記録媒体において、動画像を
符号化し復号化する際に失われたノイズを復元し、視覚
的に復号化した動画像の画質を向上する。 【構成】動画像信号の符号化を行なう際に、画像中に含
まれるノイズ量を検出し、そのノイズ量を示すフラグを
符号化して伝送し、復号化装置においてビツトストリー
ムを復号化した後にそのノイズ量を示すフラグにしたが
つてノイズを付加する。これによつて、符号化によつて
失われたノイズ成分を再生することが可能となる。また
符号化によつて生じる量子化ノイズと同レベルのノイズ
を後置フイルタによつて付加することにより、量子化ノ
イズなどの劣化を目立たなくし得る。
Description
置、動画像復号化方法及び装置、動画像記録媒体に関
し、例えば動画像信号を光デイスクや磁気テープ等の記
録媒体に記録し再生して表示したり、テレビ会議システ
ム、テレビ電話システム、放送用機器等のように動画像
信号を伝送路を介して送信側から受信側に伝送し、受信
側においてこれを受信して表示する場合に用いて好適な
ものである。
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。図
20に、動画像信号を符号化して伝送し、これを復号化
する動画像符号化/復号化装置の構成を示す。符号化装
置1は、入力された映像信号VDを符号化し、伝送路と
しての記録媒体3に伝送する。そして復号化装置2は、
記録媒体3に記録された信号を再生し、これを復号して
出力する。
処理回路11に入力され、ここで輝度信号と色信号(こ
の場合、色差信号)に分離され、それぞれアナログデイ
ジタル(A/D)変換器12、13でアナログデイジタ
ル変換される。A/D変換器12、13によりアナログ
デイジタル変換されてデイジタル信号となつた映像信号
は、プリフイルタ19に入力されフイルタ処理された後
に、フレームメモリ14に供給されて記憶される。フレ
ームメモリ14は、輝度信号を輝度信号フレームメモリ
15に、また色差信号を色差信号フレームメモリ16
に、それぞれ記憶させる。
せ、画質を改善する処理を行なう。これは例えばノイズ
除去のフイルタであり、また例えば帯域を制限するため
のフイルタである。図26に、プリフイルタ19の例と
して2次元ローパスフイルタの構成を示す。また図27
(A)にこの2次元ローパスフイルタのフイルタ係数を
示し、図27(B)に入力となる3×3画素ブロツクを
示す。ある対象となる画素eに対してその周囲の3×3
画素ブロツクを抽出する。これに対して次式
る。実際上出力OUT1からフイルタ処理後の出力値が
出力され、出力OUT2からフイルタ処理されない原画
素値が所定の遅延の後出力される。このフイルタでは入
力画像信号によらず、また符号化器の状態によらず常に
一様なフイルタ処理が行なわれる。
モリ14に記憶された画像信号を、符号化器(エンコー
ダ)18の入力フオーマツトに変換する。所定のフオー
マツトに変換されたデータは、フオーマツト変換回路1
7からエンコーダ18に供給され、ここでエンコード
(符号化)される。この符号化アルゴリズムは任意であ
るが、その1例については詳細を図22を参照して後述
する。エンコーダ18によりエンコードされた信号は、
ビツトストリームとして伝送路に出力され、例えば記録
媒体3に記録される。
化装置2のデコーダ31に供給されデコードされる。デ
コーダ31のデコード(復号化)アルゴリズムは任意で
良いが、符号化アルゴリズムと対になつていなければな
らない。またその1例については詳細を、図25を参照
して後述する。デコーダ31によりデコードされたデー
タは、フオーマツト変換回路32に入力され、出力フオ
ーマツトに変換される。
は、フレームメモリ33の輝度信号フレームメモリ34
に供給されて記憶され、色差信号は色差信号フレームメ
モリ35に供給されて記憶される。輝度信号フレームメ
モリ34と色差信号フレームメモリ35より読み出され
た輝度信号と色差信号は、ポストフイルタ39に供給さ
れフイルタ処理された後に、デイジタルアナログ(D/
A)変換器36、37によりそれぞれデイジタルアナロ
グ変換され、後処理回路38に供給されて合成される。
そして出力映像信号として図示せぬ例えばCRTなどの
デイスプレイに出力され表示される。
のフイルタ処理を行なう。画像を符号化することにより
生じた劣化を緩和するために用いられる。例えばブロツ
ク歪みや急峻なエツジの近傍で生じたノイズ、また量子
化ノイズを除去するためのフイルタである。ポストフイ
ルタには様々な種類があるが、例えば図26に示される
ようにプリフイルタ19に用いられたと同様の2次元ロ
ーパスフイルタを用いることが出来る。
る。従来ビデオ信号等の動画像データは、情報量が極め
て多いため、これを長時間記録再生するには、データ伝
送速度が極めて高い記録媒体が必要であつた。従つて磁
気テープや光デイスクは、大型のものが必要とされてい
た。また動画像データを伝送路を介して通信する場合や
放送に用いる場合でもデータ量が多すぎるために、その
ままでは既存の伝送路を用いて通信できないという問題
があつた。
長時間記録しようとする場合、また通信や放送に用いる
場合には、ビデオ信号を高能率符号化して記録すると共
にその読み出し信号を能率良く復号化する手段が不可欠
である。このような要求に応えるべく、ビデオ信号の相
関を利用した高能率符号化方式が提案されており、その
1つにMPEG(Moving Picture Experts Group)方式
がある。これはISO−IEC/JTC1/SC2/W
G11にて議論され標準案として提案されたものであ
り、動き補償予測符号化と離散コサイン変換(DCT
(Discrete CosineTransform ))符号化を組み合わせ
たハイブリツド方式である。
方向の相関を利用した方法であり、すでに復号再生され
てわかつている信号から、現在入力された画像を予測
し、そのときの予測誤差だけを伝送することで、符号化
に必要な情報量を圧縮する方法である。またDCT符号
化は、画像信号の持つフレーム内2次元相関性を利用し
て、ある特定の周波数成分に信号電力を集中させ、この
集中分布した係数のみを符号化することで情報量の圧縮
を可能とする。例えば絵柄が平坦で画像信号の自己相関
性が高い部分では、DCT係数は低周波数成分へ集中分
布する。従つてこの場合は低域へ集中分布した係数のみ
を符号化することで情報量の圧縮が可能となる。ここで
は以下、符号化器としてMPEG2方式の場合の例を詳
述するが、符号化方式はMPEG2方式に限らず、任意
の符号化方式に対して同様に適用することが可能であ
る。
イン相関を利用すると、画像信号を例えばDCT処理等
により圧縮することができる。またフレーム間相関を利
用すると、画像信号をさらに圧縮して符号化することが
可能となる。例えば図17に示すように、時刻t1 、t
2 、t3 において、フレーム画像PC1 、PC2 、PC
3 がそれぞれ発生しているとき、フレーム画像PC1 と
PC2 の画像信号の差を演算してPC12を生成し、また
フレーム画像PC2 とPC3 の差を演算してPC23を生
成する。通常時間的に隣接するフレームの画像は、それ
程大きな変化を有していないため、両者の差を演算する
と差分信号は小さな値のものとなる。そこでこの差分信
号を符号化すれば、符号量を圧縮することができる。
では、元の画像を復元することができない。そこで各フ
レームの画像を、Iピクチヤ、Pピクチヤ又はBピクチ
ヤの3種類のピクチヤのいずれかのピクチヤとし、画像
信号を圧縮符号化する。すなわち例えば図18に示すよ
うに、フレームF1〜F17までの17フレームの画像信
号をグループオブピクチヤ(GOP)とし処理の1単位
とする。そしてその先頭のフレームF1の画像信号はI
ピクチヤとして符号化し、2番目のフレームF2はBピ
クチヤとして、また3番目のフレームF3はPピクチヤ
として、それぞれ処理する。以下4番目以降のフレーム
F4〜F17は、Bピクチヤ又はPピクチヤとして交互
に処理する。
分の画像信号をそのまま伝送する。これに対してPピク
チヤの画像信号は、基本的に図18(A)に示すよう
に、それより時間的に先行するIピクチヤ又はPピクチ
ヤの画像信号からの差分を伝送する。さらにBピクチヤ
の画像信号は、基本的に図18(B)に示すように、時
間的に先行するフレーム又は後行するフレームの両方の
平均値からの差分を求め、その差分を符号化する。
号化する方法の原理に示す。最初のフレームF1はIピ
クチヤとして処理されるため、そのまま伝送データF1
Xとして伝送路に伝送される(画像内符号化)。これに
対して第2のフレームF2は、Bピクチヤとして処理さ
れるため、時間的に先行するフレームF1と、時間的に
後行するフレームF3の平均値との差分が演算され、そ
の差分が伝送データF2Xとして伝送される。
らに細かく説明すると、4種類存在する。第1の処理
は、元のフレームF2のデータをそのまま伝送データF
2Xとして伝送するものであり(SP1)(イントラ符
号化)、Iピクチヤにおける場合と同様の処理となる。
第2の処理は、時間的に後のフレームF3からの差分を
演算し、その差分(SP2)を伝送するものである(後
方予測符号化)。第3の処理は、時間的に先行するフレ
ームF1との差分(SP3)を伝送するものである(前
方予測符号化)。さらに第4の処理は、時間的に先行す
るフレームF1と後行するフレームF3の平均値との差
分(SP4)を生成し、これを伝送データF2Xとして
伝送するものである(両方向予測符号化)。
少なくなる方法が採用される。なお差分データを伝送す
るとき、差分を演算する対象となるフレームの画像(予
測画像)との間の動きベクトルx1(フレームF1とF
2の間の動きベクトル)(前方予測の場合)、若しくは
x2(フレームF3とF2の間の動きベクトル)(後方
予測の場合)、またはx1とx2の両方(両方向予測の
場合)が差分データと共に伝送される。
に先行するフレームF1を予測画像として、このフレー
ムとの差分信号(SP3)と、動きベクトルx3が演算
され、これが伝送データF3Xとして伝送される(前方
予測符号化)。あるいはまた元のフレームF3のデータ
がそのまま伝送データF3Xとして伝送される(SP
1)(イントラ符号化)。いずれの方法により伝送され
るかは、Bピクチヤにおける場合と同様に、伝送データ
がより少なくなる方が選択される。
構成について説明する。符号化されるべき画像データB
Dは、マクロブロツク単位で動きベクトル検出回路(M
VーDet)50に入力される。動きベクトル検出回路
50は、予め設定されている所定のシーケンスに従つ
て、各フレームの画像データを、Iピクチヤ、Pピクチ
ヤ又はBピクチヤとして処理する。シーケンシヤルに入
力される各フレームの画像を、I、P又はBのいずれの
ピクチヤとして処理するかは、予め定められている(例
えば、図18に示したように、フレームF1〜F17に
より構成されるグループオブピクチヤが、I、B、P、
B、P、……B、Pとして処理される)。
えばフレームF1)の画像データは、動きベクトル検出
回路50からフレームメモリ51の前方原画像部51a
に転送して記憶され、Bピクチヤとして処理されるフレ
ーム(例えばフレームF2)の画像データは、原画像部
51bに転送して記憶され、Pピクチヤとして処理され
るフレーム(例えばフレームF3)の画像データは、後
方原画像部51cに転送して記憶される。
クチヤ(フレームF4)又はPピクチヤ(フレームF
5)として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部51cに記憶されていた最初
のPピクチヤ(フレームF3)の画像データが、前方原
画像部51aに転送され、次のBピクチヤ(フレームF
4)の画像データが、原画像部51bに記憶(上書き)
され、次のPピクチヤ(フレームF5)の画像データ
が、後方原画像部51cに記憶(上書き)される。この
ような動作が順次繰り返される。
ヤの信号は、そこから読み出され予測モード切り替え回
路(Mode−SW)52において、フレーム予測モー
ド処理又はフイールド予測モード処理が行なわれる。さ
らにまた予測判定回路54の制御の下に、演算部53に
おいて、画像内予測、前方予測、後方予測又は両方向予
測の演算が行なわれる。これらの処理のうち、いずれの
処理を行なうかは、予測誤差信号(処理の対象とされて
いる参照画像と、これに対する予測画像との差分)に対
応して決定される。このため動きベクトル検出回路50
は、この判定に用いられる予測誤差信号の絶対値和(自
乗和でも良い)を生成する。
るフレーム予測モードと、フイールド予測モードについ
て説明する。フレーム予測モードが設定された場合、予
測モード切り替え回路52は、動きベクトル検出回路5
0より供給される4個の輝度ブロツクY[1]〜Y
[4]を、そのまま後段の演算部53に出力する。すな
わちこの場合、図23(A)に示すように、各輝度ブロ
ツクに奇数フイールドのラインのデータと、偶数フイー
ルドのラインのデータとが混在した状態となつている。
このフレーム予測モードにおいては、4個の輝度ブロツ
ク(マクロブロツク)を単位として予測が行われ、4個
の輝度ブロツクに対して1個の動きベクトルが対応され
る。
は、フイールド予測モードにおいては、図23(A)に
示す構成で動きベクトル検出回路50より入力される信
号を、図23(B)に示すように、4個の輝度ブロツク
のうち輝度ブロツクY[1]とY[2]を、例えば奇数
フイールドのラインのドツトによりのみ構成させ、他の
2個の輝度ブロツクY[3]とY[4]を、偶数フイー
ルドのラインのデータにより構成させて、演算部53に
出力する。この場合2個の輝度ブロツクY[1]とY
[2]に対して、1個の動きベクトルが対応され、他の
2個の輝度ブロツクY[3]とY[4]に対して、他の
1個の動きベクトルが対応される。
測モードでの予測誤差の絶対値和と、フイールド予測モ
ードでの予測誤差の絶対値和を、予測モード切り替え回
路52に出力する。予測モード切り替え回路52は、フ
レーム予測モードとフイールド予測モードでの予測誤差
の絶対値和を比較し、その値が小さい予測モードに対応
する処理を施して、データを演算部53に出力する。た
だしこの処理は、実際には動きベクトル検出回路50で
行われる。すなわち動きベクトル検出回路50は決定さ
れたモードに対応する構成の信号を予測モード切り替え
回路52に出力し、予測モード切り替え回路52はその
信号をそのまま後段の演算部53に出力する。
合、図23(A)に示すように、奇数フイールドのライ
ンのデータと偶数フイールドのラインのデータとが混在
する状態で、演算部53に供給される。またフイールド
予測モードの場合、図23(B)に示すように、各色差
ブロツクCb、Crの上半分(4ライン)が、輝度ブロ
ツクY[1]、Y[2]に対応する奇数フイールドの色
差信号とされ、下半分(4ライン)が、輝度ブロツクY
[3]、Y[4]に対応する偶数フイールドの色差信号
とされる。
うにして、予測判定回路54において、画像内予測、前
方予測、後方予測又は両方向予測のいずれの予測を行な
うかを決定するための予測誤差の絶対値和を生成する。
すなわち画像内予測の予測誤差の絶対値和として、参照
画像のマクロブロツクの信号Aijの和ΣAijの絶対値|
ΣAij|と、マクロブロツクの信号Aijの絶対値|Aij
|の和Σ|Aij|の差を求める。また前方予測の予測誤
差の絶対値和として、参照画像のマクロブロツクの信号
Aijと、予測画像のマクロブロツクの信号Bijの差Aij
−Bijの絶対値|Aij−Bij|の和Σ|Aij−Bij|を
求める。
対値和も、前方予測における場合と同様に(その予測画
像を前方予測における場合と異なる予測画像に変更し
て)求める。これらの絶対値和は、予測判定回路54に
供給される。予測判定回路54は、前方予測、後方予測
及び両方向予測の予測誤差の絶対値和のうち、最も小さ
いものを、インタ予測の予測誤差の絶対値和として選択
する。さらにこのインタ予測の予測誤差の絶対値和と、
画像内予測の予測誤差の絶対値和とを比較し、その小さ
い方を選択し、この選択した絶対値和に対応するモード
を予測モード(P-mode)として選択する。すなわち画像
内予測の予測誤差の絶対値和の方が小さければ、画像内
予測モードが設定される。インタ予測の予測誤差の絶対
値和の方が小さければ、前方予測、後方予測又は両方向
予測モードのうち、対応する絶対値和が最も小さかつた
モードが設定される。
参照画像のマクロブロツクの信号を、フレーム又はフイ
ールド予測モードのうち、予測モード切り替え回路52
により選択されたモードに対応する構成で、予測モード
切り替え回路52を介して演算部53に供給するととも
に、4つの予測モードのうち、予測判定回路54により
選択された予測モード(P-mode)に対応する予測画像と
参照画像の間の動きベクトルを検出し、可変長符号化回
路(VLC)58と動き補償回路(M−comp)64
に出力する。上述したように、この動きベクトルとして
は、対応する予測誤差の絶対値和が最小となるものが選
択される。
路50が前方原画像部51aよりIピクチヤの画像デー
タを読み出しているとき、予測モードとしてフレーム
(画像)内予測モード(動き補償を行わないモード)を
設定し、演算部53のスイツチ53dを接点a側に切り
替える。これによりIピクチヤの画像データが、DCT
モード切り替え回路(DCT CTL)55に入力され
る。このDCTモード切り替え回路55は、図24
(A)又は(B)に示すように、4個の輝度ブロツクの
データを、奇数フイールドのラインと偶数フイールドの
ラインが混在する状態(フレームDCTモード)、また
は分離された状態(フイールドDCTモード)のいずれ
かの状態にして、DCT回路56に出力する。
は、奇数フイールドと偶数フイールドのデータを混在し
てDCT処理した場合の符号化効率と、分離した状態で
DCT処理した場合の符号化効率とを比較し、符号化効
率の良好なモードを選択する。例えば入力された信号
を、図24(A)に示すように、奇数フイールドと偶数
フイールドのラインが混在する構成とし、上下に隣接す
る奇数フイールドのラインの信号と偶数フイールドのラ
インの信号の差を演算し、さらにその絶対値の和(又は
自乗和)を求める。
すように、奇数フイールドと偶数フイールドのラインが
分離した構成とし、上下に隣接する奇数フイールドのラ
イン同士の信号の差と、偶数フイールドのライン同士の
信号の差を演算し、それぞれの絶対値の和(又は自乗
和)を求める。さらに両者(絶対値和)を比較し、小さ
い値に対応するDCTモードを設定する。すなわち前者
の方が小さければフレームDCTモードを設定し、後者
の方が小さければフイールドDCTモードを設定する。
そして選択したDCTモードに対応する構成のデータを
DCT回路56に出力すると共に、選択したDCTモー
ドを示すDCTフラグ(DCT-FLG )を、可変長符号化回
路58と動き補償回路64に出力する。
ド(図23)と、このDCTモード切り替え回路55で
のDCTモード(図24)を比較して明らかなように、
輝度ブロツクに関しては、両者の各モードにおけるデー
タ構造は実質的に同一である。予測モード切り替え回路
52でフレーム予測モード(奇数ラインと偶数ラインが
混在するモード)が選択された場合、DCTモード切り
替え回路55でもフレームDCTモード(奇数ラインと
偶数ラインが混在するモード)が選択される可能性が高
く、また予測モード切り替え回路52でフイールド予測
モード(奇数フイールドと偶数フイールドのデータが分
離されたモード)が選択された場合、DCTモード切り
替え回路55でも、フイールドDCTモード(奇数フイ
ールドと偶数フイールドのデータが分離されたモード)
が選択される可能性が高い。
れるわけではなく、予測モード切り替え回路52では、
予測誤差の絶対値和が小さくなるようにモードが決定さ
れ、DCTモード切り替え回路55では、符号化効率が
良好となるようにモードが決定される。DCTモード切
り替え回路55より出力されたIピクチヤの画像データ
は、DCT回路56に入力されてDCT処理され、DC
T係数に変換される。このDCT係数は量子化回路
(Q)57に入力され、送信バツフア(Buffer)
59のデータ蓄積量(量子化制御信号(B-full))に対
応した量子化スケール(QS)で量子化された後、可変長
符号化回路58に入力される。
り供給される量子化スケール(QS)に対応して、量子化
回路57より供給される画像データ(この場合、Iピク
チヤのデータ)を、例えばハフマン符号などの可変長符
号に変換し、送信バツフア59に出力する。可変長符号
化回路58にはまた、量子化回路57より量子化スケー
ル(QS)、予測判定回路54より予測モード(画像内予
測、前方予測、後方予測又は両方向予測のいずれが設定
されたかを示すモード(P-mode))、動きベクトル検出
回路50より動きベクトル(MV)、予測モード切り替え
回路52より予測フラグ(フレーム予測モード又はフイ
ールド予測モードのいずれが設定されたかを示すフラグ
(P-FLG )、およびDCTモード切り替え回路55が出
力するDCTフラグ(フレームDCTモード又はフイー
ルドDCTモードのいずれが設定されたかを示すフラグ
(DCT-FLG )が入力されており、これらも可変長符号化
される。
時蓄積し、蓄積量に対応するデータを量子化回路57に
出力する。送信バツフア59は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号(B-full)によ
つて量子化回路57の量子化スケール(QS)を大きくす
ることにより、量子化データのデータ量を低下させる。
またこれとは逆に、データ残量が許容下限値まで減少す
ると、送信バツフア59は量子化制御信号(B-full)に
よつて量子化回路57の量子化スケール(QS)を小さく
することにより、量子化データのデータ量を増大させ
る。このようにして送信バツフア59のオーバフロー又
はアンダフローが防止される。そして送信バツフア59
に蓄積されたデータは、所定のタイミングで読み出され
て伝送路に出力され、例えば記録媒体3に記録される。
チヤのデータは、逆量子化回路(IQ)60に入力さ
れ、量子化回路57より供給される量子化スケール(Q
S)に対応して逆量子化される。逆量子化回路60の出
力は、逆DCT(IDCT)回路61に入力され逆DC
T処理された後、ブロツク並び替え回路(Block
Change)65により、各DCTモード(フレーム
/フイールド)に対してブロツクの並び替えが行われ
る。ブロツク並び替え回路65の出力は、演算器62を
介してフレームメモリ63の前方予測画像部(F−P)
63aに供給され記憶される。
ヤルに入力される各フレームの画像データを、例えば
I、B、P、B、P、B……のピクチヤとしてそれぞれ
処理する場合、最初に入力されたフレームの画像データ
をIピクチヤとして処理した後、次に入力されたフレー
ムの画像をBピクチヤとして処理する前に、さらにその
次に入力されたフレームの画像データをPピクチヤとし
て処理する。Bピクチヤは後方予測を伴うため、後方予
測画像としてのPピクチヤが先に用意されていないと、
復号することができないためである。
クチヤの処理の次に、後方原画像部51cに記憶されて
いるPピクチヤの画像データの処理を開始する。そして
上述した場合と同様に、マクロブロツク単位でのフレー
ム間差分(予測誤差)の絶対値和が、動きベクトル検出
回路50から予測モード切り替え回路52と予測判定回
路54に供給される。予測モード切り替え回路52と予
測判定回路54は、このPピクチヤのマクロブロツクの
予測誤差の絶対値和に対応して、フレーム/フイールド
予測モード又は画像内予測、前方予測、後方予測若しく
は両方向予測の予測モードを設定する。
されたとき、スイツチ53dを上述したように接点a側
に切り替える。従つてこのデータは、Iピクチヤのデー
タと同様に、DCTモード切り替え回路55、DCT回
路56、量子化回路57、可変長符号化回路58、送信
バツフア59を介して伝送路に伝送される。またこのデ
ータは、逆量子化回路60、逆DCT回路61、ブロツ
ク並び替え回路65、演算器62を介してフレームメモ
リ63の後方予測画像部(B−P)63bに供給され記
憶される。
点bに切り替えられると共に、フレームメモリ63の前
方予測画像部63aに記憶されている画像(この場合I
ピクチヤの画像)データが読み出され、動き補償回路6
4により動きベクトル検出回路50が出力する動きベク
トルに対応して動き補償される。すなわち動き補償回路
64は、予測判定回路54より前方予測モードの設定が
指令されたとき、前方予測画像部63aの読み出しアド
レスを、動きベクトル検出回路50がいま出力している
マクロブロツクの位置に対応する位置から動きベクトル
に対応する分だけずらしてデータを読み出し、予測画像
データを生成する。
データは、演算器53aに供給される。演算器53a
は、予測モード切り替え回路52より供給された参照画
像のマクロブロツクのデータから、動き補償回路64よ
り供給されたこのマクロブロツクに対応する予測画像デ
ータを減算し、その差分(予測誤差)を出力する。この
差分データは、DCTモード切り替え回路55、DCT
回路56、量子化回路57、可変長符号化回路58、送
信バツフア59を介して伝送路に伝送される。またこの
差分データは、逆量子化回路60、逆DCT回路61に
より局所的に復号され、ブロツク並び替え回路65を介
して演算器62に入力される。
給されている予測画像データと同一のデータが供給され
ている。演算器62は、逆DCT回路61が出力する差
分データに、動き補償回路64が出力する予測画像デー
タを加算する。これにより、元の(復号した)Pピクチ
ヤの画像データが得られる。このPピクチヤの画像デー
タは、フレームメモリ63の後方予測画像部63bに供
給され記憶される。
IピクチヤとPピクチヤのデータが前方予測画像部63
aと後方予測画像部63bにそれぞれ記憶された後、次
にBピクチヤの処理を実行する。予測モード切り替え回
路52と予測判定回路54は、マクロブロツク単位での
フレーム間差分の絶対値和の大きさに対応して、フレー
ム/フイールドモードを設定し、また予測モードをフレ
ーム内予測モード、前方予測モード、後方予測モード又
は両方向予測モードのいずれかに設定する。上述したよ
うに、フレーム内予測モード又は前方予測モードの時、
スイツチ53dは接点a又はbに切り替えられる。この
ときPピクチヤにおける場合と同様の処理が行われ、デ
ータが伝送される。
予測モードが設定された時、スイツチ53dは、接点c
又はdにそれぞれ切り替えられる。スイツチ53dが接
点cに切り替えられている後方予測モードの時、後方予
測画像部63bに記憶されている画像(この場合、Pピ
クチヤの画像)データが読み出され、動き補償回路64
により、動きベクトル検出回路50が出力する動きベク
トルに対応して動き補償される。すなわち動き補償回路
64は、予測判定回路54より後方予測モードの設定が
指令されたとき、後方予測画像部63bの読み出しアド
レスを、動きベクトル検出回路50がいま出力している
マクロブロツクの位置に対応する位置から動きベクトル
に対応する分だけずらしてデータを読み出し、予測画像
データを生成する。
データは、演算器53bに供給される。演算器53bは
予測モード切り替え回路52より供給された参照画像の
マクロブロツクのデータから、動き補償回路64より供
給された予測画像データを減算しその差分を出力する。
この差分データは、DCTモード切り替え回路55、D
CT回路56、量子化回路57、可変長符号化回路5
8、送信バツフア59を介して伝送路に伝送される。
いる両方向予測モードの時、前方予測画像部63aに記
憶されている画像(この場合、Iピクチヤの画像)デー
タと、後方予測画像部63bに記憶されている画像(こ
の場合、Pピクチヤの画像)データが読み出され、動き
補償回路64により、動きベクトル検出回路50が出力
する動きベクトルに対応して動き補償される。すなわち
動き補償回路64は、予測判定回路54より両方向予測
モードの設定が指令されたとき、前方予測画像部63a
と後方予測画像部63bの読み出しアドレスを、動きベ
クトル検出回路50がいま出力しているマクロブロツク
の位置に対応する位置から動きベクトル(この場合の動
きベクトルは、前方予測画像用と後方予測画像用の2つ
となる)に対応する分だけずらしてデータを読み出し、
予測画像データを生成する。
データは、演算器53cに供給される。演算器53cは
動きベクトル検出回路50より供給された参照画像のマ
クロブロツクのデータから、動き補償回路64より供給
された予測画像データの平均値を減算し、その差分を出
力する。この差分データはDCTモード切り替え回路5
5、DCT回路56、量子化回路57、可変長符号化回
路58、送信バツフア59を介して伝送路に伝送され
る。Bピクチヤの画像は、他の画像の予測画像とされる
ことがないため、フレームメモリ63には記憶されな
い。
測画像部63aと後方予測画像部63bは、必要に応じ
てバンク切り替えが行われ、所定の参照画像に対して、
一方又は他方に記憶されているものを、前方予測画像あ
るいは後方予測画像として切り替えて出力することがで
きる。以上の説明では、輝度ブロツクを中心として説明
をしたが、色差ブロツクについても同様に、図23及び
図24に示すマクロブロツクを単位として処理され伝送
される。なお色差ブロツクを処理する場合の動きベクト
ルは、対応する輝度ブロツクの動きベクトルを垂直方向
と水平方向に、それぞれ1/2にしたものが用いられ
る。
成を示す。伝送路(記録媒体3)を介して伝送された符
号化された画像データは、図示せぬ受信回路で受信され
たり再生装置で再生され、受信バツフア(Buffe
r)81に一時記憶された後、復号回路90の可変長復
号化回路(IVLC)82に供給される。可変長復号化
回路82は、受信バツフア81より供給されたデータを
可変長復号化し、動きベクトル(MV)、予測モード(P-
mode)及び予測フラグ(P-FLG )を動き補償回路(M−
comp)87に供給する。またDCTフラグ(DCT-FL
G )を逆ブロツク並び替え回路(Block Chan
ge)88に、量子化スケール(QS)を逆量子化回路
(IQ)83にそれぞれ出力すると共に、復号された画
像データを逆量子化回路83に出力する。
2より供給された画像データを、同じく可変長復号化回
路82より供給された量子化スケール(QS)に従つて逆
量子化し、逆DCT回路(IDCT)84に出力する。
逆量子化回路83より出力されたデータ(DCT係数)
は、逆DCT回路84で逆DCT処理され、ブロツク並
べ替え回路88を通じて演算器85に供給される。逆D
CT回路84より供給された画像データが、Iピクチヤ
のデータである場合、そのデータは演算器85より出力
され、演算器85に後に入力される画像データ(P又は
Bピクチヤのデータ)の予測画像データ生成のために、
フレームメモリ86の前方予測画像部(F−P)86a
に供給されて記憶される。またこのデータはフオーマツ
ト変換回路32(図20)に出力される。
タが、その1フレーム前の画像データを予測画像データ
とするPピクチヤのデータであつて、前方予測モードの
データである場合、フレームメモリ86の前方予測画像
部86aに記憶されている、1フレーム前の画像データ
(Iピクチヤのデータ)が読み出され、動き補償回路8
7で可変長復号化回路82より出力された動きベクトル
に対応する動き補償が施される。そして演算器85にお
いて、逆DCT回路84より供給された画像データ(差
分のデータ)と加算され出力される。この加算されたデ
ータ、すなわち復号されたPピクチヤのデータは、演算
器85に後に入力される画像データ(Bピクチヤ又はP
ピクチヤのデータ)の予測画像データ生成のために、フ
レームメモリ86の後方予測画像部(B−P)86bに
供給されて記憶される。
モードのデータは、Iピクチヤのデータと同様に演算器
85で特に処理は行わず、そのまま後方予測画像部86
bに記憶される。このPピクチヤは、次のBピクチヤの
次に表示されるべき画像であるため、この時点ではまだ
フオーマツト変換回路32へ出力されない(上述したよ
うに、Bピクチヤの後に入力されたPピクチヤが、Bピ
クチヤより先に処理され、伝送されている)。
タが、Bピクチヤのデータである場合、可変長復号化回
路82より供給された予測モードに対応して、フレーム
メモリ86の前方予測画像部86aに記憶されているI
ピクチヤの画像データ(前方予測モードの場合)、後方
予測画像部86bに記憶されているPピクチヤの画像デ
ータ(後方予測モードの場合)、またはその両方の画像
データ(両方向予測モードの場合)が読み出され、動き
補償回路87において可変長復号化回路82より出力さ
れた動きベクトルに対応する動き補償が施されて、予測
画像が生成される。ただし動き補償を必要としない場合
(画像内予測モードの場合)、予測画像は生成されな
い。
補償が施されたデータは、演算器85において逆DCT
回路84の出力と加算される。この加算出力はフオーマ
ツト変換回路32に出力される。ただしこの加算出力は
Bピクチヤのデータであり、他の画像の予測画像生成の
ために利用されることがないため、フレームメモリ86
には記憶されない。Bピクチヤの画像が出力された後、
後方予測画像部86bに記憶されているPピクチヤの画
像データが読み出され、動き補償回路87を介して演算
器85に供給される。ただしこのとき、動き補償は行わ
れない。
コーダ18における予測モード切り替え回路52とDC
Tモード切り替え回路55に対応する回路が図示されて
いないが、これらの回路に対応する処理、すなわち奇数
フイールドと偶数フイールドのラインの信号が分離され
た構成を、元の混在する構成に必要に応じて戻す処理は
動き補償回路87が実行する。また以上の説明では、輝
度信号の処理について述べたが、色差信号の処理も同様
に行われる。ただしこの場合、動きベクトルは、輝度信
号用のものを、垂直方向及び水平方向に1/2にしたも
のが用いられる。
したような動画像の符号化装置1において、プリフイル
タ19は入力画像信号に含まれるノイズを除去し、また
符号化装置1における符号化効率を高めるために、また
所定量まで情報量を削減するために用いられる。またポ
ストフイルタ39は復号化画像の劣化を緩和し、画質を
改善するために用いられる。ここで、画像に含まれるノ
イズについて考える。ノイズには様々な種類がある。例
えば伝送路を通過する際に生じたノイズや、映画などの
フイルムソースではフイルムに特有の粒状ノイズが存在
する。
に含まれているノイズと、意図せずに生じ、劣化の原因
となつているノイズが存在する。プリフイルタ19では
これらのノイズを区別なく削減する。また画像信号を符
号化した場合、画像の高周波成分が削減され、これによ
つてノイズが削減されたり、元のノイズと異なる性質の
ノイズに変化してしまう。このようにしてノイズが削減
される場合、過度に削減されると原画像とは異なる印象
の画像となり、かえつて画像の劣化となる。これは特に
意図的に含まれているノイズの場合問題となる。
リフイルタ19や符号化装置1が過度にノイズを削減
し、かえつて画像を劣化させてしまうという問題が存在
する。また符号化された画像には、量子化ノイズが生じ
る。これは特にエツジの近傍で目立ち、画質劣化の大き
な原因になつている。
で、動画像を符号化し復号化する際に失われたノイズを
復元し、視覚的に復号化した動画像の画質を向上し得る
動画像符号化方法及び装置、動画像復号化方法及び装
置、動画像記録媒体を提案しようとするものである。
め本発明においては、動画像信号を所定の予測画像信号
を用いて符号化し、符号化された信号に所定の演算を施
し、その演算により得られた信号を量子化し、量子化し
た信号を可変長符号化する動画像符号化方法において、
符号化によつて失われるノイズ成分を符号化し、符号化
された動画像信号と共に伝送する。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号を可変長符号化する動画像符号化
装置(1)において、符号化によつて失われるノイズ成
分を符号化する符号化手段(18)を設けるようにし
た。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号が可変長符号化された動画像信号
を復号する動画像復号化方法において、動画像信号と共
に符号化されたノイズ成分を復号し、復号した動画像信
号に加えるようにした。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号が可変長符号化された動画像信号
を復号する動画像復号化方法において、符号化によつて
失われたノイズ成分を、符号化する際に用いた量子化ス
ケールを用いて算出し、その量子化スケールに相当する
ノイズを復号した画像に付加するようにした。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号が可変長符号化された動画像信号
を復号する動画像復号化装置(2)において、動画像信
号と共に符号化されたノイズ成分を復号し、復号した動
画像信号に加えるノイズ付加手段(39)を設けるよう
にした。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号が可変長符号化された動画像信号
を復号する動画像復号化装置(2)において、符号化に
よつて失われたノイズ成分を、符号化する際に用いた量
子化スケール(QS)を用いて算出するノイズ量決定手段
(39D)とを設けるにした。
の予測画像信号を用いて符号化し、符号化された信号に
所定の演算を施し、その演算により得られた信号を量子
化し、量子化した信号を可変長符号化する動画像符号化
方法で符号化された動画像が記録される動画像記録媒体
(3)において、符号化によつて失われるノイズ成分を
符号化し、符号化された動画像信号と共に記録されるよ
うにした。
まれるノイズ量を検出し、そのノイズ量を示すフラグを
符号化して伝送し、復号化装置においてビツトストリー
ムを復号化した後にそのノイズ量を示すフラグにしたが
つてノイズを付加する。これによつて、符号化によつて
失われたノイズ成分を再生することが可能となる。また
符号化によつて生じる量子化ノイズと同レベルのノイズ
を後置フイルタによつて付加することにより、量子化ノ
イズなどの劣化を目立たなくすることが出来る。
する。
の第1実施例による動画像符号化装置及び復号化装置を
示す。この実施例の場合エンコーダ18は符号化時の条
件に応じて、またプリフイルタ19で使用したフイルタ
の特性によつて、ポストフイルタ39において付加する
ノイズ量を決定し、それを示す付加ノイズ特性信号NA
を符号化する。この付加ノイズ特性信号NAを決定する
ノイズ特性決定方法は2通り存在する。第1のノイズ特
性決定方法は外部から強制的に付加ノイズ特性信号NA
を入力し設定するものであり、第2のノイズ特性決定方
法は符号化時に発生する各種フラグに基づいて付加ノイ
ズ特性信号NAを決定するものである。
ダ18の構成を、図22との対応部分に同一符号を付し
て図2に示す。外部から入力される付加ノイズ特性信号
NAは可変長符号化器58に入力される。可変長符号化
器58では従来と同様の可変長符号化を行なうととも
に、ノイズ特性信号NAを可変長符号化する。付加ノイ
ズ特性信号NAはビツトストリーム中のユーザデータに
記録される。MPEG方式やMPEG2方式でのユーザ
データは、シーケンス、GOP、ピクチヤヘツダの後に
設定可能であるから、PSTは同様にシーケンス、GO
P、ピクチヤ単位で設定可能である。
を示す。図中下線を付した拡張/ユーザデータextensio
n-and-user-data(i)に拡張データextension-data又はユ
ーザデータuser-data が記録される。図4(A)及び図
4(B)に拡張/ユーザデータextension-and-user-dat
a(i)及び拡張データextension-dataを示す。拡張/ユー
ザデータextension-and-user-data(i)にユーザデータス
タートコードuser-data-start-codeが記録されている場
合、次にユーザデータuser-data が記録されていること
を示している。次に図4(C)にユーザデータuser-dat
a を示す。ユーザデータuser-data は8ビツト単位で記
録される。"0000 0000 0000 0000 00000001" が発生す
るとユーザデータuser-data が終了することを示してい
る。
する。付加ノイズ特性信号NAは例えば図6に示すよう
に8ビツトの信号である。付加ノイズ特性信号NAは図
3及び図4に示すユーザデータuser-data に記録され
る。特性0が最も小量のノイズであり、特性255 が最も
多量のノイズである。この付加ノイズ特性信号NAによ
つてノイズを付加する処理については後述する。
OP、ピクチヤヘツダの後のユーザデータuser-data で
設定が可能である。一度付加ノイズ特性信号NAが設定
されたら、次に再設定されるまでその値が用いられる。
即ち再設定されるまで、同一のノイズが付加される。付
加ノイズ特性信号NAは、シーケンスヘツダでまず設定
される。その後再設定する場合、シーケンス、GOP、
ピクチヤヘツダの後のどのユーザデータuser-data で設
定しても良い。
コーダ18の構成を、図2との対応部分に同一符号を付
した図7に示す。付加ノイズ決定回路70は可変長符号
化器58に入力される量子化スケール(QS)及びプリフ
イルタ19(図1)において使用されたフイルタ特性か
らポストフイルタ39(図1)において付加するノイズ
量を決定する。付加ノイズ決定回路70はポストフイル
タ39において付加するノイズ量を示すフラグ及び付加
ノイズ特性信号NAを可変長符号化器58に出力する。
可変長符号化器58では、第1のノイズ特性決定方法の
場合と同様に付加ノイズ特性信号NAを可変長符号化す
る。
加ノイズ特性信号NAの決定方法について、その1例を
説明する。エンコーダ18においては量子化が行なわ
れ、その際量子化スケール(QS)が小さいほど小振幅の
信号まで符号化することが出来る。従つて量子化スケー
ル(QS)が小さいほど原画像に含まれるノイズまで伝送
する。また量子化スケール(QS)が大きいとノイズを伝
送することが出来なくなり、復号画像はノイズが除去さ
れた平坦な画像となる。
タ19によりフイルタ処理が行なわれる。このフイルタ
処理には様々な処理が存在するが、ノイズ除去処理はそ
の一例である。またノイズ除去フイルタの他に例えばロ
ーパスフイルタもノイズを減少する効果がある。こうし
たフイルタによるノイズ除去の度合によつて復号画像で
再現できるノイズ量が決まつてくる。すなわちプリフイ
ルタ19でノイズをほとんど除去しない場合には、原画
像に含まれるノイズ成分を伝送することが可能である
が、プリフイルタ19でノイズをほとんど除去した場合
にはノイズを伝送することが不可能となる。
スケール(QS)及びプリフイルタ19でのノイズ除去の
度合によつて決定される。すなわち量子化スケール(Q
S)が大きいほど、またプリフイルタ19のノイズ除去
の度合いが大きいほどポストフイルタ39で付加される
ノイズ量が多くなる。ポストフイルタ39でノイズを付
加することは、符号化の際に失われたノイズを復元する
だけでなく、符号化によつて生じた量子化ノイズなどの
劣化を目立たなくする効果がある。
つて生じる劣化にはエツジ近傍に生じる劣化や、ブロツ
ク歪みがある。図8(A)は原画像であり、図8(B)
はエツジ近傍に劣化が生じたことを示す。これに劣化に
よつて生じるノイズと同レベルのノイズを付加したのが
図8(C)である。ノイズを付加することによつて目立
たなくなることがわかる。
合の目安となる。量子化スケール(QS)が小さい場合、
劣化は少ないと考えられ、また量子化スケール(QS)が
大きい場合、劣化が顕著になると考えられる。従つて劣
化を目立たなくする観点からも量子化スケール(QS)が
大きいほど付加するノイズ量が多くなり、また量子化ス
ケール(QS)が小さいほど付加するノイズ量が少なくな
る。
ルタ19のフイルタ特性F1〜FNから付加ノイズ特性
信号NAを決定する方法を示す。ここでプリフイルタ1
9の強弱があるが、強いフイルタほどノイズを多く除去
し、また弱いフイルタほどノイズを保存する。図10に
その具体例を示す。F1〜FNは周波数特性が図10に
示すようなフイルタ係数である。F1が最も弱くまたF
Nが最も強いフイルタである。
合の、マクロブロツクヘツダのシンタクスを図5に示
す。図中下線で示すように量子化係数(quantizer-scal
e-code)はマクロブロツク単位で設定される。まず1フ
レーム符号化した後、1フレーム中の量子化係数の平均
値MEAN-Qを求める。図9は量子化係数の平均値M
EAN-Qとプリフイルタ19のフイルタ特性F1〜F
Nから付加ノイズ特性信号NAを決定する方法である。
このようにして、付加ノイズ特性信号NAが決定され
る。
(図1)の構成を、図25との対応部分に同一符号を付
した図11に示す。第1及び第2のノイズ特性決定方法
共に、図11に示す復号回路90で復号される。ビツト
ストリームがデコーダ31に入力されると、まず可変長
復号化回路82に入力され、可変長符号化が解かれる。
このときユーザデータuser-data に記録されている付加
ノイズ特性信号NAが復号されポストフイルタ39(図
1)に出力される。その他のデコーダ31の動作は従来
に記載されている方法と同様である。
ズ発生回路39Aはランダムなホワイトノイズを生成す
る。これは例えばM系列を発生させる回路で実現でき
る。デコーダ31によつて復号された付加ノイズ特性信
号NAは付加ノイズ決定回路39Bに入力される。付加
ノイズ決定回路39Bは付加ノイズ特性信号NAに従つ
て画像信号に付加するノイズ量を決定する。入力された
画像信号及び発生したノイズは加算器39Cに入力され
て加算される。加算器39Cの出力はポストフイルタ3
9の出力として、D/A変換器36、37(図1)に入
力される。
する際に、画像中に含まれるノイズ量を検出してそのノ
イズ量を示す付加ノイズ特性信号NAを符号化して伝送
し、復号化側においてビツトストリームを復号化した後
にそのノイズ量を示す付加ノイズ特性信号NAに従つて
ノイズを付加するようにしたことにより、符号化によつ
て失われたノイズ成分を再現することがでる。また符号
化によつて生じる量子化ノイズと同レベルのノイズをポ
ストフイルタによつて付加することにより、量子化ノイ
ズなどの劣化を目立たなくでき、かくして視覚的に復号
化した動画像の画質を向上し得る。
の第2実施例による動画像符号化装置及び復号化装置を
示す。符号化装置1については従来と同様である。第1
実施例で説明したように、付加すべきノイズ量は量子化
スケール(QS)に依存する。量子化スケール(QS)はマ
クロブロツク単位で設定されるが、ユーザデータuser-d
ata はシーケンス、GOP、ピクチヤ単位でしか伝送す
ることができない。この第2実施例ではマクロブロツク
単位で付加するノイズ量を決定する。
て、図11との対応部分に同一符号を付した図14を用
いて説明する。ビツトストリームはデコーダ31に入力
されると可変長復号化回路82に入力され、可変長符号
が解かれる。このときユーザデータuser-data に記録さ
れている付加ノイズ特性信号NA及び量子化スケール
(QS)をポストフイルタ39に出力する。その他のデコ
ーダ31の動作は従来に記載されている方法と同様であ
る。
を、図12との対応部分に同一符号を付した図15を用
いて説明する。この実施例では、付加ノイズ特性信号N
A及び量子化スケール(QS)がノイズ量決定回路39D
に入力される。ノイズ量決定回路39Dは付加ノイズ特
性信号NA及び量子化スケール(QS)からポストフイル
タ39において付加するノイズ量を決定する。図16に
ノイズ量決定方法を示す。決定されたノイズ量NA′は
付加ノイズ決定回路39Bに出力される。
同様に、画像信号に付加するノイズを決定する。入力さ
れた画像信号及び発生したノイズは加算器39Cに入力
され加算される。加算器39Cの出力はポストフイルタ
39の出力としてD/A変換器36、37(図1)に入
力される。その他の動作は第1実施例と全く同様であ
る。
する際に、画像中に含まれるノイズ量を検出してそのノ
イズ量を示す付加ノイズ特性信号NAを符号化して伝送
し、復号化側においてビツトストリームを復号化した後
にそのノイズ量を示す付加ノイズ特性信号NA及び量子
化スケール(QS)に従つてノイズを付加するようにした
ことにより、符号化によつて失われたノイズ成分を再現
することがでる。また符号化によつて生じる量子化ノイ
ズと同レベルのノイズをポストフイルタによつて付加す
ることにより、量子化ノイズなどの劣化を目立たなくで
き、かくして視覚的に復号化した動画像の画質を向上し
得る。
号を符号化する際に、画像中に含まれるノイズ量を検出
してそのノイズ量を示す付加ノイズ特性信号を符号化し
て伝送し、復号化側においてビツトストリームを復号化
した後にそのノイズ量を示す付加ノイズ特性信号及び又
は量子化スケールに従つてノイズを付加するようにした
ことにより、符号化によつて失われたノイズ成分を再現
し得る。また符号化によつて生じる量子化ノイズと同レ
ベルのノイズをポストフイルタによつて付加することに
より、量子化ノイズなどの劣化を目立たなくし得、かく
して視覚的に復号化した動画像の画質を向上し得る動画
像符号化方法及び装置、動画像復号化方法及び装置並び
に動画像記録媒体を実現できる。
化装置の構成を示すブロツク図である。
ロツク図である。
である。
ーザデータを示す図表である。
タクスを示す図表である。
る。
ロツク図である。
する特性曲線図である。
特性曲線図である。
性曲線図である。
ロツク図である。
示すブロツク図である。
号化装置の構成を示すブロツク図である。
ブロツク図である。
を示すブロツク図である。
る特性曲線図である。
符号化の原理の説明に供する略線図である。
の説明に供する略線図である。
略線図である。
すブロツク図である。
像データの構造を示す略線図である。
エンコーダの構成を示すブロツク図である。
の説明に供する略線図である。
作の説明に供する略線図である。
デコーダの構成を示すブロツク図である。
プリフイルタ/ポストフイルタとして2次元ローパスフ
イルタの構成を示す接続図である。
明に供する略線図である。
(伝送路)、11……前処理回路、12、13……アナ
ログデイジタル(A/D)変換器、14、33……フレ
ームメモリ、15、34……輝度信号フレームメモリ、
16、35……色差信号フレームメモリ、17、32…
…フオーマツト変換回路、18……エンコーダ、19…
…プリフイルタ、20……記憶装置、21……係数決定
回路、22……符号化レート決定回路、31……デコー
ダ、36、37……デイジタルアナログ(D/A)変換
器、38……後処理回路、50……動きベクトル検出回
路(MV−Det)、51……フレームメモリ、51a
……前方原画像部、51b……原画像部、51c……後
方原画像部、52……予測モード切り替え回路(Mod
e−SW)、53……演算部、54……予測判定回路、
55……DCTモード切り替え回路(DCT CT
L)、56……DCT回路、57……量子化回路
(Q)、58……可変長符号化回路(VLC)、59…
…送信バツフア(Buffer)、60、83……逆量
子化回路(IQ)、61、84……逆DCT回路(ID
CT)、62、85……演算器、63、86……フレー
ムメモリ、63a、86a……前方予測画像(F−
P)、63b、86b……後方予測画像(B−P)、6
4、87……動き補償回路(M−comp)、65、8
8……DCTブロツク並べ替え回路、70……付加ノイ
ズ決定回路、81……受信バツフア(Buffer)、
82……可変長復号化回路(IVLC)。
Claims (15)
- 【請求項1】動画像信号を所定の予測画像信号を用いて
符号化し、符号化された信号に所定の演算を施し、当該
演算により得られた信号を量子化し、量子化した信号を
可変長符号化する動画像符号化方法において、 上記符号化によつて失われるノイズ成分を符号化し、上
記符号化された上記動画像信号と共に伝送することを特
徴とする動画像符号化方法。 - 【請求項2】上記符号化によつて失われるノイズ成分を
符号化する際、ノイズ量を示すフラグを符号化し伝送す
ることを特徴とする請求項1に記載の動画像符号化方
法。 - 【請求項3】上記符号化によつて失われるノイズ成分を
符号化する際に、前処理装置の特性及び量子化スケール
を用いてノイズ量を算出し、当該ノイズ量を符号化する
ことを特徴とする請求項1に記載の動画像符号化方法。 - 【請求項4】動画像信号を所定の予測画像信号を用いて
符号化し、符号化された信号に所定の演算を施し、当該
演算により得られた信号を量子化し、量子化した信号を
可変長符号化する動画像符号化装置において、上記符号
化によつて失われるノイズ成分を符号化する符号化手段
を具えることを特徴とする動画像符号化方法。 - 【請求項5】上記符号化手段は、上記符号化によつて失
われるノイズ成分を符号化する際、ノイズ量を示すフラ
グを符号化するようにしたことを特徴とする請求項4に
記載の動画像符号化装置。 - 【請求項6】上記符号化手段は、上記符号化によつて失
われるノイズ成分を符号化する際、前処理装置の特性及
び量子化スケールを用いてノイズ量を算出し、当該ノイ
ズ量を符号化することを特徴とする請求項4に記載の動
画像符号化装置。 - 【請求項7】動画像信号を所定の予測画像信号を用いて
符号化し、符号化された信号に所定の演算を施し、当該
演算により得られた信号を量子化し、量子化した信号が
可変長符号化された動画像信号を復号する動画像復号化
方法において、 上記動画像信号と共に符号化されたノイズ成分を復号
し、復号した動画像信号に加えるようにしたことを特徴
とする動画像復号化方法。 - 【請求項8】上記符号化されたノイズ成分は、ノイズ量
を示すフラグであることを特徴とする請求項7に記載の
動画像復号化方法。 - 【請求項9】動画像信号を所定の予測画像信号を用いて
符号化し、符号化された信号に所定の演算を施し、当該
演算により得られた信号を量子化し、量子化した信号が
可変長符号化された動画像信号を復号する動画像復号化
方法において、 上記符号化によつて失われたノイズ成分を、符号化する
際に用いた量子化スケールを用いて算出し、当該量子化
スケールに相当するノイズを復号した画像に付加するよ
うにしたことを特徴とする動画像復号化方法。 - 【請求項10】動画像信号を所定の予測画像信号を用い
て符号化し、符号化された信号に所定の演算を施し、当
該演算により得られた信号を量子化し、量子化した信号
が可変長符号化された動画像信号を復号する動画像復号
化装置において、 上記動画像信号と共に符号化されたノイズ成分を復号
し、復号した動画像信号に加えるノイズ付加手段を具え
ることを特徴とする動画像復号化装置。 - 【請求項11】上記符号化されたノイズ成分は、ノイズ
量を示すフラグであることを特徴とする請求項10に記
載の動画像復号化装置。 - 【請求項12】動画像信号を所定の予測画像信号を用い
て符号化し、符号化された信号に所定の演算を施し、当
該演算により得られた信号を量子化し、量子化した信号
が可変長符号化された動画像信号を復号する動画像復号
化装置において、 上記符号化によつて失われたノイズ成分を、符号化する
際に用いた量子化スケールを用いて算出するノイズ量決
定手段と、当該量子化スケールに相当するノイズを復号
した画像に付加するノイズ付加手段とを具えることを特
徴とする動画像復号化装置。 - 【請求項13】動画像信号を所定の予測画像信号を用い
て符号化し、符号化された信号に所定の演算を施し、当
該演算により得られた信号を量子化し、量子化した信号
を可変長符号化する動画像符号化方法で符号化された動
画像が記録される動画像記録媒体において、 上記符号化によつて失われるノイズ成分を符号化し、上
記符号化された上記動画像信号と共に記録されることを
特徴とする動画像記録媒体。 - 【請求項14】上記符号化によつて失われるノイズ成分
を符号化する際、ノイズ量を示すフラグが符号化されて
記録されることを特徴とする請求項13に記載の動画像
記録媒体。 - 【請求項15】上記符号化によつて失われるノイズ成分
を符号化する際に、前処理装置の特性及び量子化スケー
ルを用いてノイズ量を算出し、当該ノイズ量が符号化さ
れて記録されることを特徴とする請求項13に記載の動
画像記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23215794A JP3980659B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び装置、動画像復号化方法及び装置。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23215794A JP3980659B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び装置、動画像復号化方法及び装置。 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007056300A Division JP4596277B2 (ja) | 2007-03-06 | 2007-03-06 | 符号化装置、符号化方法、復号装置及び復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0879765A true JPH0879765A (ja) | 1996-03-22 |
JP3980659B2 JP3980659B2 (ja) | 2007-09-26 |
Family
ID=16934892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23215794A Expired - Lifetime JP3980659B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び装置、動画像復号化方法及び装置。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3980659B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149466A (ja) * | 1994-09-30 | 1996-06-07 | Sanyo Electric Co Ltd | 動画像処理方法及び処理装置 |
JP2002209209A (ja) * | 2001-01-04 | 2002-07-26 | Nec Corp | 画像圧縮伸長システム |
JP2007506361A (ja) * | 2003-09-17 | 2007-03-15 | トムソン ライセンシング | 適応参照画像の発生 |
JP2007514336A (ja) * | 2003-05-15 | 2007-05-31 | トムソン ライセンシング | 1つ又は複数のパラメータによって画像粒状性を表す方法及び装置 |
WO2007063912A1 (ja) * | 2005-11-29 | 2007-06-07 | Matsushita Electric Industrial Co., Ltd. | 再生装置 |
JP2007521573A (ja) * | 2003-09-23 | 2007-08-02 | トムソン ライセンシング | 事前に計算されたサンプルをモザイキングすることでフィルムグレインをシミュレートするための方法 |
JP2008518289A (ja) * | 2004-10-18 | 2008-05-29 | トムソン ライセンシング | フィルム粒度シミュレーションのためのブロック平均決定方法 |
JP2010520510A (ja) * | 2007-03-07 | 2010-06-10 | サムスン エレクトロニクス カンパニー リミテッド | ノイズ信号の符号化及び復号化の装置及び方法 |
US8023567B2 (en) | 2004-11-24 | 2011-09-20 | Thomson Licensing | Film grain simulation technique for use in media playback devices |
US8059203B2 (en) | 2005-02-21 | 2011-11-15 | Panasonic Corporation | Moving picture processing method |
US8150206B2 (en) | 2004-03-30 | 2012-04-03 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
JP2013517724A (ja) * | 2010-01-20 | 2013-05-16 | シーメンス アクチエンゲゼルシヤフト | ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法 |
US20150213581A1 (en) * | 2014-01-29 | 2015-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for image quality enhancement using phase modulation of high frequency elements |
JP2018046407A (ja) * | 2016-09-14 | 2018-03-22 | 日本放送協会 | レート制御装置、映像復号装置、及び、プログラム |
US10715834B2 (en) | 2007-05-10 | 2020-07-14 | Interdigital Vc Holdings, Inc. | Film grain simulation based on pre-computed transform coefficients |
-
1994
- 1994-08-31 JP JP23215794A patent/JP3980659B2/ja not_active Expired - Lifetime
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149466A (ja) * | 1994-09-30 | 1996-06-07 | Sanyo Electric Co Ltd | 動画像処理方法及び処理装置 |
JP2002209209A (ja) * | 2001-01-04 | 2002-07-26 | Nec Corp | 画像圧縮伸長システム |
US7742655B2 (en) | 2003-05-15 | 2010-06-22 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
JP2007514336A (ja) * | 2003-05-15 | 2007-05-31 | トムソン ライセンシング | 1つ又は複数のパラメータによって画像粒状性を表す方法及び装置 |
EP3798988B1 (en) | 2003-05-15 | 2021-08-04 | Dolby International AB | Method and apparatus for representing image granularity by one or more parameters |
JP2007515846A (ja) * | 2003-05-15 | 2007-06-14 | トムソン ライセンシング | 1つ又は複数のパラメータによって画像粒状性を表す方法及び装置 |
EP3678097B1 (en) | 2003-05-15 | 2020-11-04 | Dolby International AB | Method and apparatus for representing image granularity by one or more parameters |
JP2011071998A (ja) * | 2003-05-15 | 2011-04-07 | Thomson Licensing | 1つ又は複数のパラメータによって画像粒状性を表す方法及び装置 |
JP2007506361A (ja) * | 2003-09-17 | 2007-03-15 | トムソン ライセンシング | 適応参照画像の発生 |
US8094711B2 (en) | 2003-09-17 | 2012-01-10 | Thomson Licensing | Adaptive reference picture generation |
US7945106B2 (en) | 2003-09-23 | 2011-05-17 | Thomson Licensing | Method for simulating film grain by mosaicing pre-computer samples |
JP2007521573A (ja) * | 2003-09-23 | 2007-08-02 | トムソン ライセンシング | 事前に計算されたサンプルをモザイキングすることでフィルムグレインをシミュレートするための方法 |
US8150206B2 (en) | 2004-03-30 | 2012-04-03 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
US9953401B2 (en) | 2004-10-18 | 2018-04-24 | Thomson Licensing | Apparatus and system for determining block averages for film grain simulation |
JP2008518289A (ja) * | 2004-10-18 | 2008-05-29 | トムソン ライセンシング | フィルム粒度シミュレーションのためのブロック平均決定方法 |
US8023567B2 (en) | 2004-11-24 | 2011-09-20 | Thomson Licensing | Film grain simulation technique for use in media playback devices |
US8059203B2 (en) | 2005-02-21 | 2011-11-15 | Panasonic Corporation | Moving picture processing method |
US8351756B2 (en) | 2005-11-29 | 2013-01-08 | Panasonic Corporation | Reproduction device |
JPWO2007063912A1 (ja) * | 2005-11-29 | 2009-05-07 | パナソニック株式会社 | 再生装置 |
WO2007063912A1 (ja) * | 2005-11-29 | 2007-06-07 | Matsushita Electric Industrial Co., Ltd. | 再生装置 |
JP2010520510A (ja) * | 2007-03-07 | 2010-06-10 | サムスン エレクトロニクス カンパニー リミテッド | ノイズ信号の符号化及び復号化の装置及び方法 |
US10715834B2 (en) | 2007-05-10 | 2020-07-14 | Interdigital Vc Holdings, Inc. | Film grain simulation based on pre-computed transform coefficients |
JP2013517724A (ja) * | 2010-01-20 | 2013-05-16 | シーメンス アクチエンゲゼルシヤフト | ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法 |
US8837850B2 (en) | 2010-01-20 | 2014-09-16 | Siemens Aktiengesellschaft | Method for reducing noise for coding of noisy images or image sequences |
US20150213581A1 (en) * | 2014-01-29 | 2015-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for image quality enhancement using phase modulation of high frequency elements |
JP2018046407A (ja) * | 2016-09-14 | 2018-03-22 | 日本放送協会 | レート制御装置、映像復号装置、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3980659B2 (ja) | 2007-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3163830B2 (ja) | 画像信号伝送方法及び装置 | |
US5663763A (en) | Picture signal encoding method and apparatus and picture signal decoding method and apparatus | |
JPH08163594A (ja) | 動画像復号化方法及び動画像復号化装置 | |
KR100289852B1 (ko) | 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체 | |
JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
WO1995013682A1 (en) | Animation encoding method, animation decoding method, animation recording medium and animation encoder | |
JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
JP3689437B2 (ja) | 画像信号の符号化方法及び装置 | |
JP4596277B2 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
JP3322376B2 (ja) | 動画像復号化方法及び動画像復号化装置 | |
JP4121567B2 (ja) | 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置 | |
JP3271091B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
JP3307379B2 (ja) | 復号化装置及び方法 | |
JP3689626B2 (ja) | 画像信号の復号化方法及び装置 | |
JP3516622B2 (ja) | 復号化装置及び方法 | |
JP3164110B2 (ja) | 符号化装置及び方法 | |
JP3516621B2 (ja) | 符号化装置及び方法 | |
JP3500340B2 (ja) | コーディング装置及び方法 | |
JPH09238345A (ja) | 画像信号符号化方法及び装置、画像信号伝送方法、画像信号復号方法及び装置並びに記録媒体 | |
JP2006020353A (ja) | 画像信号符号化装置および方法、画像信号復号装置および方法 | |
JP2000165870A (ja) | コ―ディング装置及び方法 | |
JP2000156859A (ja) | 符号化装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050124 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070628 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |