JPH1042297A - 動画像復号化装置及び動画像復号化方法 - Google Patents
動画像復号化装置及び動画像復号化方法Info
- Publication number
- JPH1042297A JPH1042297A JP9103424A JP10342497A JPH1042297A JP H1042297 A JPH1042297 A JP H1042297A JP 9103424 A JP9103424 A JP 9103424A JP 10342497 A JP10342497 A JP 10342497A JP H1042297 A JPH1042297 A JP H1042297A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- signal
- field
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
予測誤差の符号化出力の情報量を減らす共に、動きベク
トル情報の増加を最小限に止めることができる動画像復
号化装置を提供する。 【解決手段】連続した第1、第2の参照フィールドの画
像信号について符号化対象フィールドの画像信号との間
の第1、第2の動きベクトルにより指定された参照画像
信号に対し時空間フィルタ処理を施すことにより生成さ
れた予測信号と符号化対象フィールドの画像信号との差
分信号を符号化する符号化モードであって、第2の動き
ベクトルとなり得る複数の動きベクトル候補のうち、第
1の動きベクトルに方向が最も近いベクトルと第2の動
きベクトルとの差分の大きさが所定値以下の範囲でのみ
を選択される符号化モードによって符号化された分信号
を復号化し、この差分信号を用いて符号化対象フィール
ドの画像信号を再生する。
Description
蓄積および放送等において、ビデオ信号などの動画像信
号を符号化するための動画像復号化装置及び動画像復号
化方法に係り、特に動き補償予測符号化を用いた動画像
復号化装置及び動画像復号化方法に関する。
VTRおよびCATV等の装置では、動画像信号を符号
化する技術が必要となる。このような動画像の符号化方
式として、符号化しようとする画像(以下、符号化象画
像という)の画素値を動きベクトルで指定される既に符
号化されている参照画像の画素値を用いて予測し、その
予測誤差と動きベクトルを符号化する、いわゆる動き補
償予測符号化が知られている。
ョンビデオ信号のようなインターレース画像(フィール
ド画像)に適用する場合、フィールド内1/2ライン精
度以上の動き精度(フレーム内1ライン精度以上の動き
精度)に対しては、参照画像中に対応する画素値が存在
しないために対応出来ないという問題がある。
しない画素の画素値を隣接する2フィールドの画像を用
いて補間して動き補償を行う方法が提案されている(例
えば1990年画像符号化シンポジウム(PCSJ9
0)、8−1、「適応ライン補間フィールド間動き補償
方式の検討」)。この動き補償方式では、符号化対象画
像信号は参照画像信号および最適動きベクトルを用いて
符号化される。参照画像信号は、過去2フィールドの符
号化済み画像信号のうち、動きベクトル探索回路で得ら
れる動きベクトルによって指定される位置の信号から補
間によって作成される。具体的には3つのフィールドメ
モリを用意し、第1のフィールドメモリの出力からフィ
ールド内補間によって作成される信号と、第2のフィー
ルドメモリの出力とを混合比km :1−km で混合する
ことにより参照画像信号が作成される。km は第1のフ
ィールドメモリと第3のフィールドメモリの出力を基
に、動き検出回路によって検出される動き量によって変
化する。
関係を示すための図である。3つのフィールドメモリに
蓄積された画像信号41,42,43および符号化対象
画像信号44の関係は図に示す通りであり、動きベクト
ルの垂直方向成分がフィールド内n+1/2ライン(n
は整数)の場合、画像信号41内の対応する画素値をそ
のまま参照画像信号として出力する。例えばn=0の場
合、符号化対象画像信号44の画素値45に対する参照
画像信号の画素値は46となる。動きベクトルの垂直方
向成分がフィールド内nラインの場合には、画像信号4
2,43の補間値△に隣接する信号○を用いて補間値△
を作成する。即ち、例えば符号化対象画像信号44内の
画素値45に対する参照画像信号となる補間値49は、
フィールド内補間によって作成される、画素値46と画
素値47の平均値がkm 倍された値と、画素値48が
(1−km )倍された値との加算値となる。このとき、
動き検出回路において動きが大と判定された場合には、
補間値△をそれと同一フィールドの画像信号内の、補間
値△に隣接する信号を主に用いて補間することが適切で
あるからkm を大とし、動きが小と判定された場合に
は、補間値△をそれに隣接するフィールドの画像信号内
の、補間値△に隣接する信号を主に用いて補間すること
が適切であるからkm を小とする。
信号を用いて動き量に適応させて補間値を作成すること
により、フィールド画像においてもフィールド内1/2
ライン精度以上の動き精度(フレーム内1ライン精度以
上の動き精度)に対して適切な参照画像信号を発生する
ことができるようになり、精度の良い動き補償予測が可
能となる。
参照画像における動きの検出が必要であり、そのための
動き検出回路が必要となる。また、動き検出を可能とす
るために、隣接する3フィールドが既に符号化済みでな
ければならない。従って、隣接する3フィールドが既に
符号化されていない場合には、動き検出ができないとい
う問題が生じる。
化されていない場合の一例を示す。この例においては、
VTRでの特殊再生(ランダムアクセス、早送り再生、
逆転再生等)の必要な蓄積系への適応を考慮して、複数
フィールド毎(図においては6フィールド毎)に隣接す
る2フィールド(図の例ではフィールド1,2,7,
8)を予め符号化し、残りの4フィールド(図の例では
3〜6)を予め符号化した近傍の2フィールドを参照画
像として動き補償予測符号化する方法をとっている。こ
のような場合、隣接する3フィールドが既に符号化され
ていないため、動き検出が出来ないことになる。
方式を用いた動画像符号化装置において、従来では順方
向あるいは逆方向の動き補償のための動きベクトル探索
に際し、動きベクトルを探索する参照画像としては、符
号化対象画像がノンインタレース画像の場合は符号化済
みの1画像だけに限定されるため、隣接する画像間で1
/2画素単位の移動が存在する動画像に対しては正確な
動き補償ができないという問題があった。画像がインタ
レース画像の場合は、前述のように符号化済みの連続す
る2画面の画像を使用するが、従来では2画面とも同一
面積を探索しているため、探索のための演算量が非常に
多くなっていた。
うちでも特にVTRや光ディスクのような蓄積メディア
のための符号化方式として、1〜2Mbps程度の伝送
レートをターゲットとした動画像符号化方式がMPEG
1なる規格名で標準化されつつある。これは、動き補償
フレーム間予測+DCTを基本とした方式である。
質の動画像を2〜10Mbps程度で符号化する方式の
検討が進んでいる。MPEG1の符号化方式をこれに適
応しようとする場合、MPEG1は入力画像としてノン
インタレース画像を前提としているのに対して、TV信
号はインタレース画像の信号であるため、インタレース
画像に適した新たな工夫が必要となる。インタレース画
像の符号化においては、フィールド間/フレーム間適応
予測が知られている。これは注目フィールドと走査位相
の一致するフィールド(注目フィールドが奇数フィール
ドの場合は奇数フィールド、また注目フィールドが偶数
フィールドの場合は偶数フィールド)と、一致しないが
時間的に近いフィールド(例えば注目フィールドが奇数
フィールドの場合はそれに隣接する偶数フィールド、ま
た注目フィールドが偶数フィールドの場合はそれに隣接
する奇数フィールド)とを予測信号として切り替える方
式である。また、最近の研究では複数のフィールドに対
して動き補償した信号を平均して予測する内挿予測も検
討されている(例えばF.Wang et al.,"High-quality co
ding of the even fields based on the odd fields of
interlaced videosequences",IEEE trans.CS)。
もMPEG1の符号化におけるような過去のフィールド
と未来のフィールドを使った予測符号化を行なう上で、
インタレース画像に適した偶/奇両フィールドを使った
予測方法をとり入れることが望まれる。この場合、各フ
ィールドに対して動きベクトルを送ると、動きベクトル
の情報量が増大するので、効率を極力落とさずに動きベ
クトルの情報量も減らすことが必要となる。すなわち、
インタレース画像に対する予測精度を向上して予測誤差
の符号化出力の情報量を減らすと共に、動きベクトル情
報の増加を最小限に止めることが要求されるが、従来で
はこのような要求に応えられる有効な技術は未だ提案さ
れていない。
の技術では参照画像上の画素が存在しない点の画素を参
照画像に隣接する2フィールドの画像を用いて補間する
場合、参照画像について動き検出が必要であるため、動
き検出回路が必要となりハードウェアが複雑になると共
に、隣接する3フィールドが既に符号化されていない場
合には動き検出ができないという問題があった。
ンインタレース画像の場合、動きベクトル探索に際して
参照画像は符号化済みの1画像だけに限定されるため、
隣接する画像間で1/2画素単位の移動が存在する動画
像に対しては正確な動き補償ができず、符号化効率が低
下するという問題があり、さらに符号化対象画像がイン
タレース画像の場合は、動きベクトル探索のための演算
量が非常に多くなるため、動きベクトル探索時間が長く
なったり、ハードウェアの回路規模が増大するという問
題があった。
像に対する予測精度を効果的に向上させることができ
ず、また各フィールドに対して送られる動きベクトルの
情報量が増大するという問題があった。
る予測精度を向上して予測誤差の符号化出力の情報量を
減らす共に、動きベクトル情報の増加を最小限に止める
ことができる動画像復号化装置及び動画像復号化方法を
提供することにある。
め、本発明に係る動画像復号化装置および動画像復号化
方法は、符号化済み画像信号に対応する連続した第1、
第2の参照フィールドの画像の画像信号について符号化
対象フィールドの画像の画像信号との間の第1、第2の
動きベクトルによりそれぞれ指定された参照画像信号に
対し時空間フィルタ処理を施すことにより生成された、
符号化対象フィールドの画像信号に対する予測信号と該
符号化対象フィールドの画像信号との差分信号を符号化
する符号化モードであって、第2の動きベクトルとなり
得る複数の動きベクトル候補のうち、第1の動きベクト
ルに方向が最も近いベクトルと第2の動きベクトルとの
差分の大きさが所定値以下の範囲でのみを選択される符
号化モードによって符号化された差分信号を復号化し、
この復号化された差分信号を用いて符号化対象フィール
ドの画像の画像信号を再生することを特徴とする。
第2の動きベクトルによりそれぞれ指定された参照画像
信号を時空間フィルタ処理により平均化することによっ
て生成された信号である。
号化装置および動画像復号化方法は、連続する第1、第
2の参照フィールドの画像の画像信号と符号化対象フィ
ールドの画像の画像信号との間の第1、第2の動きベク
トルによりそれぞれ指定された第1、第2の参照フィー
ルドの画像上の参照画像信号に対し時空間フィルタ処理
を施すことにより生成された、符号化対象フィールドの
画像の画像信号に対する予測信号と、符号化対象フィー
ルドの画像の画像信号と予測信号との誤差情報を符号化
する符号化モードであって、第2の動きベクトルとなり
得る複数の動きベクトル候補のうち、第1の動きベクト
ルに方向が最も近い換算ベクトルと第2の動きベクトル
との差分の大きさが所定値以下の範囲でのみ選択される
符号化モードによって符号化された誤差情報を復号化
し、この復号化された誤差情報を用いて符号化対象フィ
ールドの画像の画像信号を再生することを特徴とする。
的には第1、第2の動きベクトルによってそれぞれ指定
された第1、第2の参照フィールドの画像上の参照画像
信号を平均化する処理によって生成された信号である。
生成においては、予測に用いる過去の1フィールドの複
数画素に空間フィルタ処理を施した出力と、この空間フ
ィルタ処理を施した出力の1画素以下の精度の位置に補
間した補間画素と予測に用いる過去の他のフィールドの
画素との間で時間フィルタを施した出力とを複数の予測
信号候補として生成し、また符号化においては空間フィ
ルタ処理が施されるフィールドに対する動きベクトルは
1画素以下の精度で符号化し、それ以外のフィールドに
対する動きベクトルは該1画素以下の精度で符号化する
動きベクトルを当該フィールドにおける動きベクトルと
の差分を符号化する。
参照フィールドの画像の画像信号と符号化対象フィール
ドの画像の画像信号との間の第1、第2の動きベクトル
によりそれぞれ指定された第1、第2の参照フィールド
の画像上の参照画像信号に対し時空間フィルタ処理を施
すことにより、符号化対象フィールドの画像の画像信号
に対する予測信号を生成し、符号化対象フィールドの画
像の画像信号と予測信号との誤差情報を符号化する符号
化モードを有する動画像符号化装置において、第2の動
きベクトルとなり得る複数の動きベクトル候補のうち、
第1の動きベクトルに方向が最も近い換算ベクトルと第
2の動きベクトルとの差分の大きさが所定値以下の範囲
でのみ該符号化モードが選択されるようにすることによ
り、インタレース画像に適した効率的で精度の良い予測
を行うことが可能であり、特にインタレース画像におけ
る動領域においてより精度の高い予測信号を得ることが
でき、しかも、これに伴う動きベクトル情報の増加を差
分動きベクトルの採用により最小限に抑えることができ
る。
像を参照画像として動きベクトルを探索する場合、符号
化対象フィールドの画像に時間的に近い符号化済み画像
については広い範囲にわたり探索を行い、符号化対象画
像から時間的に遠い符号化済み画像についてはより限定
された狭い範囲にわたり探索を行うことにより、動きベ
クトル探索のための演算量を抑えつつ、正確な動き補償
が可能となる。
間的に近い符号化済み画像での探索により、少なくとも
1つの符号化効率の良い動きベクトルの候補を求め、そ
の動きベクトルを基準にベクトルの延長等の操作を行え
ば、符号化対象フィールドの画像と時間的に離れた符号
化済み画像との間の符号化効率の良い動きベクトルの候
補となる領域の中心を限定できる。この場合、時間的に
近い符号化済み画像で動きベクトルの候補として選択さ
れた領域が時間的に離れた符号化済み画像との間の動き
ベクトルを用いて符号化されていれば、直ちにその時間
的に離れた画像と符号化対象フィールドの画像との間の
動きベクトルの候補となる領域の存在する範囲を限定で
きる。
い符号化済み画像でも候補となる動きベクトルが存在し
ない場合や、時間的に近い符号化済み画像で候補として
求められた動きベクトルが非常に大きく時間的に離れた
符号化済み画像では符号化効率の良い動きベクトルが存
在しないことを予想できる場合には、時間的に離れた符
号化済み画像での動きベクトルの探索を行わないこと
や、更に探索範囲を限定するなどのことができる。この
ようにすることにより、探索に要する演算量が少なくと
も符号化効率の良い動きベクトルが求められる。
場合には、通常のカメラ撮影の画像では1画像の中でも
動きによるぼけが存在するために、画像間で動き補償を
行う時に、1/2画素単位の差を生じ難い。即ち、その
様な場合は時間的に更に離れた画像で動きベクトルを求
めても、探索のための演算量が増加するにも拘らず、符
号化効率の向上は少ない。従って、時間的に離れた画像
での動きベクトルの探索範囲を符号化対象フレームの画
像の符号化領域の近傍に制限することにより、探索のた
めの演算量を更に低減して高い符号化効率が得られる。
の画像間の動きベクトルで指定される領域の参照画像に
時空間フィルタ処理を施して予測信号候補を生成し、こ
れらの中から予測信号を決定するため、フィールド単位
で入力される入力画像、すなわちインターレース画像に
適した予測が可能となり、予測精度が向上する。この場
合、時空間フィルタ処理が施されるフィールドに対する
動きベクトルは1画素以下の精度で符号化するが、それ
以外のフィールドに対する動きベクトルは該1画素以下
の精度で符号化する動きベクトルを当該フィールドにお
ける動きベクトルに換算したものと当該フィールドにお
ける動きベクトルとの差分として符号化して伝送するこ
とで、最終的に伝送される動きベクトルの情報が減少す
る。
符号化されたデータから元の動画像信号を再生すること
ができる。
説明する。図1は、本発明の第1の実施形態に係る動画
像符号化装置のブロック図である。図1の動画像符号化
装置は、符号化部14、2つのフィールドメモリ15,
16、動きベクトル探索回路17、補間値発生回路19
および局部復号部25によって構成される。
路19から出力される参照画像信号12と、動きベクト
ル探索回路17から出力される最適動きベクトル13を
用いて符号化部14で符号化される。参照画像信号12
は、フィールドメモリ15,16に蓄積されている過去
2フィールドの符号化済み画像信号のうち動きベクトル
探索回路17から出力される動きベクトル候補18によ
って指定される位置の画像信号から、補間値発生回路1
9によって作成される。
路20、動きベクトル候補発生回路21、最適ベクトル
判定回路22および切替器23からなり、動きベクトル
探索動作中は動きベクトル候補発生回路21が逐次発生
する動きベクトル候補24が切替器23によりフィール
ドメモリ15,16に入力され、これをもとに補間値発
生回路19により発生される参照画像信号12と符号化
対象画像信号11との相関演算が相関演算回路20によ
って行われる。最適ベクトル判定回路22は、符号化対
象画像信号11と参照画像信号12との相関を最大とす
る動きベクトルを記憶し、動きベクトル探索動作終了時
には最適動きベクトル13が切替器23によって出力さ
れる。この最適動きベクトル13と補間値発生回路19
からの最適な参照画像信号12に基づいて符号化対象画
像信号11が符号化部14で符号化され、符号化データ
26が出力される。
される符号化データ26を基に、局部復号画像信号27
を作成する。この局部復号画像信号27は切替器28に
よりフィールドメモリ15,16のいずれかに入力さ
れ、それらの出力は切替器29を経て補間値発生回路1
9に入力される。ここで、切替器28,29は符号化対
象画像に対して予め定めた参照画像を作成するための2
画像の信号が補間値発生回路19に入力されるように切
替えられる。
回路30、乗算器31、乗算器32および加算器33か
らなり、フィールドメモリ15からの出力信号よりフィ
ールド内補間回路30によって作成される信号と、フィ
ールドメモリ16からの出力信号とを混合比k:1−k
で混合することにより参照画像信号12を得る。
動きベクトル候補18は補間値発生回路19にも入力さ
れ、フィールドメモリ15,16からの出力信号に対す
る混合比を決定するパラメータkを制御する。すなわ
ち、動きベクトル候補18の垂直方向成分がフィールド
内n+1/2ライン(nは整数)の場合はk=1に制御
され、フィールドメモリ15に記憶された対応する画素
値(ここでは、フィールドメモリ15の内容が符号化対
象画像に近い画像であると仮定して説明する)がそのま
ま参照画像信号12として出力される。
ィールド内nラインの場合には、フィールドメモリ1
5,16からの出力信号を用いて図2における補間値△
が補間される。このとき、動きベクトル候補18の垂直
方向成分の絶対値がある閾値より大の場合は、参照画像
における動きも大とみなし、補間値△をそれと同一フィ
ールドのフィールドメモリ15内の補間値△に隣接する
信号を主に用いて補間することが適切であるから、パラ
メータkを大とする。逆に、動きベクトル候補18の垂
直方向成分の絶対値が閾値より小の場合は、参照画像に
おける動きも小とみなし、補間値△をフィールドメモリ
内の補間値△に隣接する信号を主に用いて補間すること
が適切であるから、パラメータkを小とする。
4と参照画像41が隣接している場合には、パラメータ
kを0に近づけてフィールドメモリ16からの信号を参
照画像41の補間値として使用することが有効なのは、
動きベクトル候補18の垂直成分の絶対値が0の場合に
ほとんど限られる。一方、図3に示したような符号化順
序を採用する場合、図4に示すように符号化対象画像5
3と参照画像51とが比較的離れる場合も生じる。この
ような場合は、パラメータkを0に近づけてフィールド
メモリ16からの信号を参照画像51の補間値として使
用することが、動きベクトルの垂直成分の絶対値が0で
ない場合にも有効となってくる。
補間値発生回路19の構成以外は図1と同一であるた
め、その詳細な説明は省略する。補間値発生回路19は
2つの補間値発生回路34,35と、これらの出力を選
択する切替器36によって構成される。補間値発生回路
34,35は、いずれも図1に示した補間値発生回路1
9と同様に、フィールド内補間回路30と乗算器31,
32および加算器33により構成される。図6に本実施
形態における各画像信号の関係を示す。
1における動き量が大の場合に有効な補間値を発生す
る。すなわち、図6(a)に示すように、動きベクトル
候補18の垂直方向成分がフィールド内n+1/2ライ
ン(nは整数)の場合は、フィールドメモリ15に記憶
された対応する画素値○(ここでは、フィールドメモリ
15の内容が符号化対象画像63に近い画像であると仮
定して説明する)がそのまま参照画像信号として出力さ
れる(k=1に制御される)。
クトル候補18の垂直方向成分がフィールド内nライン
(nは整数)の場合には、補間すべき画素△に隣接する
フィールドメモリ15内の画像信号61の二つの画素値
○の平均によって補間値△を作成する。
1における動き量が小の場合に有効な補間値を発生す
る。すなわち、図6(b)に示すように、動きベクトル
候補18の垂直方向成分がフィールド内n+1/2ライ
ン(nは整数)の場合、フィールドメモリ15に記憶さ
れた対応する画素値○(ここでは、フィールドメモリ1
5の内容が符号化対象画像63に近い画像であると仮定
して説明する)がそのまま参照画像信号として出力され
る(k=1に制御される)。例えばn=0の場合、符号
化対象画像信号64に対する参照画像信号は画素値65
となる。
クトル候補18の垂直方向成分がフィールド内nライン
の場合は、補間すべき画素◎を隣接するフィールドメモ
リ16内の信号○とする。例えば、n=0の場合、符号
化対象画像信号64に対する参照画像信号の補間値68
は、画素値66となる。
ィールド内n/2+1/4ラインの場合には、補間すべ
き画素△に隣接するフィールドメモリ15からの画素値
○と、フィールドメモリ16からの画素値○との平均に
よって、補間値△が作成される。例えばn=0の場合、
符号化対象画像信号64に対する参照画像信号の補間値
67は、画素値65と画素値66の平均値となる。
ルド内1/4ライン単位の精度で参照画像信号を発生さ
せることができ、動きが少なく解像度の高い画像に対し
て有効な動き補償を可能とする。
路17から出力される動きベクトル候補18の垂直方向
成分の絶対値がある閾値より大の場合、補間値発生回路
34の出力を選択し、閾値より小の場合は補間値回路3
5の出力を選択することにより、それぞれに適切な参照
画像信号を発生する。また、別の方式として、動きベク
トル探索回路17から出力される動きベクトル候補18
の垂直方向成分の絶対値が大の時は補間値回路34の出
力を選択し、小の場合は補間値発生回路34,35の両
方の出力を参照画像信号とし、両者について相関演算を
行って、いずれか一方を選択する方法も有効である。
明する。図7は、本発明の第3の実施形態に係る動画像
符号化装置のブロック図である。
る画像データは、入力バッファメモリ100に一時的に
蓄えられた後、符号化対象画像の順序に従って、複数画
素で構成される部分領域毎に、部分画像データ入力バッ
ファメモリ100より読み出される。入力バッファメモ
リ100より読み出される部分画像データは、動きベク
トル検出回路200に入力される。動きベクトル検出回
路200は、過去に符号化した再生画像の中から入力デ
ータを効率良く符号化できる部分画像を求め、その部分
画像の領域のデータおよびその領域の位置を示す動きベ
クトル(アドレスデータ)を出力する。
部分画像データは、動きベクトル検出回路200より出
力される部分画像データおよび動きベクトルと共に局部
符号化回路300にも入力される。この局部符号化回路
300では、入力バッファメモリ100より出力される
部分画像データそのもの、または動きベクトルで指定さ
れる部分画像データとの差分データのうち何れか一方が
符号化される。ここで、動きベクトルで指定される領域
との差分の符号化データには、その動きベクトルを可変
長符号化したデータも含まれる。
タは、動きベクトル検出回路200より出力される部分
画像データと共に局部復号回路400に入力され復号さ
れることにより、再生画像が得られる。また、符号化デ
ータが動きベクトルを用いて符号化されている場合に
は、復号結果が動きベクトル検出回路200より出力さ
れる部分画像データに加算されて再生画像が得られる。
この再生画像データは、動きベクトル検出回路200に
入力され、次に入力される画像データの符号化のために
一時記憶される。
符号化回路300および局部復号回路400の具体的な
動作例を説明する。
ては、入力バッファメモリ100より入力されるデータ
は、動きベクトルの探索に不要となった画像データが記
憶されていた画像メモリ(211〜214の何れか)
に、書込制御回路222によって順次書き込まれる。こ
の様にして画像メモリ(211〜214)に保存された
符号化済み画像データは、読出制御回路221およびデ
ータ切り換え回路231により、符号化画像に時間的に
近い画像から領域毎に順次読み出され、差分回路241
で入力データとの差分が領域毎に算出される。評価回路
242は、この領域毎の差分の合計値の大きさを順次比
較し、読出制御回路221が画像メモリ内を探索する方
向を制御し、先に検出した部分画像よりも入力された部
分画像との差分が更に小さな符号化済み画像の部分領域
を検出する毎に、ベクトルレジスタ243にその部分画
像の領域を示すアドレスを記憶させ、入力された部分画
像に最も近い符号化済み画像の部分領域を求める。この
ようにしてクトルレジスタ243に記憶された、入力さ
れた部分画像との差分が最も小さな符号化済み画像の部
分領域を示すアドレスデータは読出制御回路233およ
び切替回路232に入力され、その符号化済み画像の部
分領域に対する符号化データの再生画像が再生画像メモ
リ(215〜218)より読み出され、そのアドレスデ
ータと共に局部符号化回路300に入力される。
この実施形態では動き補償誤差の符号化方法として直交
変換の一つであるDCT(離散コサイン変換)と量子化
および可変長符号化を用いている。局部符号化回路30
0において、先ず入力バッファメモリ100から出力さ
れる部分画像データは差分回路311に入力され、その
部分画像データに対して動きベクトル検出回路200か
ら出力される、符号化データを再生した部分画像データ
との差分が算出される。切替回路312は、差分回路3
11より入力される差分画像データと入力バッファメモ
リ100より入力される部分画像データとを端子002
に入力される制御信号によって順次切り替えて出力す
る。
順次出力される部分画像データおよび差分画像データを
順次周波数変換して出力する。量子化回路330は、D
CT回路320から出力される周波数変換されたデータ
を予め設定された量子化幅で量子化して出力する。エン
トロピ符号器340は、量子化回路330で量子化され
たデータと、その量子化幅情報および部分画像データと
差分データとの識別符号を併せて符号化し、更に差分画
像データの符号化にはベクトルレジスタ243より出力
される該部分画像に対する動きベクトルも併せて、それ
ぞれの出現確率に応じたハフマン符号等を用いて可変長
符号化して出力する。この識別符号と動きベクトルを併
せて1つのハフマン符号を形成すれば、効率の良い符号
化が可能である。また、この符号化において、予め決め
られた規則により指定される領域の符号化データを再生
して得られた画像データ、或いは固定データとの差分が
設定値以下の入力画像データについては、その様な部分
画像の連続数を可変長符号化すれば、更に符号化効率が
向上する。
分画像が動きベクトルで指定された領域との差分を符号
化した場合と、入力データをそのままDCTして符号化
した場合とで符号量の比較を行い、符号化効率の良い方
の符号化データを出力バッファ360および局部復号回
路400に出力する。
調整の為に、この符号化データを一時的に記憶すると共
に、量子化回路330で用いられる量子化幅とエントロ
ピ符号化器340で用いられる符号化テーブルを制御す
る。
トル検出回路200より出力される部分画像データがデ
ータメモリ441に一時記憶されるとともに、符号量評
価回路351より出力される符号化データが可変長復号
器410に入力され、識別符号を含む動きベクトルおよ
び符号化前の量子化データが復号される。この復号され
た量子化データは逆量子化回路420に入力され、量子
化前のダイナミックレンジを持つ代表値に変換(逆量子
化)された後、加算回路450に入力される。逆量子化
回路420で逆量子化されたデータは逆DCT回路43
0に入力され、部分画像データ又は差分画像データが再
生される。ゲート回路442は、可変長復号器410が
復号した識別符号により、逆DCT回路430より出力
される再生データが差分画像データである場合にはデー
タメモリ441より出力される部分画像データを通過さ
せ、差分画像でない場合には出力データを零にして、そ
れぞれ加算回路450に出力する。
画像を符号化したものである場合には、動きベクトル検
出回路200より出力される部分画像データに加算さ
れ、差分画像でない場合には、動きベクトル検出回路2
00より出力された部分画像データを使用せずに、加算
回路450より再生画像が得られる。この再生画像デー
タは、動きベクトル検出回路200に入力され、次に入
力される画像データの符号化の為に一時記憶される。
1の符号化回路400に含まれる可変長復号回路410
の代わりに量子化データを記憶するデータメモリ460
を用いた点が異なっている。この場合には、入力バッフ
ァメモリ100より出力される部分画像データとそれに
対する動きベクトルで指定される再生画像との差分画像
データをDCTおよび量子化したデータがデータメモリ
460に一時記憶される。そして、符号量評価回路35
2で選択され、出力バッファ360に出力される符号化
データに対応する画像データが逆量子化回路420に出
力される。この画像データが差分画像データである場合
には、図1の例と同様にデータメモリ441から出力さ
れる部分画像データと加算回路450において加算され
ることによって再生画像が得られる。
あるために、図1よりも処理時間が短くなるという利点
がある。
号化回路400の一部を動きベクトル検出回路に用いる
様にした例である。この実施形態においても、動きベク
トル検出回路200は既に符号化し再生した画像の中か
ら読出制御回路224に従って部分画像データを切替回
路232を介して読み出すと共に、その領域の位置を示
す動きベクトル(アドレスデータ)を出力する。
る画像データは、図7および図8と同様に入力バッファ
メモリ100に一時的に蓄えられた後、符号化対象画像
の順序に従って複数画素で構成される領域毎に入力バッ
ファメモリ100より読み出され、局部符号化回路30
0に入力される。この入力バッファメモリ100より出
力される部分画像データは、先ず入力端子002に入力
される制御信号によりゲート回路313を介して入力さ
れる動きベクトル検出回路200からの出力データとの
差分はとられず、図7および図8と同様にDCT、量子
化、可変長符号化が施される。量子化データはデータメ
モリ460に記憶され、符号化データおよび符号量は符
号量評価器353に記憶される。次に、入力端子002
に入力される制御信号が変更され、動きベクトル検出回
路200により出力される部分画像データとの差分を算
出されて、図7および図8と同様にDCT、量子化、可
変長符号化が行われる。
340からの符号化データを評価して、その評価結果に
従って読出制御回路224を制御することにより、符号
量を更に少なくできる領域を検出する毎にその符号化デ
ータを記憶させると共に、動きベクトル検出回路200
から出力された部分画像データをデータメモリ441に
記憶させ、その差分画像をDCTして量子化したデータ
をデータメモリ460に記憶させる。この様にして最終
的に最も符号量の少なくなる符号化データが出力バッフ
ァ360に出力される。この符号化データに対する量子
化データが局部復号回路400において図7および図8
と同様に再生される。再生データは動きベクトル検出回
路200に入力され、次に入力される画像データの符号
化の為に一時記憶される。
適動きベクトルとして、より正確な動きベクトルが求ま
るのに対し、図9の実施形態では符号化効率を最大にす
る動きベクトルが求められる。
おいて符号化されたデータを再生する回路例を示すもの
である。可変長復号器510は入力端子004から入力
される符号化データを復号し、量子化幅情報、動きベク
トル(動きベクトルで指定される部分画像との差分画像
データかそうでないかの識別符号を含む)、および量子
化データを再生する。量子化データは逆量子化回路52
0、逆DCT回路530を通して再生される。この再生
データが動きベクトルで指定される部分画像との差分画
像データであれば、読出制御回路521がその部分画像
データを再生画像メモリ611〜614より読み出して
動きベクトル検出回路600から出力し、局部復号回路
500に入力する。この部分画像データは、ゲート回路
540を介して加算回路550で差分画像データと加算
されて、再生画像データとなる。この再生画像データ
は、次に入力される符号化データの再生の為に動きベク
トル検出回路600に入力され、一時記憶される。ま
た、この再生画像データは出力バッファ560にも入力
され、本来の画像の順序に戻されて出力される。
よび読出制御回路221、図9の符号量評価器352お
よび読出制御回路224において行われる動きベクトル
の探索動作について説明する。
トル探索例を示すものである。これらの図11〜図16
において、s1,s2,…,s6は1フレームまたは1
フィールドの画像を意味し、101,102,…,12
0は水平方向または垂直方向の1画素または複数画素を
意味する。
は、符号化対象の部分画像(例えばs4−104)に対
して、先ず時間的に近い符号化済み画像s3全体(10
1〜120)を探索し、その探索により求められた最適
動きベクトル、すなわち符号化効率が高いか、またはよ
り正確な動きベクトル(例えばs3−107)を基にし
て符号化対象画像に符号化済み画像s3よりも時間的に
離れた符号化済み画像s2での探索範囲(面積)を例え
ば(105〜115)に限定する。
の探索においては、先に求められた最適動きベクトル
(例えばs03−107)を含めて、最適動きベクトル
(例えばs02−109或いはs03−107)を求め
る。
ばs2−107)により指定される領域の画像と、符号
化対象の部分画像(例えばs4−104)との差分、す
なわち動き補償誤差を求め、その最適動きベクトルと動
き補償誤差を符号化する。
は、符号化対象画像s4に時間的に近い画像(例えばs
3)が時間的に離れた画像(例えばs1)との間の動き
ベクトルを用いて符号化されている場合に好適な例であ
る。この場合、符号化対象の部分画像s4−104に対
して時間的に近い画像s3との間の動きベクトルを予測
することが可能であるため、その時間的に近い画像s3
での探索範囲を例えば(103〜112)に制限してい
る。また、これによって時間的に近い画像との間の符号
化効率の良い動きベクトル(例えばs3−107)が求
まれば、その動きベクトルで指定される時間的に近い画
像の部分領域(例えばs3−107)に対して使用され
た時間的に離れた画像(例えばs1)との間の動きベク
トル(例えばs1−110)を用いて、符号化対象画像
s4の部分画像s4−104の時間的に離れた画像(例
えばs2)との間の動きベクトルの候補となる領域を更
に狭い範囲、例えば(107〜110)に限定できる。
間で動きが非常に大きく、時間的に近い画像s3でも候
補となる動きベクトルが存在しない場合や、時間的に近
い画像s3で候補として求められた動きベクトル(例え
ばs3−116)が非常に大きく、時間的に離れた画像
s2では符号化効率の良い動きベクトルが存在しないこ
とを予想できる場合の例である。
については動きベクトルの探索を行わないか、または探
索範囲を例えば(116〜120)のように更に限定す
ることができる。これにより、動きベクトルの探索に要
する演算量が少なくても、符号化効率の良い動きベクト
ルを求めることが可能となる。
化対象の部分画像s4−104に時間的に近い画像s3
で求められた動きベクトル(例えばs3−107)があ
る程度大きな場合や、適当な動きベクトルが求められな
かった場合の例である。これらの場合は、時間的に離れ
た画像s2での動きベクトルの探索は行わず、時間的に
近い画像s3との間の動きベクトルが小さい場合にの
み、時間的に離れた画像s2での探索範囲を符号化対象
画像s4の符号化領域と同じ位置の近傍(例えば103
〜105)に制限して動きベクトルの探索を行うように
する。
は、通常のカメラ撮影の画像では1画像の中でも動きに
よる“ぼけ”が存在するため、画像間で動き補償を行う
ときに1/2画素単位の差を生じ難い。即ち、そのよう
な場合は時間的に更に離れた画像で動きベクトルを求め
ても、探索のための演算量が増加するにも拘らず、符号
化効率の向上は少ない。図16の例によれば、このよう
な場合は動きの大きな画像では時間的に離れた画像の動
きベクトルを符号化しないために、符号化する種類が少
なくなり、更に符号化効率が高くなる。
ーム内、フィールド内符号化、或いはフレーム間、フィ
ールド間差分符号化のいずれでもよく、更に他の符号化
方式と組み合わせることも可能である。また、本発明に
よる動きベクトルの探索方法は、予め任意の画像数間隔
で符号化した符号化済み画像を参照画像として、それら
の間の画像に対して動きベクトルを求める場合にも同様
に符号化対象画像の前後から探索を行うことができる。
図17は、本発明の第6の実施形態に係る動画像符号化
装置のブロック図である。本実施形態は、MPEG1の
シミュレーションモデルであるSM3のような符号化方
式に本発明を適用した例であり、符号化のアルゴリズム
は基本的に動き補償+DCT(離散コサイン変換)方式
を採用している。但し、入力画像フォーマットは例えば
CCIR Rec.601/525に定義される画像フ
ォーマットのようなインタレースフォーマットである。
この画像フォーマットを図18に示す。図18におい
て、Yは輝度信号、Cr,Cbは色信号であり、それぞ
れの信号の1フィールド当たりの画素数は図中に示した
通りである。
成される。すなわち、図19に示されるように、下位か
らブロック、マクロブロック、スライス、ピクチャ、そ
して図19には示されていないがグループオブピクチャ
およびシーケンスの順に階層化される。ブロックは8×
8画素よりなり、DCTはこのブロック単位で行われ
る。マクロブロックはYブロック2個と、Crブロック
およびCbブロック各1個の計4ブロックよりなり、動
き補償および各符号化モードの選択は、このマクロブロ
ック単位で行われる。
ように構成される。ピクチャはSM3と同様に予測モー
ドとして許されるマクロブロック毎のモードの種類によ
って大きくI,P,Bの各ピクチャに分けられる。モー
ドとしては、フィールド内予測(Intra)、前方予
測(Inter:動き補償を含む)、後方予測および両
方向内挿予測の4モードがある(詳細は後述)。これら
のうち、どの予測モードを使用できるかによって表1に
示すようにピクチャの種類がI,P,Bの3通りに分類
される。
ピクチャフォーマットとしてインタレースフォーマット
を採用しており、同じ種類のピクチャでもGOP内での
位置により予測方法等が異なるため、ピクチャはさらに
細かく分類される。図20に、GOPの構成と各ピクチ
ャがどのピクチャから予測されるかを示す。同図に示さ
れるように、GOPはランダムアクセスおよび特殊再生
用にエントリポイントとして周期的に設けられたIピク
チャに先行するB0 ピクチャから始まり、次のIピクチ
ャの前にあるP2 で終わるピクチャの組によって定義さ
れる。Iピクチャは偶数フィールドのみに現われる。
ように予測されるかを表2および図21に示した。
するフィールド間予測と、偶/奇各1フィールドずつか
ら適応的に予測を行なうフィールド間/フレーム間適応
予測の二通りがある。図21で矢印は、フィールド間予
測に行なうことを示し、また2本の線が1本の矢印に統
合されている記号は、フィールド間/フレーム間適応予
測を行なうことを示している。また、1GOP内での各
ピクチャの符号化順序は図20(b)に示される通りで
ある。
符号化装置を説明する。図17において、入力端子70
0にはインターレースされた動画像信号が入力される。
この入力動画像信号は、フィールドメモリ701に連続
した8フィールド分蓄えられる。フィールドメモリ70
1内の動画像信号は第1の動きベクトル検出回路710
に供給され、原動画像によるテレスコーピックサーチ
(後述)により、動きベクトル検出が1画素精度で行わ
れる。これが動き補償の第1段階の処理である。
て、局部復号ループ内のフィールドメモリ708に蓄え
られた局部復号信号を用いて、動きベクトル検出回路7
10で原画像を用いて求められた動きベクトルをその回
りの±1の範囲を全探索することにより、リファインす
る。
ールドメモリ708とフィールド間/フレーム間適応予
測回路709および第2の動きベクトル検出回路711
において局部復号信号を用いた1/2画素精度の動きベ
クトル検出が行われ、予測回路709により予測信号が
生成される。この予測信号は減算器702に入力されて
フィールドメモリ701からの動画像信号との差がとら
れ、この差が予測誤差信号として出力される。
り離散コサイン変換され、DCT係数データが得られ
る。このDCT係数データは量子化回路704で量子化
され適応スキャンされた後、2次元可変長符号化回路7
10を経てマルチプレクサ714に入力される。量子化
後のDCT係数データは、逆量子化回路705および逆
DCT回路706を経て局部復号され、I,Pピクチャ
のみがフィールドメモリ708に書きこまれる。フィー
ルドメモリ708は、適応予測に必要な4フィルード分
用意される。
ータと、後述する第2の動きベクトル検出回路711か
らの動きベクトルおよび符号化制御部717からのマク
ロブロックタイプや、ステップサイズ等の付加情報が多
重化される。マルチプレクサ714で多重化された情報
は、バッファ715を経て一定の伝送レートとされ、例
えばVTR等の蓄積系(記録媒体)へ出力される。
715でのバッファ量と、アクティビティ計算回路71
6で計算されたマクロブロック内アクティビティ(Iピ
クチャ)または直前の同モードの量子化前の信号のマク
ロブロック内アクティビティ(P,Bピクチャ)を使っ
て、量子化回路704での量子化ステップサイズを制御
している。
る動画像復号装置の構成を図22により説明する。入力
端子800には、蓄積系から読み出された信号が入力さ
れ、バッファ801に一旦蓄えられる。バッファ801
から読み出された信号は、デマルチプレクサ/可変長復
号回路801に入力され、図17のマルチプレクサ71
4で多重化されたDCT係数データ、動きベクトルおよ
びステップサイズ等の付加情報が分離されると共に復号
される。
長復号されスキャン変換された後、図17の動画像符号
化装置における局部復号ループと同様、逆量子化回路8
03および逆DCT回路804を経て局部復号され、加
算器805および4フィールド分のフィールドメモリ8
06を経て適応予測回路807に入力される。一方、動
きベクトルは後述のように差分の形で送られてくるの
で、可変長復号の後、もとの形に戻されて適応予測回路
807に供給される。適応予測回路807では予測信号
が生成され、この予測信号と逆DCT回路804からの
局部復号信号が加算器805で加算されることにより、
元の動画像信号がフィールドメモリ806を介して取り
出される。フィールドメモリ806の出力は図示しない
画像表示部に供給される。
示順序が異なることと、Bピクチャは予測に用いないた
めフィールドメモリに蓄えておく必要がないことから、
I,Pピクチャの出力はフィールドメモリ806から出
力し、Bピクチャは復号しながらそのまま出力するとい
う切替えを行っている。
ベクトル検出動作について詳細に説明する。動き補償
は、前述のようにマクロブロック単位で行われる。動き
ベクトル検出は、第1の動きベクトル検出回路710で
の1画素精度の通常のブロックマッチングによる動きベ
クトル検出と、この1画素精度の動きベクトルで指定さ
れる参照画像の周囲1/2画素精度の画素位置に適応的
な時空間内挿を行った各点について、動きベクトルを探
索することによる第2の動きベクトル検出回路711で
の動きベクトル検出である。時空間内挿の具体的な方法
については、後述する。
きベクトル検出は、入力動画像の各フィールド画像どう
しを用いて1画素精度で各フィールド毎に全探索により
最適な動きベクトルを見つける処理である。離れたフィ
ールド間のサーチには、テレスコーピックサーチ(SM
3参照)を用いている。但し、フィールド画像ではフィ
ールド間のサーチ経路として、複数の経路が考えられ
る。本実施形態では、以下の規則に従ってサーチ経路を
決定している。
路に含める必要があるが、本実施形態では図24にテレ
スコーピックサーチの順序を示すように、始めに異なる
位相のフィールドをサーチするようにしている。例えば
I→P2 の動きベクトルを求める時は、I→Po →B1
→B3 →P2 の順でサーチし、I→B0 →B2 →P1→
P2 のような経路は通らない。なお、図24で斜線を施
して示す範囲がサーチ範囲である。このテレスコーピッ
クサーチは、順方向と逆方向について別々に行われる。
また、各隣接フィールド間のサーチ範囲は、水平±15
画素、垂直±7画素である。
きベクトル検出は、局部復号ループ内のフィールドメモ
リ708に蓄積されている画像を参照画像として行われ
る。まず、この動きベクトル検出の前処理として、第1
の動きベクトル検出回路710で得られた動きベクトル
で指定される参照画像の周囲±1画素の範囲を全探索す
ることにより、動きベクトルがリファインされる。第2
の動きベクトル検出回路711での動きベクトル検出の
メインプロセスは、リファインにより得られた動きベク
トルで指定される参照画像の周囲1/2画素精度の位置
に後述する方法で生成された複数の予測信号候補につい
て、予測誤差電力を全て評価し比較することにより、最
適な予測信号候補を選択することによって行われる。
は行われず、動き補償は輝度信号で得られた動きベクト
ルを基にして行われる。
適応予測回路709の処理について説明する。図23
は、フィールド間/フレーム間適応予測回路709の一
部の構成を示すブロック図である。
1の動きベクトル検出回路710で得られた動きベクト
ルで指定される参照画像の周囲1/2画素精度の範囲の
探索である。図25(b)に、その様子を示した。この
フィールド間/フレーム間適応予測は、P1 ,P2 ,B
の各ピクチャにおいて、符号化対象画像(符号化フィー
ルド)に対して例えばその前の偶奇各1フィールドのペ
ア#1,#2を参照画像(参照フィールド)として用い
て行われる。
で、動きベクトル検出回路710により、それぞれの参
照フィールド#1,#2での最適点(●で示す)が各々
動きベクトルV1,V2で得られたとする。図25
(b)に示す動き補償の第2段階では、この動きベクト
ルV1,V2で指定される2つの最適点の周囲の1/2
画素精度の領域の参照画像にフィールド間/フレーム間
適応予測回路709において時空間フィルタを施して複
数の予測信号候補を求め、この予測信号候補と動きベク
トル検出回路710で検出された動きベクトルとから、
動きベクトル検出回路711で最適動きベクトルの探索
を行う。この場合、予測信号候補の生成法としては、フ
ィールド補間モードとフレーム補間モードの2つのモー
ドがある。
号候補は時空間フィルタのうち空間フィルタのみによっ
て生成される。すなわち、図25(b)の画素A〜Cの
画素値は、 A=(O+D)/2 B=(O+D+E+F)/4 C=(O+F)2 により作成される。このフィールド補間モードでは、偶
奇各フィールドに9点ずつ、計18点の予測信号候補の
探索点が存在する。
候補は各フィールドにおいて1画素精度の動き補償を行
った信号に、時空間フィルタの処理を施すことにより作
成される。例えば図25(b)の画素A〜Cの画素値
は、 A=G/2+(O+D)/4 B=G/2+(O+D+E+F)/8 C=G/2+(O+F)1/4 により作成される。この場合に、1/2画素精度の画素
位置のデータを提供する側のフィールドを基準フィール
ドと呼ぶことにする。このフレーム補間モードにおいて
も、予測信号候補は偶奇各フィールドに9点ずつある
が、画素Oの位置の予測信号は一致するので、計17点
の予測信号候補の探索点が存在することになる。
5点の予測信号候補の探索を行って最も予測誤差が小さ
い予測信号候補を予測信号として決定する。但し、両フ
ィールドに対し指している動きベクトルの方向が大きく
ずれている場合には、フレーム補間モードは選択されな
い(詳細は後述)。
モードのいずれが選択されたかを示す情報と、どのフィ
ールドをフィールド補間モードに使用する参照フィール
ドまたはフレーム補間モードにおける基準フィールドと
して選んだかを示す情報は、1ビットのフラグにより伝
送される。なお、P0 及びP2 の直前のフィールドによ
る予測については、フィールド補間モードを単一フィー
ルドに適応したモードのみによって予測される。この場
合、モード選択のフラグは伝送されない。
が、Bピクチャの場合もほぼ同様である。但し、Bピク
チャの場合、フィールド補間モードの探索フィールド及
びフレーム補間モードの基準フィールドとしては、符号
化フィールドと同位相のフィールドのみを選択するよう
にしている。勿論、この場合にいずれのフィールドを選
択したかのフラグは伝送されない。
ードウェア上でどのように実現されるかについて説明す
る。キャッシュメモリ901a,901bおよび902
a,902bには、図17の局部復号ループの4フィー
ルド分のフィールドメモリ708からの画像信号のう
ち、第2の動きベクトル検出の前処理で得られた動きベ
クトルで指示された部分が記憶される。切替回路900
は、第2の動きベクトル検出回路711からの制御信号
に従ってキャッシュメモリ901a,901bの出力を
時間フィルタ903と空間フィルタ905に振り分け、
またキャッシュメモリ902a,902bの出力を時間
フィルタ904と空間フィルタ906に振り分ける。
回路711からのフィールド補間モードおよびフレーム
補間モードのいずれを選択するかを示す制御信号に従っ
て、空間フィルタ905のみを通過した信号と、空間フ
ィルタ905および時間フィルタ903の両方を通過し
た信号のいずれかを選択する。セレクタ908も同様で
ある。例えば、切替回路900から時間フィルタ903
に図25(b)の画素Gの信号が入力され、空間フィル
タ905から図25(b)の画素Bの信号が出力された
とすると、時間フィルタ903の出力には画素Gと画素
Bの信号を平均した信号、つまり時空間フィルタ処理を
施した信号が得られる。従って、フィールド補間モード
では空間フィルタ905の出力を選択し、フレーム補間
モードでは時間フィルタ903の出力を選択すればよ
い。
911に直接入力される一方、加算器909で加算され
除算器910で1/2にされた後セレクタ911に入力
される。セレクタ911は、これら3つの入力、すなわ
ちセレクタ907からの参照フィールド#1,#2を使
って予測した信号と、セレクタ908からの参照フィー
ルド#3,#4を使って予測した信号および除算器91
0からの参照フィールド#1〜#4を使って予測した信
号を選択して、予測信号候補として第2の動きベクトル
検出回路711へ出力する。動きベクトル検出回路71
1では、これらの予測信号候補35個の中から、前述の
ようにして最も予測誤差が小さい予測信号候補を予測信
号として決定し、その旨を示す情報をへ返送する。これ
によりフィールド間/フレーム間適応予測回路709
は、動きベクトル検出回路711により指示された予測
信号を減算器および加算器707へ出力する。
からの動きベクトルをどのような形態で符号化して送る
かについて説明する。まず、フィールド補間モードでの
動きベクトルまたはフレーム補間モードでの基準フィー
ルド側の動きベクトルを基準ベクトルとして可変長符号
化回路713で符号化してマルチプレクサ714へ送
る。この動きベクトル(基準ベクトル)は1/2画素精
度である。フレーム補間モードが選ばれた場合には、さ
らに基準フィールドでない方のフィールドの動きベクト
ルと基準フィールドでの動きベクトル(基準ベクトル)
を当該フィールドに換算したものとの差分を同様に符号
化して送る。すなわち、基準フィールドでの動きベクト
ルの延長線と、基準フィールドでない方のフィールドの
交わる点に一番近い点と、該動きベクトルとの差分を1
画素精度で送るものとする。この2つの動きベクトルの
方向が近い場合以外は、フレーム補間モードは有効でな
いと考えて、この差分の値が±1の範囲を越える場合に
はフレーム補間モードは選択しないものとする。
体例を示したもので、参照フィールド#1の1/2画素
精度の動きベクトル(図中上側の矢印で示す)と参照フ
ィールド#2の交わる点△に一番近い点●と、参照フィ
ールド#2の1画素精度の動きベクトル(図中下側の矢
印で示す)との差分(図中縦方向に延びた矢印)を1画
素精度で送る。図26の例では、差分は−1である。こ
のようにすることによって、予測の性能を落とすことな
く、動きベクトルの情報量を節約することができる。
る。図19に示したように、一つのマクロブロック内で
輝度信号Yと色信号Cr,Cbは垂直方向には同じ画素
数であるが、水平方向では色信号の画素数が半分になっ
ている。従って、輝度信号で得られた動きベクトルを色
信号に適用する際には、動きベクトルの水平方向の成分
を1/2にする。1/2の除算は、整数以下を0の方向
に丸めるようにして行われる。これはフィールド補間モ
ードでもフレーム補間モードでも同じである。
ードおよびフレーム補間モードにおいて輝度信号の動き
ベクトルから色信号の動きベクトルを求める場合の具体
例を示す。図27において点線で示された丸印は、色信
号が存在しない画素位置である。第1段階で得られた画
素位置を中央の丸印、第2段階で得られた点を×とす
る。また、この例ではいずれの場合も原点の水平方向座
標は、中央の丸の点の水平方向座標よりも大きいものと
する。図27(a)のフィールド補間モードの場合、×
の位置に輝度信号の動きベクトルが得られると、色信号
の1/4画素精度分はA方向に丸められて補間画素△が
作られる。この補間画素△は、 △=1/4(A+B+C+D) により作成される。図27(b)のフレーム補間モード
での参照フィールド#1についても、同様に △=1/4(E+F+G+H) により参照フィールド#1内の補間画素△が作られる。
色信号の1/2画素精度分がA方向に丸められて、Iの
位置の画素が使用される。結局、図27の例の場合、補
間画素△の値は I×1/2+(E+F+G+H)×1/8 により得られることとなる。
ンターレース画像に対する精度の良い動き補償予測符号
化を行うことが可能となる。
要する演算量を低減しつつ、正確な動き補償を行い、高
い符号化効率を得ることができる。
ルドを効果的に使ってインタレース画像に適した効率的
て精度の高い予測を行うことが可能であり、かつこれに
伴う動きベクトル情報の増加を最小限に抑えることがで
きる。
示す図
ない例を示す図
関係を示す図
関係を示す図
化装置のブロック図
を示す図
を示す図
の構成と符号化順序を示す図
説明するための図
像復号装置のブロック図
適応予測回路のブロック図
チの順序を示す図
ム間適応予測処理を説明するための図
の一例を示す図
号の動きベクトルを求める具体例を示す図
回路 242,351,352,353…評価回路 300…局部符号化回路 400…局部復号回路 101…フィールドメモリ 103…DCT回路 104…量子化回路 105…逆量子化回路 106…逆DCT回路 108…フィールドメモリ 109…適応予測回路 110…動きベクトル検出回路 111…動きベクトル検出回路 112…可変長符号化回路 113…可変長符号化回路 114…マルチプレクサ 115…バッファ 116…アクティビティ計算回路 117…符号制御部 700…入力端子 701…第1のフィールドメモリ 702…減算器 703…DCT回路 704…量子化回路 705…逆量子化回路 706…逆DCT回路 707…加算器 708…第2のフィールドメモリ 709…フィールド間/フレーム間適応予測回路 710…第1の動きベクトル検出回路 711…第2の動きベクトル検出回路 712,713…可変長符号化回路 714…マルチプレクサ 715…バッファ 716…アクティビティ計算回路 717…符号化制御部 903,904…時間フィルタ 905,906…空間フィルタ
Claims (8)
- 【請求項1】符号化済み画像信号に対応する連続した第
1、第2の参照フィールドの画像の画像信号について符
号化対象フィールドの画像の画像信号との間の第1、第
2の動きベクトルによりそれぞれ指定された参照画像信
号に対し時空間フィルタ処理を施すことにより生成され
た、前記符号化対象フィールドの画像信号に対する予測
信号と該符号化対象フィールドの画像信号との差分信号
を符号化する符号化モードであって、前記第2の動きベ
クトルとなり得る複数の動きベクトル候補のうち、前記
第1の動きベクトルに方向が最も近いベクトルと前記第
2の動きベクトルとの差分の大きさが所定値以下の範囲
でのみを選択される符号化モードによって符号化された
前記差分信号を復号化する復号化手段と、 この復号化手段により復号化された前記差分信号を用い
て前記符号化対象フィールドの画像の画像信号を再生す
る手段とを具備することを特徴とする動画像復号化装
置。 - 【請求項2】前記予測信号は、前記第1、第2の動きベ
クトルによりそれぞれ指定された参照画像信号を前記時
空間フィルタ処理により平均化することによって生成さ
れた信号であることを特徴とする請求項1記載の動画像
復号化装置。 - 【請求項3】連続する第1、第2の参照フィールドの画
像の画像信号と符号化対象フィールドの画像の画像信号
との間の第1、第2の動きベクトルによりそれぞれ指定
された前記第1、第2の参照フィールドの画像上の参照
画像信号に対し時空間フィルタ処理を施すことにより生
成された、前記符号化対象フィールドの画像の画像信号
に対する予測信号と、前記符号化対象フィールドの画像
の画像信号と前記予測信号との誤差情報を符号化する符
号化モードであって、前記第2の動きベクトルとなり得
る複数の動きベクトル候補のうち、前記第1の動きベク
トルに方向が最も近い換算ベクトルと前記第2の動きベ
クトルとの差分の大きさが所定値以下の範囲でのみ選択
される前記符号化モードによって符号化された前記誤差
情報を復号化する復号化手段と、 前記復号化手段により復号化された前記誤差情報を用い
て前記符号化対象フィールドの画像の画像信号を再生す
る手段とを具備することを特徴とする動画像復号化装
置。 - 【請求項4】前記時空間フィルタ処理は、前記第1、第
2の動きベクトルによってそれぞれ指定された第1、第
2の参照フィールドの画像上の参照画像信号を平均化す
る処理によって生成された信号であることを特徴とする
請求項3記載の動画像復号化装置。 - 【請求項5】符号化済み画像信号に対応する連続した第
1、第2の参照フィールドの画像の画像信号について符
号化対象フィールドの画像の画像信号との間の第1、第
2の動きベクトルによりそれぞれ指定された参照画像信
号に対し時空間フィルタ処理を施すことにより生成され
た、前記符号化対象フィールドの画像信号に対する予測
信号と該符号化対象フィールドの画像信号との差分信号
を符号化する符号化モードであって、前記第2の動きベ
クトルとなり得る複数の動きベクトル候補のうち、前記
第1の動きベクトルに方向が最も近いベクトルと前記第
2の動きベクトルとの差分の大きさが所定値以下の範囲
でのみを選択される符号化モードによって符号化された
前記差分信号を復号化する復号化ステップと、 この復号化ステップにより復号化された前記差分信号を
用いて前記符号化対象フィールドの画像の画像信号を再
生するステップとを具備することを特徴とする動画像復
号化方法。 - 【請求項6】前記予測信号は、前記第1、第2の動きベ
クトルによりそれぞれ指定された参照画像信号を前記時
空間フィルタ処理により平均化することによって生成さ
れた信号であることを特徴とする請求項5記載の動画像
復号化方法。 - 【請求項7】連続する第1、第2の参照フィールドの画
像の画像信号と符号化対象フィールドの画像の画像信号
との間の第1、第2の動きベクトルによりそれぞれ指定
された前記第1、第2の参照フィールドの画像上の参照
画像信号に対し時空間フィルタ処理を施すことにより生
成された、前記符号化対象フィールドの画像の画像信号
に対する予測信号と、前記符号化対象フィールドの画像
の画像信号と前記予測信号との誤差情報を符号化する符
号化モードであって、前記第2の動きベクトルとなり得
る複数の動きベクトル候補のうち、前記第1の動きベク
トルに方向が最も近い換算ベクトルと前記第2の動きベ
クトルとの差分の大きさが所定値以下の範囲でのみ選択
される前記符号化モードによって符号化された前記誤差
情報を復号化する復号化ステップと、 前記復号化ステップにより復号化された前記誤差情報を
用いて前記符号化対象フィールドの画像の画像信号を再
生するステップとを具備することを特徴とする動画像復
号化方法。 - 【請求項8】前記時空間フィルタ処理は、前記第1、第
2の動きベクトルによってそれぞれ指定された第1、第
2の参照フィールドの画像上の参照画像信号を平均化す
る処理によって生成された信号であることを特徴とする
請求項7記載の動画像復号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10342497A JP2883592B2 (ja) | 1991-05-31 | 1997-04-21 | 動画像復号化装置及び動画像復号化方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13001291 | 1991-05-31 | ||
JP3-130012 | 1991-05-31 | ||
JP10342497A JP2883592B2 (ja) | 1991-05-31 | 1997-04-21 | 動画像復号化装置及び動画像復号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29831691A Division JP2755851B2 (ja) | 1991-05-31 | 1991-10-17 | 動画像符号化装置及び動画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1042297A true JPH1042297A (ja) | 1998-02-13 |
JP2883592B2 JP2883592B2 (ja) | 1999-04-19 |
Family
ID=26444060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10342497A Expired - Lifetime JP2883592B2 (ja) | 1991-05-31 | 1997-04-21 | 動画像復号化装置及び動画像復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2883592B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008512967A (ja) * | 2004-09-09 | 2008-04-24 | クゥアルコム・インコーポレイテッド | 動画像の動き補償のためのキャッシング方法および装置 |
WO2008056934A1 (en) | 2006-11-07 | 2008-05-15 | Samsung Electronics Co., Ltd. | Method of and apparatus for video encoding and decoding based on motion estimation |
JP2009153093A (ja) * | 2007-11-29 | 2009-07-09 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
-
1997
- 1997-04-21 JP JP10342497A patent/JP2883592B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008512967A (ja) * | 2004-09-09 | 2008-04-24 | クゥアルコム・インコーポレイテッド | 動画像の動き補償のためのキャッシング方法および装置 |
WO2008056934A1 (en) | 2006-11-07 | 2008-05-15 | Samsung Electronics Co., Ltd. | Method of and apparatus for video encoding and decoding based on motion estimation |
JP2009153093A (ja) * | 2007-11-29 | 2009-07-09 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2883592B2 (ja) | 1999-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5754231A (en) | Bit allocation for motion video compression | |
US5731850A (en) | Hybrid hierarchial/full-search MPEG encoder motion estimation | |
US6108039A (en) | Low bandwidth, two-candidate motion estimation for interlaced video | |
US20070047649A1 (en) | Method for coding with motion compensated prediction | |
US5416522A (en) | Motion detection apparatus for moving pictures and encoding and decoding apparatus for picture signals | |
JP3092280B2 (ja) | 画像信号の高能率符号化及び復号化装置 | |
JPH08223577A (ja) | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 | |
JP3331351B2 (ja) | 画像データ符号化方法及び装置 | |
KR100345968B1 (ko) | 화상신호의고능률부호화,복호화장치및기록매체 | |
JP2000270332A (ja) | 動画像符号化方法および装置 | |
JP2885322B2 (ja) | フィールド間予測符号化装置及び復号化装置 | |
WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH06311502A (ja) | 動画像伝送装置 | |
US5986713A (en) | Video coding apparatus using inter-field prediction | |
JP2998741B2 (ja) | 動画像の符号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び動画像の符号化装置 | |
JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP3257052B2 (ja) | 画像信号の高能率符号化装置及びその方法 | |
JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
JP3415390B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
JPH0630332A (ja) | 動画像の符号化及び復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080205 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110205 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120205 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120205 Year of fee payment: 13 |