JPH0818977A

JPH0818977A - 動画像符号化／復号化装置

Info

Publication number: JPH0818977A
Application number: JP14972694A
Authority: JP
Inventors: Hideyuki Ueno; 秀幸上野; Masami Akamine; 政巳赤嶺
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-06-30
Filing date: 1994-06-30
Publication date: 1996-01-19
Anticipated expiration: 2019-05-24
Also published as: US5990962A; US5786859A; JP3529432B2

Abstract

(57)【要約】【目的】発生符号量が本来大きくなる動きや変形の大き
い画像、シーンチェンジなどに対し、主観的な画質をあ
まり落とすこと無く発生符号量を平滑化して主観的画質
と符号化効率を向上させた動画像符号化装置を提供す
る。【構成】入力端子１０への入力動画像信号に対して、動
き補償予測が当たらない度合いが大きい領域ほど解像度
を低下させる処理を行う前処理部１１を動き補償予測符
号化部１１の前段に配置する。この前処理部１１は、動
き補償予測が当たらない度合いを評価する動き補償予測
評価部１３と、この評価部１３によって制御されるフィ
ルタ部１４からなり、現入力動画像信号を過去の動画像
信号を用いて動き補償予測して得られた予測画像信号と
現入力動画像信号を重み付け加算することにより、入力
動画像信号の解像度を低下させる処理を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶ電話やＴＶ会議装
置などの動画像通信装置、ディジタルＶＴＲやビデオデ
ィスクなどの蓄積系のシステム、地上波や衛星、ＣＡＴ
Ｖなどの放送系システムに使用される動画像符号化／復
号化装置に関する。

【０００２】

【従来の技術】画像の放送、蓄積および通信の各分野に
おいて、動画像信号を高能率に圧縮符号化する動画像符
号化の重要性が非常に増してきている。放送では、ＣＡ
ＴＶ、衛星放送および地上波放送をディジタル化し、多
チャンネル化、サービスの多様化を実現する方向に向け
て研究開発が進められている。蓄積では、現行ＴＶや将
来的にはＨＤＴＶのためのディジタルＶＴＲやディジタ
ルビデオディスクの研究開発が進められている。通信で
は、広帯域通信網によるマルチメディア通信の実現に向
けて研究開発が進められている。通信についてはさら
に、無線の移動通信網を用いたマルチメディア通信も研
究課題として挙げられている。前者は比較的帯域を豊富
に使えるのに対して、後者は有限の無線帯域を使用する
ため、動画像伝送についても情報量を大幅に圧縮するこ
とが要求される。

【０００３】動画像符号化の分野においては、近年、圧
縮率つまり符号化効率をより高くするために、従来ブロ
ック単位の移動により行っていた動き補償予測符号化で
の予測の質を向上させようという動きがある。これらは
パッチ動き補償や動き内挿などど呼ばれ、代表点に対し
て得られた動きベクトルから各画素に対する動きを線形
内挿によって求めるものである（中屋、原島「３角形パ
ッチによる動き補償の基礎検討」、電子情報通信学会技
術報告IE90-106，G. Sullivan, R. Baker, "Motion com
pensation for video compression using control grid
interpolation", ICASSP '91,M9.1など参照）。これら
の方法は、従来の動き補償符号化方式と同程度の情報量
の動きベクトルを送っていても画素単位に動きが設定で
きるため予測精度が向上し、動画像情報の圧縮率向上に
寄与する。また、従来の動き補償符号化方式はブロック
単位の予測画像信号作成が基本となっているため、復号
画像信号にブロック状の歪を生じる傾向があるが、これ
らの方法では予測画像信号は連続的でブロック単位にず
れが生じるようなことはないので、この点についても改
善される。

【０００４】一方、動画像符号化における一般的な技術
として、符号化装置の発生符号量の平滑化、つまり発生
符号量を目標の発生符号量に合わせるためのレート制御
が必須である。従来の動画像符号化装置では、出力バッ
ファの蓄積量（占有量）を見ながら量子化の粗さを変え
ることによって発生符号量を制御している。しかしこの
方法は、特に動画像符号化の国際標準方式であるＨ．２
６１やＭＰＥＧで用いられているＤＣＴのような直交変
換符号化を用いた場合、ブロック状の歪を生じて主観的
画質が大きく劣化するという問題がある。

【０００５】この問題を改善する技術として、低域通過
フィルタによるレート制御（例えば滝嶋、和田、「動画
像符号化における可変プリフィルタ制御方式の検討」、
PCSJ'92 6.5 ）が知られている。この技術は、発生符号
量の制御を量子化の粗さだけでなく、符号化以前に入力
動画像信号の解像度を落とすことによっても行おうとす
るものである。これにより動きの大きい画像について
は、粗い量子化のみによって発生符号量を抑える上述の
レート制御と比べて解像度は落ちるが、ブロック状の歪
を減らすことができ、その点では主観的な画質が向上す
る。

【０００６】

【発明が解決しようとする課題】上述した従来技術のう
ちパッチ動き補償や動き内挿は、動きや変形が小さい画
像については予測の質が向上し、符号化効率が向上する
が、動き補償の効かない動きや変形の大きな画像に対し
ては変形が広い領域に影響を及ぼす結果、かえって予測
誤差が大きくなり、符号化効率が低下してしまう場合が
あり得る。特に、シーンチェンジなどのように元々動き
補償自体が効かないような場合には、全く改善がなされ
ない。

【０００７】また通常、動きベクトル検出は入力動画像
信号と復号画像信号を比較して行われるので、低いビッ
トレートで符号化している場合には、符号化雑音の影響
による復号画像信号の劣化により適切な動きベクトルが
検出されにくくなり、予測画像に悪影響を及ぼす。さら
に、パッチ動き補償や動き内挿にとっての最適な動きベ
クトルを求めるためには、通常、従来の動きベクトル検
出方式であるブロックマッチングにより得られた動きベ
クトルを初期値として、反復演算により動きベクトルの
最適化を行うが、このための演算量はかなり大きなもの
となる。

【０００８】一方、低域通過フィルタによるレート制御
では、画面全体に対してフィルタをかけることになるた
め、解像度を大きく落とした場合に劣化が目立つことに
なってしまうという問題点がある。特に、同じ画像の中
で一部の領域のみが大きな動きや変形を持っているよう
な画像については、発生符号量があまり大きくならない
はずの動きの小さな領域についても解像度が落とされ、
視覚的な劣化として主観的画質を落とす原因となってし
まう。

【０００９】本発明は、発生符号量が本来大きくなるは
ずの動きや変形の大きい画像あるいはシーンチェンジな
どに対し、視覚特性を利用して符号化しやすい画像に変
形し、主観的な画質をあまり落とすこと無く発生符号量
を平滑化することにより、主観的画質と符号化効率の向
上を図ることができる動画像符号化／復号化装置を提供
することを目的とする。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の動画像符号化装置は、入力動画像信号を動
き補償予測符号化する符号化手段と、この符号化手段の
前段に設けられ、前記動き補償予測が当たらない度合い
が大きい領域ほど前記入力動画像信号の解像度を低下さ
せる処理を行う前処理手段とを具備することを特徴とす
る。

【００１１】ここで、前処理手段は例えば現入力動画像
信号を過去の動画像信号を用いて動き補償予測して得ら
れた予測画像信号と現入力動画像信号とを重み付け加算
することにより、入力動画像信号の解像度を低下させる
処理を行う。

【００１２】この場合、前処理手段は符号化手段におけ
る動き補償予測方式と同じ動き補償予測方式を用いれ
ば、より効果が得られるが、既存の符号化方式を用いる
などの制約がある場合、動き補償予測方式が異なってい
ても構わない。

【００１３】また、前処理手段の重み付け加算における
重み係数を適応的に制御するようにしてもよい。本発明
に係る動画像復号化装置は、入力動画像信号を動き補償
予測符号化する動画像符号化装置からの符号化信号に対
して動き補償予測復号化を行い復号画像信号を得る復号
化手段と、この復号化手段の後段に設けられ、前記動画
像符号化装置での動き補償予測が当たらない度合いが大
きい領域ほど前記復号画像信号の解像度を低下させる処
理を行う後処理手段とを具備することを特徴とする。

【００１４】ここで、処理手段は例えば現復号画像信号
に過去の復号画像信号を用いて動き補償予測して得られ
た予測画像信号と現復号画像信号とを重み付け加算する
ことにより、復号画像信号の解像度を低下させる処理を
行う。

【００１５】

【作用】一般に、入力画像信号のうち動き補償予測が当
たりにくい動きや大きな変形を有する領域、さらにはシ
ーンチェンジなどがあった領域は、視覚特性上、人間の
目に劣化が認識されにくい領域であることが多い。この
点に着目して、本発明の動画像符号化装置では、動き補
償予測の当たる度合いを指標として、これらの領域にお
いて前処理により選択的に入力動画像信号の解像度を低
下させる低域通過フィルタ処理を行う。このような前処
理により視覚特性上、主観的な画質をあまり落とすこと
なく、入力動画像信号を動き補償予測符号化部で符号化
し易い信号に変形させ、動き補償予測符号化部での予測
誤差を小さくすることによって符号化効率を向上させ、
発生符号量を平滑化する。

【００１６】この際、動画像信号が前処理により変形さ
れる領域は上記のような領域に限定されるので、従来の
ように入力動画像信号全体を低域通過フィルタ処理によ
り変形させる方法と異なり、動きの大きい領域と小さい
領域が同一画面内に共存するような画像であっても、動
きの小さい領域に対して影響を与えることがなく、むし
ろ雑音が除去されて画質が良くなる効果も期待できる。
また、単純な平行移動のみのような画像の動きに対して
は動き補償予測がよく当たるので、解像度の劣化はほと
んどない。

【００１７】さらに、前処理部を現入力動画像信号を過
去の動画像信号を用いて動き補償予測して得られた予測
画像信号と現入力動画像信号とを重み付け加算する構成
とすると、一つの操作で動き補償予測が当たる度合いを
判定する処理とフィルタリング処理が自動的に行われる
利点がある。また、この前処理部と動き補償予測符号部
での動き補償予測の方式を同一にすることによって、動
き補償予測符号化部での予測を容易にし、より直接的に
発生符号量を制御できるようになる。

【００１８】また、本発明の動画像復号化装置では、動
き補償予測復号化部の後段に設けられた後処理部におい
て、前処理部と同様に復号画像信号に対して動画像符号
化装置での動き補償予測が当たらない度合いが大きい領
域ほど解像度を低下させる後処理を行うことにより、上
記の前処理を行った場合と同様の原理で、主観的画質の
向上を達成することができる。

【００１９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明に係る動画像符号化装置の基本構
成を示す図であり、端子１０に例えばフレーム単位で動
画像信号が入力される。この入力動画像信号は、前処理
部１１を経て動き補償予測符号化部１２に供給される。
前処理部１１は、動き補償予測符号化部１２での動き補
償予測の当たらない度合いを評価するための動き補償予
測評価部１３と、この動き補償予測評価部１３での評価
結果に基づいて、動き補償予測が当たらない度合いが大
きい領域ほど入力動画像信号の解像度を低下させるフィ
ルタ部１４とからなる。

【００２０】動き補償予測評価部１３は、入力動画像信
号とこれを動き補償予測評価部１３内部で遅延させた動
画像信号を比較するか、あるいは入力動画像信号とフィ
ルタ部１４からの前処理後の動画像信号または動き補償
予測符号化部１２内のフレームメモリからの局部復号信
号とを比較して、動き補償予測が当たらない度合いを評
価する。この評価の結果、予測画像信号として作られた
画像信号がフィルタ部１４に送られ、動き補償予測が当
たらない度合いに応じた強さの低域通過フィルタ処理が
施される。

【００２１】図２は、本発明に係る動画像符号化装置の
一実施例の構成を示すブロック図であり、図１の前処理
部１１および動き補償予測符号化部１２を具体化して示
している。

【００２２】図２において、前処理部１１は現フレーム
の入力動画像信号に過去のフレームの動画像信号を用い
て動き補償予測を行うことにより作成した予測画像信号
と現フレームの入力動画像信号とを重み付け加算するこ
とにより、動き補償予測が当たらない度合いが大きい領
域ほど入力動画像信号の解像度を低下させる前処理を実
現するものである。

【００２３】すなわち、フレーム単位で入力される入力
動画像信号はまず第１のフレームメモリ１０１に蓄えら
れ、ここで１フレーム分遅延されると同時に、動き補償
予測回路１０２と乗算器１０３に入力される。動き補償
予測回路１０２では、入力動画像信号とフレームメモリ
１０１より入力された１フレーム前の動画像信号と比較
し、１フレーム前の動画像信号から現フレームの入力動
画像信号を予測した動き補償フレーム間予測画像信号が
作られる。乗算器１０３では、現フレームの入力動画像
信号がα（０≦α≦１）倍される。動き補償フレーム間
予測画像信号は、乗算器１０４によって（１−α）倍さ
れる。乗算器１０３，１０４の出力信号は加算器１０５
で加算される。α，（１−α）は重み係数である。

【００２４】このような前処理部１１での処理により、
動き補償予測が当たる領域については同じ画像信号が重
ね合わされることによって、入力動画像信号に含まれて
いた雑音が取り除かれる効果が得られ、また動き補償予
測が当たらない領域については動き補償予測が当たる領
域と比べると相関の小さな信号同士が重ね合わされるこ
とにより、解像度が低下する。但し、後者の場合でも動
き補償予測により作成された信号を重ね合わせるので、
全く相関の無い信号の重ね合わせではない。

【００２５】ここで、前処理部１１に関して図１と図２
とを対応づけると、フレームメモリ１０１と動き補償予
測回路１０２が図１の動き補償予測評価部１３に対応
し、また乗算器１０４，１０４と加算器１０５および動
き補償予測回路１０２が図１のフィルタ部１４に対応し
ている。この場合、動き補償予測回路１０２は動き補償
予測評価部１３およびフィルタ部１４の両者に重複した
役目を果たしていることになる。

【００２６】図１の動き補償予測評価部１３は、より一
般的には動き補償予測誤差を積算してそれを予め定めら
れたしきい値と比較することで評価するだけの回路でも
良いし、フィルタ部１４は例えばブロック毎に係数の変
わる空間フィルタによって構成しても良い。しかし、図
２の実施例に示したように現入力動画像信号に過去に入
力された動画像信号を用いて動き補償予測を施すことに
より作成した予測画像信号と、現入力動画像信号とを重
み付け加算することにより前処理するようにすれば、同
じ動作によって動き補償予測の当たる度合いに応じた解
像度の制御が切り替え操作などを伴わずに自動的に行わ
れる利点がある。

【００２７】以上が後段の動き補償予測符号化部１２に
対する入力信号を作成する前処理部１１の処理である。
ここで、動き補償予測回路１０２で行われる動き補償予
測方式としては、ブロック状の歪を生じないことから前
述したパッチ動き補償や動き内挿といった方式を用いる
ことが望ましい。この場合、必ずしも入力動画像信号に
対する最適な予測画像信号を作成することが目的ではな
く動き補償予測の当たる度合いを評価しそれに応じて解
像度を落とすことが目的であるため、従来技術で述べた
ような動きベクトルのための最適化のための反復演算は
不要で、ブロックマッチングで得られた動きベクトルを
基にベクトル内挿を行えば十分であるため、演算量は通
常のパッチ動き補償や動き内挿より小さくて済む。ま
た、αの値については２のべき乗分の１の精度で十分で
ある。その場合、乗算器１０３，１０４は結線によるビ
ットシフト演算で済ますことができ、特別なハードウェ
アは不要である。なお、α＝１は何も前処理しない場合
に相当し、またα＝０は前フレームの変形のみによって
動き補償予測符号化部１２への入力信号を作成する場合
（符号化にとっては、最も楽な場合）に相当する。

【００２８】一方、動き補償予測符号化部１２は、従来
の動画像符号化装置（例えば国際標準方式であるＨ．２
６１やＭＰＥＧに準拠したもの）と全く同じ構成でも構
わない。その場合、実際には後述する実施例のようにレ
ート制御回路などが付加され、また符号化モードとして
動き補償予測以外にフレーム内符号化など従来の動画像
符号化装置において許されるモードは全て選択可能であ
る。

【００２９】動き補償予測符号化部１２において、前処
理部１１で前処理された入力動画像信号は減算器１０６
と動き補償予測回路１１１に入力される。動き補償予測
回路１１１では、フレームメモリ１１０より入力された
過去の局部復号画像信号から動き補償フレーム間予測に
より前処理された入力動画像信号に対する予測画像信号
を作成し、減算器１０６に送る。減算器１０６では、こ
の予測画像信号と前処理された入力動画像信号と差をと
り、予測誤差信号を作成する。この予測誤差信号は予測
誤差符号化回路１０７で符号化され、多重化／出力バッ
ファ１１２を介して出力されると共に、予測誤差復号化
回路１０８で復号された後、加算器１０９で動き補償予
測回路１１１からの予測画像信号と加算されることによ
り局部復号画像信号が作成される。局部復号画像信号
は、フレームメモリ１１０に蓄えられる。動き補償予測
回路１１１からは、動き補償のために検出された動きベ
クトル情報ＭＶも多重化／出力バッファ１１２に出力さ
れ、予測誤差符号化回路１０７からの符号化された予測
誤差信号と多重化されて出力される。動き補償予測符号
化部１２の上述した動作は、従来の動画像符号化装置と
基本的には全く同じである。

【００３０】ここで、前処理部１１内の動き補償予測回
路１０２での動き補償予測方式と、動き補償予測符号化
部１２内の動き補償予測回路１１１での動き補償予測方
式を同じにしても良い。このようにすると、前処理され
た入力動画像信号のうち動き補償予測回路１０２によっ
て作られた成分はより予測され易くなるため、減算器１
０６で作成される予測誤差信号が小さくなり、符号化効
率が向上する。

【００３１】次に、本発明に係る動画像符号化装置の他
の実施例を説明する。図３は、動画像符号化装置の他の
実施例であり、前処理部１１においてフレームメモリ１
０１の入力を前処理後の動画像信号信号としている点が
図２の実施例と異なる。本実施例によると、動き補償予
測回路１０２で作成される成分が局部復号画像信号に近
くなるので、前処理部１１内の動き補償予測回路１０２
での動き補償予測方式と動き補償予測符号化部１２内の
動き補償予測回路１１１での動き補償予測方式を同じに
する場合には、より好ましい。なお、図３において図２
と同一符号を付した部分の構成・動作は図２の場合と同
一であるため、説明は省略する。

【００３２】図４は、動画像符号化装置の別の実施例で
あり、前処理部１１において動き補償予測回路１０２の
入力を動き補償予測符号化部１２内のフレームメモリ１
１０に蓄えられた局部復号信号とした点が今までの実施
例と異なる。本実施例の構成によると、動き補償予測回
路１０２の予測結果に動き補償予測符号化部１２での実
際の動き補償予測の当たる度合いをよりよく反映させる
ことができる。但し、フレームメモリ１１０からの局部
復号信号は符号化雑音が乗っているため、低いビットレ
ートで符号化している場合には得られる動きベクトルは
本来の動きを反映したものから外れる傾向が現れ、画質
にやや影響を与える可能性があることと、前処理後の動
画像信号に符号化雑音が含まれることを考慮して設計を
行うことが望ましい。図４においても、図２と同一符号
を付した部分の構成・動作は図２の場合と同一であるた
め、説明は省略する。

【００３３】図５には、図２の場合（ａ）と図３の場合
（ｂ）について、入力動画像信号、動き補償後の予測画
像信号および前処理後の動画像信号の関係を示した。図
で矢印は動き補償がどの信号を基に行われるかを示し、
＋を○で囲んだ記号は重み付け加算を示している。な
お、図４の場合は図３の場合の前処理後の動画像信号を
局部復号画像信号に置き換えたものとなる。

【００３４】図６には、参考のためパッチ動き補償と動
き内挿の考え方について示した。図６（ａ）のようにブ
ロック単位の動きベクトルが得られたとき、図６（ｂ）
のように隣接するブロックの動きベクトルから距離に応
じた線形内挿により各画素位置における動きベクトルを
計算する。なお、図６（ｂ）は図６（ａ）の破線で示す
枠内を拡大した図である。各画素に対しては、その位置
について計算された動きベクトルの指す位置の参照フレ
ームから画素を当てはめることによって、動き補償予測
画像信号を作成する。但し、内挿により作成された動き
ベクトルは小数精度を持つので、図６（ｃ）に示すよう
に周囲４点からの線形内挿により画素値を計算する。図
６（ｃ）で○は動きベクトルが指した画素位置、×は参
照画像の画素を表す。

【００３５】図７に、図６の動作を実現する動き内挿処
理部の構成を示す。この動き内挿処理部はブロック毎の
動きベクトルを求めるブロック動きベクトル検出部３０
１、動きベクトルメモリ３０２、動きベクトル内挿部３
０３、画素内挿部３０４および二つのフレームメモリ３
０５，３０６からなる。

【００３６】この動き内挿処理部の動作は、次の通りで
ある。まず、入力動画像信号を予測するために使われる
参照画像信号をフレームメモリ３０５にロードする。次
に、ブロック動きベクトル検出部３０１で入力動画像信
号とフレームメモリ３０５に蓄えられた参照画像信号を
比較して、各ブロックに対応するブロック毎の動きベク
トルを求め、動きベクトルメモリ３０２に書き込む。ブ
ロック動きベクトル検出部３０１は、例えば既存のブロ
ックマッチングによる動きベクトル検出回路により構成
される。次に、動きベクトル内挿部３０３で各ブロック
毎に当該ブロック及びその周辺ブロックの動きベクトル
値を動きベクトルメモリ３０２から読み出して、これを
参照しながら当該ブロックを構成する各画素位置におけ
る動きベクトルを内挿計算により求める。この値を各画
素のアドレスに加算したものが参照画像信号から各画素
に対して読み出すべき画素位置を示すアドレスとなる。
但し、前述したようにこの値は小数精度になるので、こ
の値を画素内挿部３０４に渡し、画素内挿部３０４はそ
の周囲４点のアドレスをフレームメモリ３０５に対して
発生させることにより、内挿に必要な画素値を得る。画
素内挿部３０４は、これら４点の画素値より前述した内
挿画素値を計算し、フレームメモリ３０６の該当位置に
書き込むことによって、フレームメモリ３０６上に予測
画像信号を形成する。

【００３７】次に、図８を用いて本発明をレート制御機
能を有する動画像符号化装置に適用した実施例につき説
明する。図８は、図２の実施例を基に書かれているが、
他の実施例、例えば図３あるいは図４を基にしても構わ
ない。図８では、図２では省略したレート制御回路１２
０が示されている。

【００３８】本実施例では予測誤差符号化回路１０７で
符号化された信号が多重化／出力バッファ１１２に送ら
れ出力される際、多重化／出力バッファ１１２からレー
ト制御回路１２０にその時点での出力バッファの蓄積量
（占有量）を示すバッファ占有量の情報が送られる。レ
ート制御回路１２０はバッファ占有量が多いときには符
号の発生を抑え、バッファ占有量が少ないときには符号
の発生を多くさせるように系全体を制御する。通常の動
画像符号化装置では、図にも示されているようにレート
制御回路１２０から予測誤差符号化回路１０７に対して
量子化の粗さ（量子化ステップサイズ）を制御する信号
を送ることにより、この制御を行う。

【００３９】本実施例は、このような通常のレート制御
に加えて、レート制御回路１２０から前処理部１１内の
乗算器１０３，１０４に対して重み係数α，（１−α）
の値を制御する信号を送ることによってもレート制御を
行うことが特徴である。これは一つには量子化の粗さだ
けを制御するレート制御ではブロック状の歪が出るなど
の問題を解決することが目的で、従来技術である低域通
過フィルタを用いたレート制御と共通するところがあ
る。例えば、ビットレートに余裕があるときなどは前処
理によって解像度が低下するのを防ぐためにα＝１に近
い値で動作させ、シーンチェンジや動きの増大などビッ
トレートに余裕が無くなってきたときにのみα＝０に近
い値で動作させることを可能にするものである。

【００４０】乗算器１０３，１０４は、図２の実施例と
異なり外部からの制御信号によって係数αの値を変える
ことのできる乗算器である。αの値を変えることによっ
て発生符号量を制御できるのは、前述したようにαの値
が０に近付くほど前処理後の入力動画像信号に含まれる
前フレームの画像の変形のみによって作成される成分が
増え、符号化し易い画像になるためである。なお、図８
において図２と同一符号を付した部分の構成・動作は図
２の場合と同一であるため説明は省略する。

【００４１】図８の実施例において、αの値の制御はバ
ッファ量に基づくのみでなく、もっと積極的に行っても
良い。図９にその例を示した。これはＭＰＥＧで行われ
ているＰピクチャとＢピクチャの周期的な繰り返しに類
似するものである。ＰピクチャとＢピクチャの場合と同
じように、α＝０の場合は動き補償予測符号化部１１で
の符号化は楽になるが、前処理によってＳＮＲは低下す
る。この状態を継続すると、画質の劣化は蓄積してい
く。これに対して、α＝１の場合は前処理無しと同じ
で、動き補償予測符号化部１１での符号化は全く楽には
ならないが、前処理によるＳＮＲの低下は全く無いとい
う性質を持つ。従って、前処理部１１において劣化が目
立たない程度にα＝０（または、これに近い値）の状態
を継続し、時々α＝１（または、それに近い値）の状態
にすることによってリフレッシュするようにレート制御
回路１２０により係数αを制御すれば、主観的画質をあ
まり落とすこと無くトータルの符号量を節約できる。

【００４２】以上の実施例では、動画像符号化装置の前
処理部において動画像符号化装置での動き補償予測が当
たらない度合いが大きい領域ほど入力動が画像信号の解
像度を低下させる処理を行ったが、本発明は動画像復号
化装置において動画像符号化装置での動き補償予測が当
たらない度合いが大きい領域ほど復号画像信号の解像度
を低下させる処理を行う後処理部を設けても同様の効果
が得られる。

【００４３】図１０は、本発明に係る動画像復号化装置
の基本構成を示す図であり、端子２０に入力される符号
化信号は、動き補償予測復号化部２１で復号化された
後、後処理部２２に入力される。後処理部２２は、動画
像符号化装置での動き補償予測が当たらない度合いを評
価するための動き補償予測評価部２３と、この動き補償
予測評価部２３での評価結果に基づいて、動き補償予測
が当たらない度合いが大きい領域ほど動き補償予測復号
化部２１からの復号画像信号の解像度を低下させるフィ
ルタ部２４とからなる。動き補償予測評価部２３および
フィルタ２４部は、基本的には動画像符号化装置におけ
る前処理部１１の動き補償予測評価部１３およびフィル
タ１４部と同様の処理を行う。

【００４４】図１１は、本発明に係る動画像復号化装置
の一実施例の構成を示すブロック図であり、図１０の動
き補償予測復号化部２１と後処理部２２を具体化して示
している。

【００４５】図１１において、入力としては図示しない
動画像符号化装置で得られた符号化信号が与えられる。
この符号化信号は、まず入力バッファ／分離回路２０１
において予測誤差信号の符号化信号と動きベクトル情報
ＭＶとに分離される。動きベクトル情報ＭＶは、動き補
償予測復号化部２１内の動き補償予測回路２０５と後処
理部２２内の動き補償予測回路２０６に、予測誤差信号
の符号化信号は予測誤差復号回路２０２に送られる。予
測誤差復号回路２０２では予測誤差信号が復号され、加
算器２０３に送られる。一方、動き補償予測回路２０５
では送られた動きベクトル情報ＭＶを基にフレームメモ
リ２０４に蓄えられた過去の復号画像信号から動き補償
予測画像信号を作成し、加算器２０３に送る。加算器２
０３で両入力信号が加算されることにより復号画像信号
が作成され、フレームメモリ２０４に蓄えられる。この
復号画像信号に対して、前述した前処理と同じ原理によ
り後処理部２２で後処理を行う。

【００４６】すなわち、まず動き補償予測回路２０６で
上記復号画像信号に対する動き補償予測画像信号をフレ
ームメモリ２０４に蓄えられた過去の復号画像信号（例
えば１フレーム前の復号画像信号）から作成する。動画
像復号化装置では、動画像符号化装置側から動きベクト
ル情報が送られてくるので、動き補償予測回路９０２で
は動きベクトル検出を行う必要はなく、単に送られてき
た動きベクトルを基に例えばパッチ動き補償による予測
画像信号作成のみを行えば良い。ここで作成された予測
画像信号と上記復号画像信号を乗算器２０７，２０８と
加算器２０９により重み付け加算することにより、最終
的な出力画像信号を得る。後処理部２２でのこれらの動
作は、図２の実施例における前処理部１１の動作と同様
である。

【００４７】以上の後処理動作により、動きが大きくて
ブロック状の歪が出るような領域のみに解像度を落とす
処理が復号画像信号に施されて、歪を目立たなくするこ
とができる。動画像復号化装置では、動き補償予測回路
２０５，２０６ともに動きベクトル検出は行わないの
で、動画像符号化装置側の対応する回路より回路規模は
小さくて済む利点がある。

【００４８】ここで、後処理部２２に関して図１０と図
１１とを対応づけると、フレームメモリ２０４と動き補
償予測回路２０６が図１０の動き補償予測評価部２３に
対応し、また乗算器２０７，２０８と加算器２０９およ
び動き補償予測回路２０６が図１０のフィルタ部２４に
対応している。この場合、動き補償予測回路２０６は動
き補償予測評価部２３およびフィルタ部２４の両者に重
複した役目を果たしていることになる。また、後処理部
２２では動き補償予測復号化部２１内のフレームメモリ
２０４を構成要素として利用していることになる。

【００４９】図１０の動き補償評価部２３での評価基準
としては、種々のバリエーションが考えられる。例え
ば、送られてきた動きベクトル情報の確からしさを付随
する予測誤差の大きさで評価し、フィルタ部２４での低
域通過フィルタ処理の強さをそれに応じて変えるなどで
ある。これらのより一般的なバリエーションをカバーす
るために必要な信号は、動き補償予測復号化部２１から
動き補償評価部２３に送られる。さらに、図１１の実施
例では動きベクトルは動画像符号化装置側から送られた
ものを用いるとしたが、より一般的には復号画像信号と
過去の復号画像信号とから再度求め直しても良い。その
場合、動き補償評価部２３には復号画像信号も入力され
ることになる。

【００５０】なお、以上では入力動画像信号をフレーム
単位で符号化する場合について説明したが、フィールド
単位で符号化する場合にも本発明を適用できることはい
うまでもない。その場合、前処理部１１での動き補償予
測には、動き補償予測符号化と同様に、同一パリティの
フィールドから予測、１フィールド前からの予測、奇偶
両フィールドからの予測の３通りの方式が考えられる
が、そのいずれを用いてもよい。

【００５１】また、符号化をフレーム単位で行う場合で
も、前処理での動き補償予測はフィールド単位で行って
もよい。特に、入力動画像信号がインタレース構造を持
つ信号の場合、前処理部１１での動き補償予測を同一パ
リティフィールド同士で行った後にフレームに組み上げ
るようにすると、フレームを構成する各フィールド間の
時間的なずれの悪影響を受けることがなく、より性能の
向上が見込まれる。

【００５２】図１２は、この様子を示す図であり、図５
（ｂ）に示した信号の対応関係をここで説明するフィー
ルド毎に動き補償予測を行う場合に書き直したものであ
る。前処理部１１の構成はブロック図としては図１と同
じなので省略するが、信号関係は図１２に示すように奇
数フィールドは奇数フィールドのみから、偶数フィール
ドは偶数フィールドのみから前処理し、その後フレーム
に組み上げて動き補償予測符号化部１２に入力するよう
な構成にすることで、より自然な前処理後の動画像信号
を形成することができる。この前処理後の動画像信号の
自然さは、符号化効率の向上にも貢献する。特に、イン
タレース画像の符号化に対応した国際基準であるＭＰＥ
Ｇ２のような符号化方式の特徴を生かすためには、この
ような構成をとることが望ましい。

【００５３】図１２において、矢印および＋を○で囲ん
だ記号の意味するところは図５と同じである。この図に
ついて若干補足説明すると、例えばフィールドＮｏ．６
の前処理後の動画像信号は、フィールドＮｏ．６の入力
動画像信号と前処理後のフィールドＮｏ．４の動画像信
号を使ってフィールドＮｏ．６の入力動画像信号を予測
する予測画像信号とを重み付け加算することにより得ら
れる。図１２では、図５（ｂ）に示した図に対応する構
成のみ示したが、その他の構成に対応するような構成で
も構わないことは言うまでもない。

【００５４】また、前処理部１１での動き補償予測に動
き補償予測符号化部１２での動き補償予測と同様に、Ｍ
ＰＥＧで行われている両方向予測を適用することは可能
である。但し、この場合には前処理部１１において遅延
が増大することを考慮する必要がある。

【００５５】さらに、動き補償予測符号化部１２におい
てコマ落としを行う場合、前処理部１１においてもそれ
に合わせてコマ落としを行っても良い。符号化とコマ落
としを合わせた場合、処理はそれだけ複雑となるが、前
処理部１１内の動き補償予測回路１０２で作成される成
分が局部復号画像信号に近くなり、動き補償予測符号化
部１２での符号化がより容易になるという効果が期待で
きる。

【００５６】

【発明の効果】以上説明したように、本発明によると視
覚特性を利用して本来符号を大量に発生させるはずの動
きや変形の大きい画像やシーンチェンジなどに対して主
観的な画質をあまり落とすこと無く符号化し易い画像に
変形することにより、発生符号量を平滑化させ、結果と
して主観的画質の向上と符号化効率の向上を図ることが
できる。

【００５７】この効果は従来技術と異なり、動きの大き
い領域と小さい領域が同一画面内に共存するような画像
であっても、動きの小さい領域に対して影響を与えるこ
となく得られるものである。さらに正確に言えば、動き
の少ない領域や平行移動している領域など動き補償のよ
く当たる領域では、時間フィルタの働きにより雑音が低
減され、動きや変形の大きい領域では解像度が落とさ
れ、視覚的にあまり影響を与えることなく符号化し易い
画像に変形される。この処理が機械的な一つの処理によ
って実現される。

【図面の簡単な説明】

【図１】本発明に係る動画像符号化装置の基本構成を示
すブロック図

【図２】本発明に係る動画像符号化装置の一実施例の構
成を示すブロック図

【図３】本発明に係る動画像符号化装置の他の実施例の
構成を示すブロック図

【図４】本発明に係る動画像符号化装置の他の実施例の
構成を示すブロック図

【図５】図２および図３の実施例における入力と動き補
償後および前処理後の動画像信号の関係を示す図

【図６】動き内挿動作を説明するための図

【図７】図６の動作を実現する動き内挿処理部の構成例
を示すブロック図

【図８】本発明に係る動画像符号化装置の他の実施例の
構成を示すブロック図

【図９】図８の実施例におけるαの値の適応化の一例を
示す図

【図１０】本発明に係る動画像復号化装置の基本構成を
示すブロック図

【図１１】本発明の一実施例に係る動画像符号化装置の
構成を示すブロック図

【図１２】入力動画像信号がインターレース構造を有す
る場合の入力と動き補償後および前処理後の動画像信号
の関係を示す図

【符号の説明】

１０…動画像入力端子１１…前処理部１２…動き補償予測符号化部１３…動き補償
予測評価部１４…フィルタ部２０…符号化信
号入力端子２１…動き補償予測復号化部２２…後処理部２３…動き補償予測評価部２４…フィルタ
部１０１…フレームメモリ１０２…動き補
償予測回路１０３，１０４…乗算器１０５…加算器１０６…減算器１０７…予測誤
差符号化回路１０８…予測誤差復号化回路１０９…加算器１１０…フレームメモリ１１１…動き補
償予測回路１１２…多重化／出力バッファ１２０…レート
制御回路２０１…入力バッファ／分離部２０２…予測誤
差復号化回路２０３…加算器２０４…フレー
ムメモリ２０５…動き補償予測回路２０６…動き補
償予測回路２０７，２０８…乗算器２０９…加算器３０１…ブロック動きベクトル検出部３０２…動きベ
クトルメモリ３０３…動きベクトル内挿部３０４…画素内
挿部３０５…フレームメモリ３０６…フレー
ムメモリ

Claims

【特許請求の範囲】

【請求項１】入力動画像信号を動き補償予測符号化する
符号化手段と、この符号化手段の前段に設けられ、前記動き補償予測が
当たらない度合いが大きい領域ほど前記入力動画像信号
の解像度を低下させる処理を行う前処理手段とを具備す
ることを特徴とする動画像符号化装置。
【請求項２】前記前処理手段は、現入力動画像信号を過
去の動画像信号を用いて動き補償予測して得られた予測
画像信号と現入力動画像信号とを重み付け加算すること
により、前記入力動画像信号の解像度を低下させる処理
を行うことを特徴とする請求項１に記載の動画像符号化
装置。
【請求項３】前記前処理手段は、前記符号化手段におけ
る動き補償予測方式と同じ動き補償予測方式を用いるこ
とを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】前記前処理手段の前記重み付け加算におけ
る重み係数を適応的に制御する手段を有することを特徴
とする請求項２または３に記載の動画像符号化装置。
【請求項５】入力動画像信号を動き補償予測符号化する
動画像符号化装置からの符号化信号に対して動き補償予
測復号化を行い復号画像信号を得る復号化手段と、この復号化手段の後段に設けられ、前記動画像符号化装
置での動き補償予測が当たらない度合いが大きい領域ほ
ど前記復号画像信号の解像度を低下させる処理を行う後
処理手段とを具備することを特徴とする動画像復号化装
置。
【請求項６】前記後処理手段は、現復号画像信号を過去
の復号画像信号を用いて動き補償予測して得られた予測
画像信号と現復号画像信号とを重み付け加算することに
より、前記復号画像信号の解像度を低下させる処理を行
うことを特徴とする請求項５に記載の動画像復号化装
置。