JP2985752B2 - 動画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高能率符号化され
た画像信号を復号する動画復号化装置に関し、特に画像
信号を復号化した際に生じる雑音を除去するポストフィ
ルタの制御方式に特徴を有する動画復号化装置に関す
る。

【０００２】

【従来の技術】低ビットレートの回線を用いて動画像信
号を伝送する画像伝送装置では、動画像信号の伝送効率
を高めるため、高能率符号化を行っている。標準的な高
能率符号化の方式として、ＩＴＵ−Ｔ勧告Ｈ．２６１が
ある。Ｈ．２６１高能率符号化方式は、動画像信号に対
して、動き補償フレーム間符号化、ＤＣＴ（Ｄｉｓｃｒ
ｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換、量
子化、可変長符号化を行い、当該動画像信号の時間的・
空間的冗長を除くものである。

【０００３】高能率符号化された画像信号を受信して再
生画像を生成する動画像復号化装置は、可変長復号化、
逆量子化、ＤＣＴ逆変換、動き補償の処理を行うことに
より元の動画像信号を得る。このとき、再生画像にはブ
ロック歪やモスキートノイズ等、量子化による雑音が含
まれ、違和感のある画像となってしまう。したがって、
再生画像からこれらの雑音を除去する技術が必要とな
る。

【０００４】従来、再生画像の雑音除去技術として、再
生画像に２次元空間フィルタ処理を施して視覚的に違和
感のある高周波の雑音を除去する方法が取られている。
また、再生画像に２次元空間フィルタ処理を施すことは
画像の劣化を招来すること、及び前述の雑音は動きのあ
る画像において多く発生することに鑑み、動きのある部
分についてのみ２次元空間フィルタ処理を施す場合があ
る。すなわち、画像信号を、例えば１６×１６画素程度
の小ブロックに分割し、得られた小ブロック画像毎に求
められる動きベクトルに基づいて当該小ブロック画像の
動きの有無を判断する。そして、当該小ブロックに関し
て前述の２次元空間フィルタのＯＮ、ＯＦＦを制御し、
動きのある小ブロック画像にはフィルタをＯＮとし、動
きのない場合にはＯＦＦとする。これにより、画像の動
きのある部分には２次元空間フィルタ処理を施して雑音
の除去を行い、画像の静止部分では２次元空間フィルタ
処理を施さず解像度の劣化を防ぐ。この種の従来技術と
しては、特開平４−３５５９６号公報に記載された技術
がある。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術によるフィルタ制御のみでは、小ブロック
の画像が当該画像全体の輪郭を含む場合でも、当該小ブ
ロックの画像に動きがある場合でも２次元空間フィルタ
処理がかかってしまい、当該小ブロックにおける画像の
輪郭が保存されずぼけてしまうという欠点がある。

【０００６】また、動きベクトル情報を含まない画像信
号を復号する場合、小ブロックごとの２次元空間フィル
タのＯＮ、ＯＦＦの制御ができず、画像の劣化を招くこ
ととなる。

【０００７】本発明は、上記従来の欠点を解消し、再生
画像のフレーム間の差分から画像の動きのある領域の輪
郭を求め、当該輪郭部分には２次元空間フィルタ処理を
施さない動作制御を行うことにより、画像の輪郭がぼけ
ることを防ぎ、無用な画像の劣化を防止することのでき
る画像復号化装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】 上記の目的を達成するた
め、本発明は、高能率符号化された動画像信号を入力し
て元の動画像信号に復号する復号器と、復号された動画
像信号に対して制御信号に基づいて２次元空間フィルタ
処理を施して出力する空間フィルタと、復号された動画
像信号を入力して１フレーム分遅延させた遅延信号を生
成する遅延信号生成手段と、前記復号された動画像信号
と前記１フレーム分遅延させた遅延信号との差分を求め
る差分手段と、前記差分手段による差分の結果を２値化
して所定のしきい値と比較することにより、前記差分の
結果がしきい値より大きい場合に、動画像信号による画
像が動きのある画像であることを示す第１の２値化信号
を出力し、しきい値より小さい場合に、静止画像である
ことを示す第２の２値化信号を出力する判定手段と、前
記判定手段の判定結果に基づいて、前記第１または第２
の２値化信号に対応する画素を含む数画素分の広さの領
域を検査し、該領域に対応する全ての２値化信号が前記
第１の２値化信号である場合に前記空間フィルタに対し
２次元空間フィルタ処理を施すための前記制御信号を出
力し、該領域に対応する２値化信号のうち１つでも前記
第２の２値化信号が含まれている場合に前記空間フィル
タに対し２次元空間フィルタ処理を施さないための前記
制御信号を出力することにより、前記復号された動画像
信号に基づき、前記動画像のうち、輪郭部分を除く動作
部分のみに２次元空間フィルタ処理を施すように前記空
間フィルタを制御する空間フィルタ制御手段とを備える
構成としている。

【０００９】また、他の態様では、前記空間フィルタ制
御手段が、前記数画素分の領域に対応する動画像信号の
前記判定手段による判定結果を取得するように組み合わ
された任意の数の１ライン遅延素子及び任意の数の１画
素遅延素子と、前記取得した任意の領域に対応する動画
像信号の判定結果の論理積を算出する論理積回路とを備
える構成としている。

【００１０】

【００１１】

【００１２】

【００１３】

【００１４】

【作 用】本発明によれば、空間フィルタ制御手段が、
動画像信号と該動画像信号を１フレーム分遅延させた遅
延信号との差分を求めることにより、該動画像信号によ
る画像が動きのある画像か静止画像かを判定する。ま
た、動画像信号による画像のうち所定の領域についての
前記判定結果を検査し、当該領域に対応する動画像信号
のうち１つでも静止画像を示す動画像信号があれば、２
次元空間フィルタ処理を行わないように空間フィルタを
制御する。これにより、動画像信号による画像のうち、
動きのある部分にのみ２次元空間フィルタ処理を施し、
静止部分と動きのある画像の輪郭部分とについては２次
元空間フィルタ処理を施さ内容にすることができる。

【００１５】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００１６】図１は、本発明の１実施例による動画像復
号化の構成を示すブロック図である。

【００１７】図示のように、本実施例の動画像復号化装
置は、高能率符号化された動画像信号２０を入力して元
の動画像信号２１に復号する復号器１０と、動画像信号
２１に２次元空間フィルタ処理を施して出力する空間フ
ィルタ１６と、動画像信号２１を入力して１フレーム分
遅延させて出力するフレームメモリ１２と、動画像信号
２１と１フレーム分遅延した動画像信号２２とを入力し
て差分を求める減算器１３と、減算器１３から出力され
た差分信号２３を２値化する２値化回路１４と、２値化
回路１４の出力信号に基づいて空間フィルタ１６を制御
する空間フィルタ制御回路１５とを備える。

【００１８】復号器１１は、高能率化された動画像信号
２０を入力し、元の動画像信号２１復号して出力する。
復号器１１の機能として、例えばＩＴＵ−Ｔ勧告Ｈ．２
６１で定められている、可変長復号化、逆量子化、ＤＣ
Ｔ逆変換、動き補償の処理を行う。復号器１１から出力
される動画像信号２１は、フレームメモリ１２と減算器
１３と空間フィルタ１６とに配送される。

【００１９】フレームメモリ１２は、入力した動画像信
号２１を入力し、１フレーム分遅延させて出力する。フ
レームメモリ１２から出力された１フレーム分遅延した
動画像信号２２は減算器１３に送られる。

【００２０】減算器１３は、復号器１１の出力である動
画像信号２１とフレームメモリ１２の出力である動画像
信号２２とを入力し、両信号の差分を求める。動画像信
号２１と動画像信号２２とは同一の動画像信号である
が、動画像信号２２が動画像信号２１よりも１フレーム
分遅延している。従って、両信号の差分を求めれば、そ
の結果に基づいて、動画像信号２１、２２により生成さ
れる画像が動きを有する画像かどうかを判断することが
できる。

【００２１】２値化回路１４は、減算器１３による差分
の結果を示す差分信号２３を入力し、当該差分信号２３
を２値化する。すなわち、２値化回路１４は、あらかじ
め定められたしきい値Ｔｈと差分信号２３とを比較し、
当該差分信号２３がしきい値Ｔｈよりも大きければ１を
出力し、小さければ０を出力する。

【００２２】空間フィルタ制御回路１５は、２値化回路
１４から出力された２値化信号を入力し、当該２値化信
号に基づいて空間フィルタ１６のＯＮ、ＯＦＦを制御す
る。すなわち、所定の２値化信号に対応する画素を含む
適当な領域の画素に１つでも０が含まれているときは０
を出力し、全ての画素が１である場合には１を出力す
る。空間フィルタ制御回路１５の構成については後述す
る。

【００２３】空間フィルタ１６は、復号器１１から出力
された動画像信号２１を入力し、空間フィルタ制御回路
１５の制御に従って入力した動画像信号２１に２次元の
ローパスフィルタ処理を施す。すなわち、空間フィルタ
制御回路１５の出力信号２５が１であれば動画像信号２
１にローパスフィルタ処理を施して出力する。一方、出
力信号２５が０であればローパスフィルタ処理を行わ
ず、動画像信号２１をそのまま出力する。

【００２４】図２は、空間フィルタ制御回路１５の構成
を示すブロック図である。

【００２５】図示のように、空間フィルタ制御回路１５
は、入力信号を１ライン分遅延させる１ライン遅延素子
１５１、１５２と入力信号を１画素分遅延させる１画素
遅延素子１５３ないし１５８とを備え、所定の入力信号
を中心に左右に１画素ずつ、上下に１ライン画素ずつず
らした合計９画素分の入力信号を得る。また、これらの
入力信号の論理積を算出する論理積回路１５９を備え
る。

【００２６】すなわち、２値化回路１４から入力した２
値化信号２４は、そのまま２値化信号２１０として論理
積回路１５９に送られると共に、１ライン遅延素子１５
１及び１画素遅延素子１５５に分配される。１ライン遅
延素子１５１に送られた信号は１ライン分遅延された
後、出力されて２値化信号２１１として論理積回路１５
９に送られると共に、１ライン遅延素子１５２及び１画
素遅延素子１５４に分配される。１ライン遅延素子１５
２に送られた信号は１ライン分遅延された後、出力され
て２値化信号２１２として論理積回路１５９に送られる
と共に、１画素遅延素子１５３に分配される。１画素遅
延素子１５５、１５４、１５３に送られた信号は、それ
ぞれ１画素分遅延された後、出力されて２値化信号２１
３、２１４、２１５として論理積回路１５９に送られる
と共に、１画素遅延素子１５８、１５７、１５６に分配
される。１画素遅延素子１５８、１５７、１５６に送ら
れた信号は、１画素分遅延された後、出力されて２値化
信号２１６、２１７、２１８として論理積回路１５９に
送られる。

【００２７】以上のようにして、論理積回路１５９に
は、２値化信号２１０、２値化信号２１０から１ライン
分遅延した２値化信号２１１、２値化信号２１０から２
ライン分遅延した２値化信号２１２、２値化信号２１
０、２１１、２１２からそれぞれ１画素分ずつ遅延した
２値化信号２１３、２１４、２１５、２画素分ずつ遅延
した２値化信号２１６、２１７、２１８が入力される。
これは、通常のディスプレイ装置におけるモニタ画面の
ように横方向に走査線を有する２次元の表示画面を考慮
すると、図３に示すように、２値化信号２１４による画
像を中心として上下左右に３画素ずつの合計９画素分の
画像表示領域に対応する。各２値化信号２１０ないし２
１８と図３の各画素の位置との対応関係を図４に示す。

【００２８】論理積回路１５９は、入力した２値化信号
２１０ないし２１８の論理積を求めて空間フィルタ１６
を制御する制御信号２５を出力する。すなわち、全ての
入力が論理１の場合に１を出力し、１つでも論理０があ
った場合には０を出力する。図５及び図６を参照して、
６ライン×６画素の表示画面における制御の例を説明す
る。同図において、斜線で示した領域が２値化信号２１
０ないし２１８に対応する画像領域であるとする。この
例で、図５の場合、Ｐ（−１，−１）の位置の２値化信
号は０であるから、制御信号２５は０となる。また図６
の場合、全ての画素に対応する２値化信号が１であるか
ら、制御信号２５は１となる。

【００２９】ここで、３ライン×３画素の領域に１つで
も論理０の２値化信号が含まれている場合に、当該領域
全体を０とするのは、当該領域に画像として動きのない
部分（差分及び２値化の結果が０の部分）を含むことか
ら、当該領域が画像の輪郭部分である可能性が高く、当
該領域に対しては、２次元空間フィルタ処理を施さず、
画像の鮮明さを保持することが好ましいからである。

【００３０】次に、空間フィルタ１６の機能について説
明する。

【００３１】空間フィルタは、次の数１式で示す３ライ
ン×３画素のローパスフィルタで実現する。すなわち、
空間フィルタの入力をＸ（ｉ，ｊ）とすると、Ｘ（０，
０）にローパスフィルタを施した出力Ｙ（０，０）は、
Ｘ（ｉ，ｊ）画素に対応する係数Ｃ（ｉ，ｊ）を乗算
し、乗算結果を累算することで得られる。

【００３２】

【数１】

【００３３】また、フィルタ係数Ｃ（ｉ，ｊ）として値
０を選択することにより、入力信号に対して２次元空間
フィルタ処理を施さないようにすることが可能である。
したがって、空間フィルタ制御回路１５からの制御信号
２５に基づいて、制御信号２５が１の場合にフィルタ処
理を施し、制御信号２５が０の場合にはフィルタ計数Ｃ
（ｉ，ｊ）を０としてフィルタ処理を行わないようにす
ることができる。これにより、動きのある画像の輪郭を
除いた動画素に対してのみ２次元空間フィルタ処理を施
し、再生画像に含まれるモスキートノイズ等の量子化雑
音を除去する。そして、画像の動きの外部分及び輪郭部
分は２次元空間フィルタ処理を施さず、必要以上の画像
の劣化を回避する。

【００３４】以上好ましい実施例をあげて本発明を説明
したが、本発明は必ずしも上記実施例に限定されるもの
ではない。例えば、本実施例では、３ライン×３画素の
合計９画素分の領域に動きのない部分が含まれるかどう
かを判定することにより、画像の輪郭部分の判断を行っ
たが、必ずしも３ライン×３画素の領域とする必要はな
く、扱う画像の種類等に応じて適当に設定することがで
きる。

【００３５】

【発明の効果】以上説明したように、本発明によれば、
ある程度の広がりを持つ領域内に動きのない部分を含む
かどうかを判断することにより、動きのある画像の輪郭
部分を検出し、当該輪郭部分には２次元空間フィルタ処
理を施さないようにするため、当該輪郭部分の画像の鮮
明さを保存し、当該画像がぼけてしまうのを防ぐことが
できる。

【００３６】また、所定の動画像信号と当該動画像信号
から１フレーム分遅延した動画像信号との差分をとるこ
とにより当該画像の動きの有無を判断しているため、従
来の動画像復号化装置における空間フィルタ制御技術よ
うに動きベクトルを必要としない。したがって、動きベ
クトル情報を含まない動画像信号に対しても、動きを有
する部分のみに対する量子化雑音の適切な除去が可能と
なる。

【図面の簡単な説明】

【図１】 本発明の１実施例による動画像復号化装置の
構成を示すブロック図である。

【図２】 本実施例における空間フィルタ制御回路の構
成を示すブロック図である。

【図３】 本実施例の空間フィルタ制御回路における判
断領域を示す図である。

【図４】 本実施例の空間フィルタ制御回路における判
断領域と２値化信号との関係を示す図である。

【図５】 本実施例の空間フィルタ制御回路による空間
フィルタの制御例を示す図である。

【図６】 本実施例の空間フィルタ制御回路による空間
フィルタの他の制御例を示す図である。

【符号の説明】

１１ 復号器 １２ フレームメモリ １３ 減算器 １４ ２値化回路 １５ 空間フィルタ制御回路 １６ 空間フィルタ １５１、１５２ １ライン遅延素子 １５３〜１５８ １画素遅延素子 １５９ 論理積回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 高能率符号化された動画像信号を入力し
   て元の動画像信号に復号する復号器と、 復号された動画像信号に対して制御信号に基づいて２次
   元空間フィルタ処理を施して出力する空間フィルタと、 前記復号された動画像信号を入力して１フレーム分遅延
   させた遅延信号を生成する遅延信号生成手段と、 前記復号された動画像信号と前記１フレーム分遅延させ
   た遅延信号との差分を求める差分手段と、 前記差分手段による差分の結果を２値化して所定のしき
   い値と比較することにより、前記差分の結果がしきい値
   より大きい場合に、動画像信号による画像が動きのある
   画像であることを示す第１の２値化信号を出力し、しき
   い値より小さい場合に、静止画像であることを示す第２
   の２値化信号を出力する判定手段と、 前記判定手段の判定結果に基づいて、前記第１または第
   ２の２値化信号に対応する画素を含む数画素分の広さの
   領域を検査し、該領域に対応する全ての２値化信号が前
   記第１の２値化信号である場合に前記空間フィルタに対
   し２次元空間フィルタ処理を施すための前記制御信号を
   出力し、該領域に対応する２値化信号のうち１つでも前
   記第２の２値化信号が含まれている場合に前記空間フィ
   ルタに対し２次元空間フィルタ処理を施さないための前
   記制御信号を出力することにより、前記復号された動画
   像信号のうち、輪郭部分を除く動作部分のみに２次元空
   間フィルタ処理を施すように前記空間フィルタを制御す
   る空間フィルタ制御手段とを備えることを特徴とする動
   画像復号化装置。
2. 【請求項２】 前記空間フィルタ制御手段が、 前記数画素分の領域に対応する動画像信号の前記判定手
   段による判定結果を取得するように組み合わされた任意
   の数の１ライン遅延素子及び任意の数の１画素遅延素子
   と、 前記取得した任意の領域に対応する動画像信号の判定結
   果の論理積を算出する論理積回路と を備えることを特徴
   とする請求項１に記載された動画像復号化装置。