JPH0993580A - 画像復号化装置 - Google Patents
画像復号化装置Info
- Publication number
- JPH0993580A JPH0993580A JP7251337A JP25133795A JPH0993580A JP H0993580 A JPH0993580 A JP H0993580A JP 7251337 A JP7251337 A JP 7251337A JP 25133795 A JP25133795 A JP 25133795A JP H0993580 A JPH0993580 A JP H0993580A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- distortion
- block
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 隣接するブロック間において、ブロック歪み
を視覚的に目立たない範囲で除去しつつ原画像の再現性
を向上する。 【解決手段】この画像復号化装置の歪み判定部8は、可
変長符号化した画像データが可変長符号デコード部2、
逆量子化部3および逆直交変換部4などによりブロック
単位に復号化されたとき、隣り合うブロックに対して、
ブロック境界に沿った互いの画素間一つ一つの差dを求
め、それぞれを加算してその総和sdを求めると共に、
各ブロック境界に沿った各画素の境界方向の高周波成分
の総和HP1、HP2 と、互いの高周波成分差の絶対値[HP1
-HP2 ]を求め、それぞれ求めた高周波成分差[HP1-HP2
]と画素間差の総和sdとを、予め個々に対して設定
されているしきい値Tsd、Thpと比較して、互いが
しきい値Tsd、Thpよりも大きい場合のみブロック
歪み発生と判定し歪み除去部9に歪みを除去させる。
を視覚的に目立たない範囲で除去しつつ原画像の再現性
を向上する。 【解決手段】この画像復号化装置の歪み判定部8は、可
変長符号化した画像データが可変長符号デコード部2、
逆量子化部3および逆直交変換部4などによりブロック
単位に復号化されたとき、隣り合うブロックに対して、
ブロック境界に沿った互いの画素間一つ一つの差dを求
め、それぞれを加算してその総和sdを求めると共に、
各ブロック境界に沿った各画素の境界方向の高周波成分
の総和HP1、HP2 と、互いの高周波成分差の絶対値[HP1
-HP2 ]を求め、それぞれ求めた高周波成分差[HP1-HP2
]と画素間差の総和sdとを、予め個々に対して設定
されているしきい値Tsd、Thpと比較して、互いが
しきい値Tsd、Thpよりも大きい場合のみブロック
歪み発生と判定し歪み除去部9に歪みを除去させる。
Description
【0001】
【発明の属する技術分野】本発明は、画像データを(n
×m)、例えば 8× 8などの画素群を一単位とするブロ
ック毎に分割し圧縮符号化して得られた可変長符号化信
号を元の画像データに復号化する画像復号化装置に関す
る。
×m)、例えば 8× 8などの画素群を一単位とするブロ
ック毎に分割し圧縮符号化して得られた可変長符号化信
号を元の画像データに復号化する画像復号化装置に関す
る。
【0002】
【従来の技術】近年、画像のディジタル圧縮処理につい
て検討がなされ、高能率に圧縮を行う規格が多数提案さ
れている。特に、動画像信号を高能率に圧縮する方式と
して、入力画像を(n×m)のブロックに分割し、ブロ
ック毎に直交変換を施すMPEG方式などが広く知られ
ている。
て検討がなされ、高能率に圧縮を行う規格が多数提案さ
れている。特に、動画像信号を高能率に圧縮する方式と
して、入力画像を(n×m)のブロックに分割し、ブロ
ック毎に直交変換を施すMPEG方式などが広く知られ
ている。
【0003】以下、図6を参照して従来の画像復号化装
置について説明する。
置について説明する。
【0004】同図に示すように、従来の画像復号化装置
は、端子1、可変長符号デコード部2、逆量子化部3、
逆直交変換部4、加算器5、リファレンスメモリ部6お
よび端子7などから構成されている。
は、端子1、可変長符号デコード部2、逆量子化部3、
逆直交変換部4、加算器5、リファレンスメモリ部6お
よび端子7などから構成されている。
【0005】この場合、まず、圧縮符号化された入力信
号が端子1から可変長符号デコード部2に入力されてデ
コードされる。この可変長符号デコード部2でデコード
された可変長復号化信号102は、逆量子化部3で逆量
子化制御信号によって逆量子化され、変換係数信号10
3が出力される。このときこの逆量子化制御信号が大き
いほど符号化の際、粗い量子化が施されているため、変
換係数信号103に含まれる量子化誤差は大きくなる。
号が端子1から可変長符号デコード部2に入力されてデ
コードされる。この可変長符号デコード部2でデコード
された可変長復号化信号102は、逆量子化部3で逆量
子化制御信号によって逆量子化され、変換係数信号10
3が出力される。このときこの逆量子化制御信号が大き
いほど符号化の際、粗い量子化が施されているため、変
換係数信号103に含まれる量子化誤差は大きくなる。
【0006】次に、変換係数信号103は、ブロック毎
に逆直交変換部4で逆直交変換され、逆直交変換画像信
号104が得られる。
に逆直交変換部4で逆直交変換され、逆直交変換画像信
号104が得られる。
【0007】この逆直交変換画像信号104は、時間方
向に予測符号化された画像の場合、リファレンスメモリ
部6によって生成される参照画像信号106と加算器5
で加算され、再度、リファレンスメモリ部6に入力さ
れ、復号画像信号107として端子7より出力される。
向に予測符号化された画像の場合、リファレンスメモリ
部6によって生成される参照画像信号106と加算器5
で加算され、再度、リファレンスメモリ部6に入力さ
れ、復号画像信号107として端子7より出力される。
【0008】一方、逆直交変換画像信号104が時間方
向の予測符号化を用いないイントラ符号化画像の場合
は、参照画像信号は常に0となるので、逆直交変換画像
信号104がそのままリファレンスメモリ部6に入力さ
れて復号画像信号107が端子7より出力される。
向の予測符号化を用いないイントラ符号化画像の場合
は、参照画像信号は常に0となるので、逆直交変換画像
信号104がそのままリファレンスメモリ部6に入力さ
れて復号画像信号107が端子7より出力される。
【0009】ところで、このような画像符号化方式で
は、絵柄の細かい画像が動くときなどは、イントラで符
号化される傾向が強くなり、また符号化ビットレートの
制限よりも量子化スケールが大きくなり、直交変換時の
変換係数信号に、大きな量子化誤差が含まれてしまう傾
向がある。
は、絵柄の細かい画像が動くときなどは、イントラで符
号化される傾向が強くなり、また符号化ビットレートの
制限よりも量子化スケールが大きくなり、直交変換時の
変換係数信号に、大きな量子化誤差が含まれてしまう傾
向がある。
【0010】量子化誤差は、復号画像信号のブロック境
界において段差を発生させ、いわゆるブロック歪みとな
るため、これが大きい場合、視覚的に目立つ画質劣化を
引き起こす。
界において段差を発生させ、いわゆるブロック歪みとな
るため、これが大きい場合、視覚的に目立つ画質劣化を
引き起こす。
【0011】ここで、図7および図9を参照して上記ブ
ロック歪みがどのような場合に発生し視覚的に目立つか
について説明する。
ロック歪みがどのような場合に発生し視覚的に目立つか
について説明する。
【0012】図7(a)に示すように、隣接する4つの
ブロックの全てに斜め方向のエッジが存在する比較的高
い周波数を持つ原画像の場合、この原画像に対して粗い
量子化スケールで符号化および復号化を行った場合、復
号画像には、図7(b)に示すように、隣接する4つの
ブロックの全てに高周波成分が含まれていることからブ
ロック境界全てにブロック歪みが発生する。この場合、
周辺ブロックとの関係でブロック歪みは、視覚的にさほ
ど目立たないと言える。
ブロックの全てに斜め方向のエッジが存在する比較的高
い周波数を持つ原画像の場合、この原画像に対して粗い
量子化スケールで符号化および復号化を行った場合、復
号画像には、図7(b)に示すように、隣接する4つの
ブロックの全てに高周波成分が含まれていることからブ
ロック境界全てにブロック歪みが発生する。この場合、
周辺ブロックとの関係でブロック歪みは、視覚的にさほ
ど目立たないと言える。
【0013】−方、図8(a)に示すように、隣接する
4つのブロックのうち、左上のブロックのみに斜め方向
のエッジが存在する原画像の場合、上記同様に粗い量子
化スケールで符号化および復号化を行った場合、高周波
成分を表す変換係数が失われるため、復号画像は、図8
(b)に示すようにエッジが膨らんだようにぼかされて
しまい、結果としてブロック境界に段差を発生する。こ
の場合、周辺のブロックに高周波成分がないため、この
ブロック歪みは視覚的に目立つ画質劣化となってしま
う。
4つのブロックのうち、左上のブロックのみに斜め方向
のエッジが存在する原画像の場合、上記同様に粗い量子
化スケールで符号化および復号化を行った場合、高周波
成分を表す変換係数が失われるため、復号画像は、図8
(b)に示すようにエッジが膨らんだようにぼかされて
しまい、結果としてブロック境界に段差を発生する。こ
の場合、周辺のブロックに高周波成分がないため、この
ブロック歪みは視覚的に目立つ画質劣化となってしま
う。
【0014】そこで、近年では、上記したブロック歪み
を除去する技術が発案されている。例えば特開平5−6
3997号公報などには、逆直交変換回路の後段にブロ
ック歪を除去する歪除去回路と、逆量子化回路からブロ
ック毎の空間周波数成分を取り込み、各ブロック毎の変
換係数を判定する係数判定回路と、この係数判定回路の
判定結果に応じて歪み除去特性を決定する歪除去特性決
定回路とを有する画像信号復号化装置が開示されてい
る。
を除去する技術が発案されている。例えば特開平5−6
3997号公報などには、逆直交変換回路の後段にブロ
ック歪を除去する歪除去回路と、逆量子化回路からブロ
ック毎の空間周波数成分を取り込み、各ブロック毎の変
換係数を判定する係数判定回路と、この係数判定回路の
判定結果に応じて歪み除去特性を決定する歪除去特性決
定回路とを有する画像信号復号化装置が開示されてい
る。
【0015】この場合、逆量子化回路からブロック毎の
空間周波数成分を基に、歪み除去特性が可変される。
空間周波数成分を基に、歪み除去特性が可変される。
【0016】ところで、図9(a)に示すように、隣接
する4つのブロックのうち、左上のブロックに画像境界
とブロック間境界都が一致する画像が存在し、他のブロ
ックには画像が存在しない場合、このような原画像をエ
ンコード/デコードし、上記歪み除去技術を適用してブ
ロック歪みを除去すると、図9(b)に示すように、画
像の接するブロック間境界がぼかされてしまい、原画像
の鮮鋭度が失われてしまう。
する4つのブロックのうち、左上のブロックに画像境界
とブロック間境界都が一致する画像が存在し、他のブロ
ックには画像が存在しない場合、このような原画像をエ
ンコード/デコードし、上記歪み除去技術を適用してブ
ロック歪みを除去すると、図9(b)に示すように、画
像の接するブロック間境界がぼかされてしまい、原画像
の鮮鋭度が失われてしまう。
【0017】すなわち、高周波成分を持つブロックと、
持たないブロックが隣接している原画像を粗く量子化し
た場合は、視覚的に目立つブロック歪みとそうでないも
のが発生することになり、隣接するブロックの画像状況
に応じてブロック単位に歪み除去を行ったり、歪み除去
を全く行わなくする必要がある。
持たないブロックが隣接している原画像を粗く量子化し
た場合は、視覚的に目立つブロック歪みとそうでないも
のが発生することになり、隣接するブロックの画像状況
に応じてブロック単位に歪み除去を行ったり、歪み除去
を全く行わなくする必要がある。
【0018】
【発明が解決しようとする課題】しかしながら、上述し
た従来の画像復号化装置では、圧縮符号化された画像デ
ータを復号化するにあたり、ブロック毎の空間周波数成
分のみを基に、大まかに歪み除去特性を決定して、全て
のブロック歪みが除去されるため、ブロック歪み自体は
目立たなくなるものの、ブロック境界の鮮鋭度が失わ
れ、原画像の再現性が低下するという問題があった。
た従来の画像復号化装置では、圧縮符号化された画像デ
ータを復号化するにあたり、ブロック毎の空間周波数成
分のみを基に、大まかに歪み除去特性を決定して、全て
のブロック歪みが除去されるため、ブロック歪み自体は
目立たなくなるものの、ブロック境界の鮮鋭度が失わ
れ、原画像の再現性が低下するという問題があった。
【0019】本発明はこのような課題を解決するために
なされたもので、隣接するブロック間において、視覚的
に目立つブロック歪みを除去しつつ原画像の再現性を向
上することのできる画像復号化装置を提供することを目
的としている。
なされたもので、隣接するブロック間において、視覚的
に目立つブロック歪みを除去しつつ原画像の再現性を向
上することのできる画像復号化装置を提供することを目
的としている。
【0020】
【課題を解決するための手段】上記した目的を達成する
ために、請求項1記載の画像復号化装置は、(n×m)
の画素群を1ブロックとして圧縮符号化した画像データ
を復号化する画像復号化装置において、前記圧縮符号化
した画像データをブロック単位に復号化する復号化手段
と、前記復号化手段により復号化された画像データの隣
り合うブロックに対して、ブロック境界に沿った隣接す
る画素一つ一つのレベル差を算出し、それぞれのレベル
差を加算して画素間レベル差の総和を求める手段と、前
記ブロック境界に沿ったそれぞれのブロックの複数の画
素について、境界ライン方向の高周波成分の総和を算出
し、さらに隣り合うブロック間の高周波成分差を求める
手段と、前記求められた高周波成分差と前記画素間レベ
ル差の総和とを、予め個々に設定されているしきい値と
比較して、互いがしきい値よりも大きい場合、ブロック
境界に視覚的に目立つ歪みが発生しているものと判定す
る歪み判定手段と、前記歪み判定手段により歪みが発生
しているものと判定されたブロック境界の画素レベル間
差を小さくするように画像データを補正する歪み除去手
段とを具備している。
ために、請求項1記載の画像復号化装置は、(n×m)
の画素群を1ブロックとして圧縮符号化した画像データ
を復号化する画像復号化装置において、前記圧縮符号化
した画像データをブロック単位に復号化する復号化手段
と、前記復号化手段により復号化された画像データの隣
り合うブロックに対して、ブロック境界に沿った隣接す
る画素一つ一つのレベル差を算出し、それぞれのレベル
差を加算して画素間レベル差の総和を求める手段と、前
記ブロック境界に沿ったそれぞれのブロックの複数の画
素について、境界ライン方向の高周波成分の総和を算出
し、さらに隣り合うブロック間の高周波成分差を求める
手段と、前記求められた高周波成分差と前記画素間レベ
ル差の総和とを、予め個々に設定されているしきい値と
比較して、互いがしきい値よりも大きい場合、ブロック
境界に視覚的に目立つ歪みが発生しているものと判定す
る歪み判定手段と、前記歪み判定手段により歪みが発生
しているものと判定されたブロック境界の画素レベル間
差を小さくするように画像データを補正する歪み除去手
段とを具備している。
【0021】この請求項1記載の発明の場合、隣接する
各ブロックの境界ラインに沿った画素について、画素間
のレベル差を算出し、それぞれを加算して画素間のレベ
ル差の総和を求める。また隣接するブロック間の境界ラ
インに沿った画素について境界方向の高周波成分を算出
し、それらを加算して総和を求めた後に互いのブロック
間の高周波成分の差をとる。そして、画素間レベル差の
総和としきい値Tsdとを比較すると共に高周波成分差
としきい値Thpとを比較する。
各ブロックの境界ラインに沿った画素について、画素間
のレベル差を算出し、それぞれを加算して画素間のレベ
ル差の総和を求める。また隣接するブロック間の境界ラ
インに沿った画素について境界方向の高周波成分を算出
し、それらを加算して総和を求めた後に互いのブロック
間の高周波成分の差をとる。そして、画素間レベル差の
総和としきい値Tsdとを比較すると共に高周波成分差
としきい値Thpとを比較する。
【0022】そして、画素間レベル差の総和がしきい値
Tsdよりも大きく、かつ高周波成分差がしきい値Th
pよりも大きい場合、視覚的に目立つブロック歪みが生
じていると判断され、ブロック境界の画素レベル間差を
小さくするように画像データが補正される。
Tsdよりも大きく、かつ高周波成分差がしきい値Th
pよりも大きい場合、視覚的に目立つブロック歪みが生
じていると判断され、ブロック境界の画素レベル間差を
小さくするように画像データが補正される。
【0023】したがって、図9(a)に示したようにブ
ロック境界に沿ったエッジを有する原画像の場合には歪
み除去が行われなくなり、原画像をそのエッジがぼける
ことなく再現できる。
ロック境界に沿ったエッジを有する原画像の場合には歪
み除去が行われなくなり、原画像をそのエッジがぼける
ことなく再現できる。
【0024】また請求項2記載の画像復号化装置は、請
求項1記載の画像復号化装置において、前記復号化手段
が、圧縮符号化された画像データを可変長復号化するデ
コード手段と、前記デコード手段によりデコードされた
信号を逆量子化制御信号によって逆量子化する逆量子化
手段と、前記逆量子化手段により逆量子化された信号を
逆直交変換モードに応じてフレーム単位かフィールド単
位かを判定し、判定した単位で2次元逆直交変換する逆
直交変換手段と、前記逆直交変換手段により逆直交変換
された復号画像信号に参照画像信号を加算する加算手段
と、前記加算手段により加算された復号画像信号を基に
各ブロックを再構成し、再構成した復号画像信号と、そ
の1フィールド前の復号画像信号とを前記歪み判定手段
へ出力するリファレンスメモリ手段とを有することを特
徴としている。
求項1記載の画像復号化装置において、前記復号化手段
が、圧縮符号化された画像データを可変長復号化するデ
コード手段と、前記デコード手段によりデコードされた
信号を逆量子化制御信号によって逆量子化する逆量子化
手段と、前記逆量子化手段により逆量子化された信号を
逆直交変換モードに応じてフレーム単位かフィールド単
位かを判定し、判定した単位で2次元逆直交変換する逆
直交変換手段と、前記逆直交変換手段により逆直交変換
された復号画像信号に参照画像信号を加算する加算手段
と、前記加算手段により加算された復号画像信号を基に
各ブロックを再構成し、再構成した復号画像信号と、そ
の1フィールド前の復号画像信号とを前記歪み判定手段
へ出力するリファレンスメモリ手段とを有することを特
徴としている。
【0025】この請求項2記載の発明の場合、復号化手
段が、デコード手段、逆量子化手段、逆直交変換手段、
加算手段、リファレンスメモリ手段などからなるので、
請求項1記載の画像復号化装置を従来の装置に外付けす
る形で適用できる。
段が、デコード手段、逆量子化手段、逆直交変換手段、
加算手段、リファレンスメモリ手段などからなるので、
請求項1記載の画像復号化装置を従来の装置に外付けす
る形で適用できる。
【0026】請求項3記載の画像復号化装置は、請求項
1記載の画像復号化装置において、前記復号化手段が、
圧縮符号化された画像データを可変長復号化するデコー
ド手段と、前記デコード手段によりデコードされた信号
を逆量子化制御信号によって逆量子化する逆量子化手段
と、前記逆量子化手段により逆量子化された信号を逆直
交変換モードに応じてフレーム単位かフィールド単位か
を判定し、判定した単位で2次元逆直交変換する逆直交
変換手段と、前記逆直交変換手段により逆直交変換され
た復号画像信号に参照画像信号を加算する加算手段と、
前記加算手段により加算された復号画像信号を基に各ブ
ロックを再構成し、再構成した復号画像信号を前記歪み
判定手段へ出力するフレームメモリ手段と、前記フレー
ムメモリ手段により記憶された復号画像信号の1フィー
ルド前の信号が記憶され、歪み判定時に前記歪み判定手
段により読み出されるフィールドメモリ手段とを有する
ことを特徴としている。
1記載の画像復号化装置において、前記復号化手段が、
圧縮符号化された画像データを可変長復号化するデコー
ド手段と、前記デコード手段によりデコードされた信号
を逆量子化制御信号によって逆量子化する逆量子化手段
と、前記逆量子化手段により逆量子化された信号を逆直
交変換モードに応じてフレーム単位かフィールド単位か
を判定し、判定した単位で2次元逆直交変換する逆直交
変換手段と、前記逆直交変換手段により逆直交変換され
た復号画像信号に参照画像信号を加算する加算手段と、
前記加算手段により加算された復号画像信号を基に各ブ
ロックを再構成し、再構成した復号画像信号を前記歪み
判定手段へ出力するフレームメモリ手段と、前記フレー
ムメモリ手段により記憶された復号画像信号の1フィー
ルド前の信号が記憶され、歪み判定時に前記歪み判定手
段により読み出されるフィールドメモリ手段とを有する
ことを特徴としている。
【0027】この請求項3記載の発明の場合、フレーム
メモリ手段の他にフィールドメモリ手段を有しているの
で、歪み判定手段は、判定に必要な1フィールド前の信
号をフィールドメモリ手段から読み出すことができる。
メモリ手段の他にフィールドメモリ手段を有しているの
で、歪み判定手段は、判定に必要な1フィールド前の信
号をフィールドメモリ手段から読み出すことができる。
【0028】請求項4記載の画像復号化装置は、請求項
1記載の画像復号化装置において、前記復号化手段が、
圧縮符号化された画像データを可変長復号化するデコー
ド手段と、前記デコード手段によりデコードされた信号
を逆量子化制御信号によって逆量子化する逆量子化手段
と、前記逆量子化手段により逆量子化された信号を逆直
交変換モードに応じてフレーム単位かフィールド単位か
を判定し、判定した単位で2次元逆直交変換する逆直交
変換手段と、前記逆直交変換手段により逆直交変換され
た(n×m)の画素群を1ブロックとした復号画像信号
に参照画像信号を加算する加算手段と、前記加算手段に
より加算された(n×m)の画素群を1ブロックとした
復号画像信号が前記歪み除去手段を通じて入力され、そ
れを基に各ブロックを再構成し、再構成した復号画像信
号を出力するリファレンスメモリ手段とを有することを
特徴としている。
1記載の画像復号化装置において、前記復号化手段が、
圧縮符号化された画像データを可変長復号化するデコー
ド手段と、前記デコード手段によりデコードされた信号
を逆量子化制御信号によって逆量子化する逆量子化手段
と、前記逆量子化手段により逆量子化された信号を逆直
交変換モードに応じてフレーム単位かフィールド単位か
を判定し、判定した単位で2次元逆直交変換する逆直交
変換手段と、前記逆直交変換手段により逆直交変換され
た(n×m)の画素群を1ブロックとした復号画像信号
に参照画像信号を加算する加算手段と、前記加算手段に
より加算された(n×m)の画素群を1ブロックとした
復号画像信号が前記歪み除去手段を通じて入力され、そ
れを基に各ブロックを再構成し、再構成した復号画像信
号を出力するリファレンスメモリ手段とを有することを
特徴としている。
【0029】この請求項4記載の発明の場合、加算手段
により加算された(n×m)の画素群を1ブロックとし
た復号画像信号を基に、歪みの判定を行えるので、再構
築後の復号画像信号からブロック毎に画素データを切り
出すことなく、歪み判定処理を行える。
により加算された(n×m)の画素群を1ブロックとし
た復号画像信号を基に、歪みの判定を行えるので、再構
築後の復号画像信号からブロック毎に画素データを切り
出すことなく、歪み判定処理を行える。
【0030】請求項5記載の画像復号化装置は、請求項
1乃至4いずれか一記載の画像復号化装置において、前
記歪み判定手段が、符号化時に設定される逆量子化制御
信号または符号化がフレーム単位で処理されたか否かを
示すマクロブロックイントラ信号および前フレームとの
輝度の差を示す直流レベル間差信号のうち、少なくとも
1つを利用してしきい値を設定することを特徴としてい
る。
1乃至4いずれか一記載の画像復号化装置において、前
記歪み判定手段が、符号化時に設定される逆量子化制御
信号または符号化がフレーム単位で処理されたか否かを
示すマクロブロックイントラ信号および前フレームとの
輝度の差を示す直流レベル間差信号のうち、少なくとも
1つを利用してしきい値を設定することを特徴としてい
る。
【0031】この請求項5記載の発明の場合、圧縮符号
化時に設定されるさまざまな制御信号を基に、各しきい
値を可変できるので、場合に応じた歪み除去の細かな制
御が可能になる。
化時に設定されるさまざまな制御信号を基に、各しきい
値を可変できるので、場合に応じた歪み除去の細かな制
御が可能になる。
【0032】請求項6記載の画像復号化装置は、請求項
1乃至5いずれか一記載の画像復号化装置において、前
記歪み判定手段が、符号化時に設定された前記逆直交変
換モードを歪み判定のための制御信号とすることを特徴
としている。
1乃至5いずれか一記載の画像復号化装置において、前
記歪み判定手段が、符号化時に設定された前記逆直交変
換モードを歪み判定のための制御信号とすることを特徴
としている。
【0033】この請求項6記載の発明の場合、歪み判定
手段は、符号化時に設定された逆直交変換モードを歪み
判定のための制御信号とするので、画像信号をフィール
ドモードの場合とフレームモードの場合に応じて歪み判
定を行うことができる。
手段は、符号化時に設定された逆直交変換モードを歪み
判定のための制御信号とするので、画像信号をフィール
ドモードの場合とフレームモードの場合に応じて歪み判
定を行うことができる。
【0034】上記により、隣接するブロック間におい
て、視覚的に目立つブロック歪みを除去しつつ原画像の
再現性を向上することができる。
て、視覚的に目立つブロック歪みを除去しつつ原画像の
再現性を向上することができる。
【0035】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。
を参照して詳細に説明する。
【0036】図1は本発明の画像復号化装置の第1の実
施形態の構成を示す図、図2はこの画像復号化装置の歪
み判定部8の詳細構成を示す図、図3はこの画像復号化
装置の動作を示す図である。
施形態の構成を示す図、図2はこの画像復号化装置の歪
み判定部8の詳細構成を示す図、図3はこの画像復号化
装置の動作を示す図である。
【0037】図1において、1は可変長符号化データ1
01が入力される端子である。2は可変長符号デコード
部であり、端子1に入力された可変長符号化データ10
1を可変長復号化信号102にデコードするものであ
る。3は逆量子化部であり、可変長復号化信号102を
逆量子化制御信号に応じて逆量子化し、変換係数信号1
03を出力するものである。4は逆直交変換部であり、
変換係数信号103を逆直交変換し、逆直交変換画像信
号104を出力するものである。5は加算器であり、逆
直交変換画像信号104とリファレンスメモリ部6から
の参照画像信号106とを加算し、加算した画像信号1
05としてリファレンスメモリ部6に入力するものであ
る。6はリファレンスメモリ部であり、加算器5で加算
された画像信号を1フィールド前の画像信号と共に記憶
し、かつ画像の再構築を行うものである。8は歪み判定
部であり、リファレンスメモリ部6により再構築された
復号画像信号107と1フィールド前の復号画像信号1
08と、可変長復号時に設定されたさまざまなモード条
件制御信号が入力され、それらを基に各ブロック毎に視
覚的に目立つブロック歪みを判定するものである。9は
歪み除去部であり、歪み判定部8によりブロック歪みが
発生しているものと判定されたブロックの画素データを
補正してブロック歪みを除去するものである。上記可変
長符号デコード部2、逆量子化部3、逆直交変換部4、
加算器5、リファレンスメモリ部6などから復号化手段
が構成されている。
01が入力される端子である。2は可変長符号デコード
部であり、端子1に入力された可変長符号化データ10
1を可変長復号化信号102にデコードするものであ
る。3は逆量子化部であり、可変長復号化信号102を
逆量子化制御信号に応じて逆量子化し、変換係数信号1
03を出力するものである。4は逆直交変換部であり、
変換係数信号103を逆直交変換し、逆直交変換画像信
号104を出力するものである。5は加算器であり、逆
直交変換画像信号104とリファレンスメモリ部6から
の参照画像信号106とを加算し、加算した画像信号1
05としてリファレンスメモリ部6に入力するものであ
る。6はリファレンスメモリ部であり、加算器5で加算
された画像信号を1フィールド前の画像信号と共に記憶
し、かつ画像の再構築を行うものである。8は歪み判定
部であり、リファレンスメモリ部6により再構築された
復号画像信号107と1フィールド前の復号画像信号1
08と、可変長復号時に設定されたさまざまなモード条
件制御信号が入力され、それらを基に各ブロック毎に視
覚的に目立つブロック歪みを判定するものである。9は
歪み除去部であり、歪み判定部8によりブロック歪みが
発生しているものと判定されたブロックの画素データを
補正してブロック歪みを除去するものである。上記可変
長符号デコード部2、逆量子化部3、逆直交変換部4、
加算器5、リファレンスメモリ部6などから復号化手段
が構成されている。
【0038】図2に示すように、歪み判定部8は、端子
50、51を有するブロック間画素レべル間差算出回路
10、このブロック間画素レべル間差算出回路10から
出力されたブロック間画素レべル間差信号としきい値T
sdの信号とを比較し、ブロック間画素レべル間差信号
がしきい値Tsdよりも大きかった場合、有意な信号を
出力する比較回路11、隣接するブロックについてそれ
ぞれの境界方向の高周波成分を算出し、互いの差を算出
する高周波成分ブロック間差算出回路12、この高周波
成分ブロック間差算出回路12から出力された高周波成
分差信号としきい値Thpの信号とを比較し、高周波成
分差信号がしきい値Thpよりも大きかった場合、有意
な信号を出力する比較回路13、比較回路11、13か
ら有意な信号が入力されたときのみ信号を出力する論理
積回路14、この論理積回路14からの信号と、ブロッ
ク期間遅延調整信号116とを基にブロック期間を遅延
させる遅延調整回路15、MPEGストリーム中に含ま
れるさまざまな条件信号、例えば逆量子化制御信号(量
子化のスケールを示す信号)、符号化がフレーム単位で
処理されたか否かを示すマクロブロックイントラ信号
(画像の動きが激しいとき立つ信号)、直流レベル間差
信号(前フレームとの輝度の差を示す信号)などが端子
53、54、55から入力されるしきい値設定回路1
6、端子56から水平同期信号が入力され、端子57か
ら垂直同期信号が入力され、ブロック期間遅延調整信号
116とブロック境界位置信号117とを出力するブロ
ック境界タイミング発生回路17、ブロック境界位置信
号117が入力されたときのみ判定信号52を出力する
選択回路18などから構成されている。上記遅延調整回
路15には、選択回路19が設けられている。
50、51を有するブロック間画素レべル間差算出回路
10、このブロック間画素レべル間差算出回路10から
出力されたブロック間画素レべル間差信号としきい値T
sdの信号とを比較し、ブロック間画素レべル間差信号
がしきい値Tsdよりも大きかった場合、有意な信号を
出力する比較回路11、隣接するブロックについてそれ
ぞれの境界方向の高周波成分を算出し、互いの差を算出
する高周波成分ブロック間差算出回路12、この高周波
成分ブロック間差算出回路12から出力された高周波成
分差信号としきい値Thpの信号とを比較し、高周波成
分差信号がしきい値Thpよりも大きかった場合、有意
な信号を出力する比較回路13、比較回路11、13か
ら有意な信号が入力されたときのみ信号を出力する論理
積回路14、この論理積回路14からの信号と、ブロッ
ク期間遅延調整信号116とを基にブロック期間を遅延
させる遅延調整回路15、MPEGストリーム中に含ま
れるさまざまな条件信号、例えば逆量子化制御信号(量
子化のスケールを示す信号)、符号化がフレーム単位で
処理されたか否かを示すマクロブロックイントラ信号
(画像の動きが激しいとき立つ信号)、直流レベル間差
信号(前フレームとの輝度の差を示す信号)などが端子
53、54、55から入力されるしきい値設定回路1
6、端子56から水平同期信号が入力され、端子57か
ら垂直同期信号が入力され、ブロック期間遅延調整信号
116とブロック境界位置信号117とを出力するブロ
ック境界タイミング発生回路17、ブロック境界位置信
号117が入力されたときのみ判定信号52を出力する
選択回路18などから構成されている。上記遅延調整回
路15には、選択回路19が設けられている。
【0039】ブロック間画素レベル差算出回路10に
は、ブロック間の画素レベル間差の絶対値dを求めるた
めの一画素分の遅延器61、引き算器62および絶対値
回路63などと、それをブロック内の一つ一つの画素に
ついて境界ライン方向に加算し、その画素レベル総和信
号sdを算出する総和算出器64などが設けられてい
る。またこのブロック間画素レベル差算出回路10に
は、端子58より入力される逆直交変換モード信号を基
に、直交変換がフィールドモードのときは入力端子aを
選択し、またフレームモードの場合は入力端子bを選択
する選択回路65が設けられている。したがって、逆直
交変換モードに応じたブロック境界ラインについての総
和を計算できる。
は、ブロック間の画素レベル間差の絶対値dを求めるた
めの一画素分の遅延器61、引き算器62および絶対値
回路63などと、それをブロック内の一つ一つの画素に
ついて境界ライン方向に加算し、その画素レベル総和信
号sdを算出する総和算出器64などが設けられてい
る。またこのブロック間画素レベル差算出回路10に
は、端子58より入力される逆直交変換モード信号を基
に、直交変換がフィールドモードのときは入力端子aを
選択し、またフレームモードの場合は入力端子bを選択
する選択回路65が設けられている。したがって、逆直
交変換モードに応じたブロック境界ラインについての総
和を計算できる。
【0040】上記高周波成分ブロック間差算出回路12
には、各ブロックの境界ライン方向(垂直方向)に並ぶ
画素の高周波成分を通過させる高域通過フィルタ(垂直
HPF)71、絶対値回路63、上記同様に直交変換の
モードに応じた画像総和算出器64、選択回路72、隣
接するブロックの高周波成分の総和ΗP1、ΗP2の差
の絶対値[ΗP1−ΗP2]を求める遅延器61、引き
算器62および絶対値回路63などが設けられている。
には、各ブロックの境界ライン方向(垂直方向)に並ぶ
画素の高周波成分を通過させる高域通過フィルタ(垂直
HPF)71、絶対値回路63、上記同様に直交変換の
モードに応じた画像総和算出器64、選択回路72、隣
接するブロックの高周波成分の総和ΗP1、ΗP2の差
の絶対値[ΗP1−ΗP2]を求める遅延器61、引き
算器62および絶対値回路63などが設けられている。
【0041】この第1の実施形態の画像復号化装置で
は、端子1より入力された信号101は、可変長符号デ
コード部2、逆量子化部3、逆直交変換部4、加算器
5、リファレンスメモリ部6などにより復号化処理が施
され、リファレンスメモリ部6より復号画像信号107
と、1フィールド前の復号画像信号108とが同時に出
力され、歪み判定部8と歪み除去部9とにそれぞれ入力
される。
は、端子1より入力された信号101は、可変長符号デ
コード部2、逆量子化部3、逆直交変換部4、加算器
5、リファレンスメモリ部6などにより復号化処理が施
され、リファレンスメモリ部6より復号画像信号107
と、1フィールド前の復号画像信号108とが同時に出
力され、歪み判定部8と歪み除去部9とにそれぞれ入力
される。
【0042】歪み判定部8では、復号画像信号107、
108とを基に復号画像信号107の歪み判定処理を行
い、視覚的に目立つブロック歪みを検出すると、歪み検
出信号109を歪み除去部9に出力し、リファレンスメ
モリ部6より入力された復号画像信号107の歪みを除
去させる。歪み除去部9は、歪み検出信号109の入力
によって、ブロック間の画素レベル間差を小さくするよ
うに画素データを補正し、歪みを除去した復号画像信号
110を出力する。
108とを基に復号画像信号107の歪み判定処理を行
い、視覚的に目立つブロック歪みを検出すると、歪み検
出信号109を歪み除去部9に出力し、リファレンスメ
モリ部6より入力された復号画像信号107の歪みを除
去させる。歪み除去部9は、歪み検出信号109の入力
によって、ブロック間の画素レベル間差を小さくするよ
うに画素データを補正し、歪みを除去した復号画像信号
110を出力する。
【0043】ここで、歪み判定部8の動作について説明
する。
する。
【0044】歪み判定部8には、端子50より復号画像
信号107が入力され、また端子51より1フィールド
前の復号画像信号108が入力される。これらの信号
は、ブロック間画素レべル間差算出回路10および高周
波成分ブロック間差算出回路12にそれぞれ入力され
る。
信号107が入力され、また端子51より1フィールド
前の復号画像信号108が入力される。これらの信号
は、ブロック間画素レべル間差算出回路10および高周
波成分ブロック間差算出回路12にそれぞれ入力され
る。
【0045】図3に示すように、ブロック間画素レベル
差算出回路10では、隣接するブロック間の境界ライン
30を挟んで対向する波線領域32a、32b内の各画
素について、それぞれのレベル差(絶対値)dを求め、
各ブロックの境界ライン30方向について加算し、その
画素レベル総和sdを算出する。
差算出回路10では、隣接するブロック間の境界ライン
30を挟んで対向する波線領域32a、32b内の各画
素について、それぞれのレベル差(絶対値)dを求め、
各ブロックの境界ライン30方向について加算し、その
画素レベル総和sdを算出する。
【0046】ここで、直交変換がフィールドモードのと
きは、端子58より入力される逆直交変換モード信号に
より選択回路65の入力端子aを選択し、フレームモー
ドの場合は、選択回路65の入力端子bを選択すること
で、逆直交変換モードに応じた境界ライン30方向の画
素間差の総和sdが計算される。
きは、端子58より入力される逆直交変換モード信号に
より選択回路65の入力端子aを選択し、フレームモー
ドの場合は、選択回路65の入力端子bを選択すること
で、逆直交変換モードに応じた境界ライン30方向の画
素間差の総和sdが計算される。
【0047】次に、高周波成分ブロック間差算出回路1
2では、まず図3の各ブロックの境界ライン30に沿っ
た波線領域32a、32b内の画素について、境界ライ
ン30方向に高域通過フィルタをかける。
2では、まず図3の各ブロックの境界ライン30に沿っ
た波線領域32a、32b内の画素について、境界ライ
ン30方向に高域通過フィルタをかける。
【0048】さらにそれぞれの波線領域32a、32b
内の各画素の高周波成分を加算し、それぞれの総和ΗP
1およびΗP2を算出し、さらに互いの差の絶対値[Η
P1−ΗP2]を求める。なおここでは[ ]を絶対値
記号とする。
内の各画素の高周波成分を加算し、それぞれの総和ΗP
1およびΗP2を算出し、さらに互いの差の絶対値[Η
P1−ΗP2]を求める。なおここでは[ ]を絶対値
記号とする。
【0049】このとき、ブロツク間画素レベル間差算出
回路10と同様、逆直交変換モード信号によって選択回
路72を制御することで、逆直交変換モードに応じたブ
ロック境界ライン30についての高周波成分総和信号H
P1、ΗP2を計算できる。次に、画素レベル差の総和
sdおよび高周波成分差の総和[HP1−HP2]を、
それぞれに設定されているしきい値Τsdおよびしきい
値Τhpと比較回路11および比較回路13で比較し、
それぞれの総和信号が各しきい値Τsd、Τhpよりも
大きい場合、比較回路11、13から真が出力され、論
理積回路14により、ブロック境界に視覚的に目立つブ
ロック歪みが発生しているものと判定され、それ以外で
は、比較回路11、13から偽が出力される。
回路10と同様、逆直交変換モード信号によって選択回
路72を制御することで、逆直交変換モードに応じたブ
ロック境界ライン30についての高周波成分総和信号H
P1、ΗP2を計算できる。次に、画素レベル差の総和
sdおよび高周波成分差の総和[HP1−HP2]を、
それぞれに設定されているしきい値Τsdおよびしきい
値Τhpと比較回路11および比較回路13で比較し、
それぞれの総和信号が各しきい値Τsd、Τhpよりも
大きい場合、比較回路11、13から真が出力され、論
理積回路14により、ブロック境界に視覚的に目立つブ
ロック歪みが発生しているものと判定され、それ以外で
は、比較回路11、13から偽が出力される。
【0050】以上の歪み判定条件を数式で表すと、 sd>Τsd、かつ[ΗP1−ΗP2]>Τhp となり、この条件が整ったときのみ、歪み有りと判定す
る。
る。
【0051】次に、この画像復号化装置の動作を図7〜
図9の画像にあてはめてみる。
図9の画像にあてはめてみる。
【0052】まず、図7(a)の原画像をエンコード/
デコードして得られた図7(b)の復号画像について歪
み判定部8が歪み判定する場合、隣接するブロックの各
高周波成分総和信号HP1、HP2が共に大きいため、
互いの差は小さくなり、比較回路13の出力が偽とな
り、歪み判定部8は視覚的に目立つブロック歪みと判断
しない。
デコードして得られた図7(b)の復号画像について歪
み判定部8が歪み判定する場合、隣接するブロックの各
高周波成分総和信号HP1、HP2が共に大きいため、
互いの差は小さくなり、比較回路13の出力が偽とな
り、歪み判定部8は視覚的に目立つブロック歪みと判断
しない。
【0053】また、図8(a)の原画像をエンコード/
デコードして得られた図8(b)の復号画像について歪
み判定部8が歪み判定する場合、ブロック境界よりも左
側のブロックの高周波成分総和信号ΗP1は大きくなる
一方、右側のブロックの高周波成分総和信号ΗP2はほ
ぼ0であり小さくなる。
デコードして得られた図8(b)の復号画像について歪
み判定部8が歪み判定する場合、ブロック境界よりも左
側のブロックの高周波成分総和信号ΗP1は大きくなる
一方、右側のブロックの高周波成分総和信号ΗP2はほ
ぼ0であり小さくなる。
【0054】このため、互いの差の絶対値[HP1−Η
P2]が大きくなり、比較回路13の出力は真となる。
したがって、この場合、歪み判定部8では、視覚的に目
立つブロック歪みが発生しているものと判定し、そのブ
ロックについては、歪み除去部9によりブロック境界の
画素レベル間差が小さくなるように画像データが補正さ
れ、ブロック歪みが低減または除去される。
P2]が大きくなり、比較回路13の出力は真となる。
したがって、この場合、歪み判定部8では、視覚的に目
立つブロック歪みが発生しているものと判定し、そのブ
ロックについては、歪み除去部9によりブロック境界の
画素レベル間差が小さくなるように画像データが補正さ
れ、ブロック歪みが低減または除去される。
【0055】さらに、図9(a)の原画像の垂直方向の
ブロック境界においては、垂直方向のエッジになってい
るため、画素間のレベル差は大きくなるものの、各ブロ
ックの垂直境界方向の高周波成分総和信号HΡ1、ΗP
2がほぼ0であり、それぞれの値が共に小さくなるた
め、互いの差分も小さくなり、この場合、歪み判定部8
では、ブロック歪みと判断されず、そのブロックの復号
画像はそのまま出力される。
ブロック境界においては、垂直方向のエッジになってい
るため、画素間のレベル差は大きくなるものの、各ブロ
ックの垂直境界方向の高周波成分総和信号HΡ1、ΗP
2がほぼ0であり、それぞれの値が共に小さくなるた
め、互いの差分も小さくなり、この場合、歪み判定部8
では、ブロック歪みと判断されず、そのブロックの復号
画像はそのまま出力される。
【0056】端子53、54、55からしきい値発生回
路16に入力された各制御信号(量子化スケール信号、
マクロブロックイントラ信号、直流レベル間差信号な
ど)により、しきい値発生回路16には、しきい値Τs
d、Τhpの信号が発生し、それぞれの比較回路11、
13に出力される。
路16に入力された各制御信号(量子化スケール信号、
マクロブロックイントラ信号、直流レベル間差信号な
ど)により、しきい値発生回路16には、しきい値Τs
d、Τhpの信号が発生し、それぞれの比較回路11、
13に出力される。
【0057】ここで、これらの各制御信号の意味につい
て説明する。
て説明する。
【0058】まず、端子53から入力する量子化スケー
ル信号は、量子化が粗いか細かいかを示す信号であっ
て、この量子化スケール信号が大きいときは、画像信号
が粗く量子化されているためブロック歪みが発生しやす
くなる。したがって、しきい値発生回路16は、出力す
るしきい値Τsd、Τhpの値を小さくし、歪み検出の
感度を上げるようにする。
ル信号は、量子化が粗いか細かいかを示す信号であっ
て、この量子化スケール信号が大きいときは、画像信号
が粗く量子化されているためブロック歪みが発生しやす
くなる。したがって、しきい値発生回路16は、出力す
るしきい値Τsd、Τhpの値を小さくし、歪み検出の
感度を上げるようにする。
【0059】また端子54から入力されるマクロブロッ
クイントラ信号は、マクロブロックがイントラで符号化
されているか否かを示す信号であり、例えばイントラの
場合は“1”が立ち、そうでない場合は、“0”が立
つ。
クイントラ信号は、マクロブロックがイントラで符号化
されているか否かを示す信号であり、例えばイントラの
場合は“1”が立ち、そうでない場合は、“0”が立
つ。
【0060】例えばイントラ“1”の場合は、画像の動
きが激しいことを示しており、ブロック歪みが発生しや
すくなるので、この場合、しきい値発生回路16は、出
力するしきい値Τsd、Τhpを小さくする。
きが激しいことを示しており、ブロック歪みが発生しや
すくなるので、この場合、しきい値発生回路16は、出
力するしきい値Τsd、Τhpを小さくする。
【0061】さらに、端子55から入力される直流レベ
ルフレーム差信号は、前フレームとの輝度の差を表す信
号であって、この直流レベルフレーム差信号の直流輝度
成分が前フレームより大きくなった場合は、ブロック歪
みが視覚的に目立つため、しきい値発生回路16は、し
きい値Τsd、Τhpを小さくし、歪み検出の感度を上
げる。
ルフレーム差信号は、前フレームとの輝度の差を表す信
号であって、この直流レベルフレーム差信号の直流輝度
成分が前フレームより大きくなった場合は、ブロック歪
みが視覚的に目立つため、しきい値発生回路16は、し
きい値Τsd、Τhpを小さくし、歪み検出の感度を上
げる。
【0062】各しきい値Τsd、Thpが入力された比
較回路11、13では、上記比較判定を行い、真または
偽の信号を論理積回路14に出力する。
較回路11、13では、上記比較判定を行い、真または
偽の信号を論理積回路14に出力する。
【0063】この論理積回路14は、比較回路11、1
3からの信号それぞれが真のとき、出力信号をブロック
境界タイミング発生回路17の出力であるブロック期間
遅延調整信号116によって制御される遅延調整回路1
5に入力し、常に入力画素信号が属するブロックの境界
ラインに沿ったブロック内の一つ一つの画素についての
演算結果を出力させる。
3からの信号それぞれが真のとき、出力信号をブロック
境界タイミング発生回路17の出力であるブロック期間
遅延調整信号116によって制御される遅延調整回路1
5に入力し、常に入力画素信号が属するブロックの境界
ラインに沿ったブロック内の一つ一つの画素についての
演算結果を出力させる。
【0064】この演算結果である遅延調整回路15の出
力信号は、ブロック境界タイミング発生回路17の出力
であるブロック境界位置信号117によって制御される
選択回路18に入力され、入力画素信号がブロック境界
に沿っているときのみ、歪み判定回路が有意な歪み判定
信号が出力される。なおブロック境界タイミング発生回
路17は、端子56から入力される水平同期信号と、端
子57から入力される垂直同期信号とを入力信号とす
る。
力信号は、ブロック境界タイミング発生回路17の出力
であるブロック境界位置信号117によって制御される
選択回路18に入力され、入力画素信号がブロック境界
に沿っているときのみ、歪み判定回路が有意な歪み判定
信号が出力される。なおブロック境界タイミング発生回
路17は、端子56から入力される水平同期信号と、端
子57から入力される垂直同期信号とを入力信号とす
る。
【0065】このようにこの第1の実施形態の画像復号
化装置によれば、歪み判定部8が、入力された画像の動
き状態に応じて可変されるしきい値Tsd、Thpを基
に、人間の目に目立つブロック歪みについてのみブロッ
ク歪みと判定し、歪み除去部9に歪みを除去させるの
で、原画像の再現性を損なうことなく、より自然な形で
復号画像を再生できる。例えば図9(a)に示したよう
にブロック境界に沿ったエッジを有する原画像の場合に
は歪み除去が行われなくなり、原画像のエッジがぼける
ことなく再現されるようになる。
化装置によれば、歪み判定部8が、入力された画像の動
き状態に応じて可変されるしきい値Tsd、Thpを基
に、人間の目に目立つブロック歪みについてのみブロッ
ク歪みと判定し、歪み除去部9に歪みを除去させるの
で、原画像の再現性を損なうことなく、より自然な形で
復号画像を再生できる。例えば図9(a)に示したよう
にブロック境界に沿ったエッジを有する原画像の場合に
は歪み除去が行われなくなり、原画像のエッジがぼける
ことなく再現されるようになる。
【0066】次に、図4を参照して本発明の第2の実施
形態の画像復号化装置について説明する。図4は本発明
の第2の実施形態の画像復号化装置の構成を示す図であ
る。同図において、この第2の実施形態の画像復号化装
置が上記第1の実施形態の画像復号化装置と異なる点
は、歪み判定部8および歪み除去部9が加算器5とリフ
ァレンスメモリ部6との間に介在している点である。
形態の画像復号化装置について説明する。図4は本発明
の第2の実施形態の画像復号化装置の構成を示す図であ
る。同図において、この第2の実施形態の画像復号化装
置が上記第1の実施形態の画像復号化装置と異なる点
は、歪み判定部8および歪み除去部9が加算器5とリフ
ァレンスメモリ部6との間に介在している点である。
【0067】この第2の実施形態の場合、加算器5から
出力された復号画像信号111は、ブロックの再構成処
理が施される前の形式、つまり 8× 8などのブロック単
位の復号画像信号であり、歪み判定部8は、ブロック単
位の状態の復号画像信号111を基に歪み判定を行い、
判定信号112を歪み除去部9へ送り、歪み除去部9が
歪み除去した復号画像信号113がリファレンスメモリ
部6に記憶され、リファレンスメモリ部6により再構成
された復号画像信号115が外部へ出力される。またリ
ファレンスメモリ部6からブロック単位の復号画像信号
114が加算器5へフィードバックされる。これによ
り、歪み判定部8を直交変換モードで制御する必要がな
くなる。
出力された復号画像信号111は、ブロックの再構成処
理が施される前の形式、つまり 8× 8などのブロック単
位の復号画像信号であり、歪み判定部8は、ブロック単
位の状態の復号画像信号111を基に歪み判定を行い、
判定信号112を歪み除去部9へ送り、歪み除去部9が
歪み除去した復号画像信号113がリファレンスメモリ
部6に記憶され、リファレンスメモリ部6により再構成
された復号画像信号115が外部へ出力される。またリ
ファレンスメモリ部6からブロック単位の復号画像信号
114が加算器5へフィードバックされる。これによ
り、歪み判定部8を直交変換モードで制御する必要がな
くなる。
【0068】このようにこの第2の実施形態の画像復号
化装置によれば、加算器5の出力信号111はブロック
の再構成処理が施される前の形式であり、歪み判定部8
は、再構築後の復号画像信号115からブロックを切り
出して歪み判定する必要がなくなり、歪み判定処理を簡
単に行える。また歪み判定部8を直交変換モードで制御
する必要がなく、装置構成を簡素化できる。
化装置によれば、加算器5の出力信号111はブロック
の再構成処理が施される前の形式であり、歪み判定部8
は、再構築後の復号画像信号115からブロックを切り
出して歪み判定する必要がなくなり、歪み判定処理を簡
単に行える。また歪み判定部8を直交変換モードで制御
する必要がなく、装置構成を簡素化できる。
【0069】次に、図5を参照して本発明の第3の実施
形態の画像復号化装置について説明する。図5は本発明
の第3の実施形態の画像復号化装置の構成を示す図であ
る。同図において、この第3の実施形態の画像復号化装
置が、上記第1の実施形態の画像復号化装置と異なる点
は、リファレンスメモリ部6の他にフィールドメモリ部
40を設けた点である。
形態の画像復号化装置について説明する。図5は本発明
の第3の実施形態の画像復号化装置の構成を示す図であ
る。同図において、この第3の実施形態の画像復号化装
置が、上記第1の実施形態の画像復号化装置と異なる点
は、リファレンスメモリ部6の他にフィールドメモリ部
40を設けた点である。
【0070】この第3の実施形態の画像復号化装置の場
合、歪み判定部8が、予めリファレンスメモリ部6か
ら、次に必要になるフィールド信号を読み込みフィール
ドメモリ部40に蓄積しておき、リファレンスメモリ部
6から復号画像信号107が出力されたときに、歪み判
定部8は、判定処理に必要な1フィールド前の信号をフ
ィールドメモリ部40から読み出す。
合、歪み判定部8が、予めリファレンスメモリ部6か
ら、次に必要になるフィールド信号を読み込みフィール
ドメモリ部40に蓄積しておき、リファレンスメモリ部
6から復号画像信号107が出力されたときに、歪み判
定部8は、判定処理に必要な1フィールド前の信号をフ
ィールドメモリ部40から読み出す。
【0071】このようにこの第3の実施形態の画像復号
化装置によれば、リファレンスメモリ部6からは、復号
画像信号107と同時に1フィールド前の復号画像信号
108が出力されない代わりに、その信号108をフィ
ールドメモリ部40から読み出すので、歪み判定部8
は、第1の実施形態と同様に歪み判定を行うことができ
る。
化装置によれば、リファレンスメモリ部6からは、復号
画像信号107と同時に1フィールド前の復号画像信号
108が出力されない代わりに、その信号108をフィ
ールドメモリ部40から読み出すので、歪み判定部8
は、第1の実施形態と同様に歪み判定を行うことができ
る。
【0072】これにより、可変長信号デコード部2から
リファレンスメモリ部6までがパッケージングされた既
存のICなどに、歪み判定部8、歪み除去部9およびフ
ィールドメモリ部40を外付けする形でこの装置を実現
できる。
リファレンスメモリ部6までがパッケージングされた既
存のICなどに、歪み判定部8、歪み除去部9およびフ
ィールドメモリ部40を外付けする形でこの装置を実現
できる。
【0073】なお本発明における歪み判定および歪み除
去は、画像の水平、垂直方向の両方あるいはいずれか一
方に対して行うものである。
去は、画像の水平、垂直方向の両方あるいはいずれか一
方に対して行うものである。
【0074】また上記しきい値発生回路16の制御信号
として、量子化スケール信号、マクロブロックイントラ
信号、直流レベルフレーム差信号などを挙げたが、制御
信号としてこれらのうち所望の信号のみを使う構成も考
えられる。またこれらの信号以外の符号化パラメータや
画質の特徴を表す信号によって制御を行ってもよい。ま
た本発明では、歪み判定信号を真かあるいは偽かの2値
の信号としたが、2値に限らず3値、4値などと段階毎
の信号でもよく、この場合、歪み除去についてもオン、
オフの切り替えだけでなくその除去レベルを段階毎に可
変にしてもよい。
として、量子化スケール信号、マクロブロックイントラ
信号、直流レベルフレーム差信号などを挙げたが、制御
信号としてこれらのうち所望の信号のみを使う構成も考
えられる。またこれらの信号以外の符号化パラメータや
画質の特徴を表す信号によって制御を行ってもよい。ま
た本発明では、歪み判定信号を真かあるいは偽かの2値
の信号としたが、2値に限らず3値、4値などと段階毎
の信号でもよく、この場合、歪み除去についてもオン、
オフの切り替えだけでなくその除去レベルを段階毎に可
変にしてもよい。
【0075】
【発明の効果】以上説明したように本発明によれば、画
素間レベル差の総和と高周波成分差とが共にしきい値よ
りも大きい場合、視覚的に目立つブロック歪みが生じて
いると判断され、ブロック境界の画素レベル間差を小さ
くするように画像データが補正されるので、例えばブロ
ック境界に沿ったエッジを有する原画像などの場合には
歪み除去が行われなくなり、原画像をそのエッジがぼけ
ることなく再現できる。この結果、隣接するブロック間
において、視覚的に目立つブロック歪みを除去しつつ原
画像の再現性を向上することができる。
素間レベル差の総和と高周波成分差とが共にしきい値よ
りも大きい場合、視覚的に目立つブロック歪みが生じて
いると判断され、ブロック境界の画素レベル間差を小さ
くするように画像データが補正されるので、例えばブロ
ック境界に沿ったエッジを有する原画像などの場合には
歪み除去が行われなくなり、原画像をそのエッジがぼけ
ることなく再現できる。この結果、隣接するブロック間
において、視覚的に目立つブロック歪みを除去しつつ原
画像の再現性を向上することができる。
【図1】本発明の画像復号化装置の第1の実施形態を示
す図である。
す図である。
【図2】図1の画像復号化装置の歪み判定部の詳細構成
を示す図である。
を示す図である。
【図3】図1の画像復号化装置の動作を示す図である。
【図4】本発明の画像復号化装置の第2の実施形態を示
す図である。
す図である。
【図5】本発明の画像復号化装置の第3の実施形態を示
す図である。
す図である。
【図6】従来の画像復号化装置を示す図である。
【図7】(a)は原画像内の4つのブロックのうち、全
てのブロックに斜め方向のエッジが存在する、つまり高
い周波数を持つ場合を示す図である。(b)は復号画像
にブロック歪みが発生した様子を示す図である。
てのブロックに斜め方向のエッジが存在する、つまり高
い周波数を持つ場合を示す図である。(b)は復号画像
にブロック歪みが発生した様子を示す図である。
【図8】左上の(a)は原画像内の4つのブロックのう
ち、左上のブロックのみに斜め方向のエッジが存在する
場合を示す図である。(b)は復号画像にブロック歪み
が発生した様子を示す図である。
ち、左上のブロックのみに斜め方向のエッジが存在する
場合を示す図である。(b)は復号画像にブロック歪み
が発生した様子を示す図である。
【図9】(a)は原画像内の4つのブロックのうち、左
上のブロック内全てに画像が存在する場合を示す図であ
る。(b)は復号画像の歪みを除去した様子を示す図で
ある。
上のブロック内全てに画像が存在する場合を示す図であ
る。(b)は復号画像の歪みを除去した様子を示す図で
ある。
1、7、50、51、52、53、54、55、56、
57、58、2…可変長符号デコード部、3…逆量子化
部、4…逆直交変換部、5…加算器、6…リファレンス
メモリ部、8…歪み判定部、9…歪み除去部、10…ブ
ロック間画素レベル差算出回路、11、13…比較回
路、12…高周波成分ブロック間差算出回路、14…論
理積回路(AND)、15…遅延調整回路、16…しき
い値発生回路、17、18、19、20…選択回路、3
0…フィールドメモリ部、HP1、HP2…各ブロック
の境界方向の高周波成分の総和、Tsd…画素間差の総
和sdに対するしきい値、Thp…高周波成分差の絶対
値[HP1−HP2]に対するしきい値。
57、58、2…可変長符号デコード部、3…逆量子化
部、4…逆直交変換部、5…加算器、6…リファレンス
メモリ部、8…歪み判定部、9…歪み除去部、10…ブ
ロック間画素レベル差算出回路、11、13…比較回
路、12…高周波成分ブロック間差算出回路、14…論
理積回路(AND)、15…遅延調整回路、16…しき
い値発生回路、17、18、19、20…選択回路、3
0…フィールドメモリ部、HP1、HP2…各ブロック
の境界方向の高周波成分の総和、Tsd…画素間差の総
和sdに対するしきい値、Thp…高周波成分差の絶対
値[HP1−HP2]に対するしきい値。
Claims (6)
- 【請求項1】 (n×m)の画素群を1ブロックとして
圧縮符号化した画像データを復号化する画像復号化装置
において、 前記圧縮符号化した画像データをブロック単位に復号化
する復号化手段と、 前記復号化手段により復号化された画像データの隣り合
うブロックに対して、ブロック境界に沿った隣接する画
素一つ一つのレベル差を算出し、それぞれのレベル差を
加算して画素間レベル差の総和を求める手段と、 前記ブロック境界に沿ったそれぞれのブロックの複数の
画素について、境界ライン方向の高周波成分の総和を算
出し、さらに隣り合うブロック間の高周波成分差を求め
る手段と、 前記求められた高周波成分差と前記画素間レベル差の総
和とを、予め個々に設定されているしきい値と比較し
て、互いがしきい値よりも大きい場合、ブロック境界に
視覚的に目立つ歪みが発生しているものと判定する歪み
判定手段と、 前記歪み判定手段により歪みが発生しているものと判定
されたブロック境界の画素レベル間差を小さくするよう
に画像データを補正する歪み除去手段とを具備したこと
を特徴とする画像復号化装置。 - 【請求項2】 請求項1記載の画像復号化装置におい
て、 前記復号化手段が、 圧縮符号化された画像データを可変長復号化するデコー
ド手段と、 前記デコード手段によりデコードされた信号を逆量子化
制御信号によって逆量子化する逆量子化手段と、 前記逆量子化手段により逆量子化された信号を逆直交変
換モードに応じてフレーム単位かフィールド単位かを判
定し、判定した単位で2次元逆直交変換する逆直交変換
手段と、 前記逆直交変換手段により逆直交変換された復号画像信
号に参照画像信号を加算する加算手段と、 前記加算手段により加算された復号画像信号を基に各ブ
ロックを再構成し、再構成した復号画像信号と、その1
フィールド前の復号画像信号とを前記歪み判定手段へ出
力するリファレンスメモリ手段とを有することを特徴と
する画像復号化装置。 - 【請求項3】 請求項1記載の画像復号化装置におい
て、 前記復号化手段が、 圧縮符号化された画像データを可変長復号化するデコー
ド手段と、 前記デコード手段によりデコードされた信号を逆量子化
制御信号によって逆量子化する逆量子化手段と、 前記逆量子化手段により逆量子化された信号を逆直交変
換モードに応じてフレーム単位かフィールド単位かを判
定し、判定した単位で2次元逆直交変換する逆直交変換
手段と、 前記逆直交変換手段により逆直交変換された復号画像信
号に参照画像信号を加算する加算手段と、 前記加算手段により加算された復号画像信号を基に各ブ
ロックを再構成し、再構成した復号画像信号を前記歪み
判定手段へ出力するフレームメモリ手段と、 前記フレームメモリ手段により記憶された復号画像信号
の1フィールド前の信号が記憶され、歪み判定時に前記
歪み判定手段により読み出されるフィールドメモリ手段
とを有することを特徴とする画像復号化装置。 - 【請求項4】 請求項1記載の画像復号化装置におい
て、 前記復号化手段が、 圧縮符号化された画像データを可変長復号化するデコー
ド手段と、 前記デコード手段によりデコードされた信号を逆量子化
制御信号によって逆量子化する逆量子化手段と、 前記逆量子化手段により逆量子化された信号を逆直交変
換モードに応じてフレーム単位かフィールド単位かを判
定し、判定した単位で2次元逆直交変換する逆直交変換
手段と、 前記逆直交変換手段により逆直交変換された(n×m)
の画素群を1ブロックとした復号画像信号に参照画像信
号を加算する加算手段と、 前記加算手段により加算された(n×m)の画素群を1
ブロックとした復号画像信号が前記歪み除去手段を通じ
て入力され、それを基に各ブロックを再構成し、再構成
した復号画像信号を出力するリファレンスメモリ手段と
を有することを特徴とする画像復号化装置。 - 【請求項5】 請求項1乃至4いずれか一記載の画像復
号化装置において、 前記歪み判定手段が、 符号化時に設定される逆量子化制御信号または符号化が
フレーム単位で処理されたか否かを示すマクロブロック
イントラ信号および前フレームとの輝度の差を示す直流
レベル間差信号のうち、少なくとも1つを利用してしき
い値を設定することを特徴とする画像復号化装置。 - 【請求項6】 請求項1乃至5いずれか一記載の画像復
号化装置において、 前記歪み判定手段が、 符号化時に設定された前記逆直交変換モードを歪み判定
のための制御信号とすることを特徴とする画像復号化装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7251337A JPH0993580A (ja) | 1995-09-28 | 1995-09-28 | 画像復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7251337A JPH0993580A (ja) | 1995-09-28 | 1995-09-28 | 画像復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0993580A true JPH0993580A (ja) | 1997-04-04 |
Family
ID=17221331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7251337A Withdrawn JPH0993580A (ja) | 1995-09-28 | 1995-09-28 | 画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0993580A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563958B1 (en) * | 1998-07-02 | 2003-05-13 | Canon Kabushiki Kaisha | Method and apparatus for boundary filtering a digital image |
WO2004107736A1 (ja) * | 2003-05-27 | 2004-12-09 | Nikon Corporation | 画像処理装置、および画像処理プログラム |
JP2009212806A (ja) * | 2008-03-04 | 2009-09-17 | Fujitsu Ten Ltd | 画質調整方法および画質調整装置 |
-
1995
- 1995-09-28 JP JP7251337A patent/JPH0993580A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563958B1 (en) * | 1998-07-02 | 2003-05-13 | Canon Kabushiki Kaisha | Method and apparatus for boundary filtering a digital image |
WO2004107736A1 (ja) * | 2003-05-27 | 2004-12-09 | Nikon Corporation | 画像処理装置、および画像処理プログラム |
US7209597B2 (en) | 2003-05-27 | 2007-04-24 | Nikon Corporation | Image processing apparatus for reducing tile distortion |
JP2009212806A (ja) * | 2008-03-04 | 2009-09-17 | Fujitsu Ten Ltd | 画質調整方法および画質調整装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5844614A (en) | Video signal decoding apparatus | |
KR100219628B1 (ko) | 루프필터링 방법 및 루프필터 | |
JP3688283B2 (ja) | 境界強度に基づく適応フィルタリング | |
JP2920209B2 (ja) | 動画像の符号化によるブロック化現象除去方法 | |
JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
JPH1051775A (ja) | 動映像復号化器のブロック化現象除去方法及び装置 | |
JPH04196976A (ja) | 画像符号化装置 | |
US20090080517A1 (en) | Method and Related Device for Reducing Blocking Artifacts in Video Streams | |
RU2305377C2 (ru) | Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации | |
KR100229796B1 (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
JP2891773B2 (ja) | ディジタル画像シーケンスを処理する方法および装置 | |
JPH04219089A (ja) | 画像符号化装置 | |
JP3792837B2 (ja) | デブロッキングフィルタ | |
JPH05308623A (ja) | 画像信号復号化装置 | |
JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
JP3800435B2 (ja) | 動画像信号処理装置 | |
JPH0738762A (ja) | ビデオコーデックにおける後処理フィルタの制御方式 | |
JPH0993580A (ja) | 画像復号化装置 | |
JP2901656B2 (ja) | 画像符号化装置 | |
JP3081658B2 (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
JPH11298898A (ja) | ブロック歪低減回路 | |
JPH08251418A (ja) | ブロック歪低減装置および低減方法 | |
JPH0522709A (ja) | 画像信号復号化装置 | |
JP2985752B2 (ja) | 動画像復号化装置 | |
JPH08191444A (ja) | ビデオ信号復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021203 |