JP3485192B2 - Image signal decoding device - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、高圧縮された後に伝送
もしくは記録された画像信号を復号する画像信号復号化
装置に係り、特に、そのような装置に於けるブロック歪
除去処理の高速化及び効率向上に関する。 【０００２】 【従来の技術】一般に、ＣＣＤ（電荷結合素子）に代表
される固体撮像装置等により撮像された画像信号を、メ
モリカード，磁気ディスク，あるいは磁気テープ等の記
録装置に、ディジタルデータとして記録する場合、その
データ量は膨大なものとなる。そこで、通常、このよう
なデータを限られた記録容量の範囲で記録しようとする
には、得られた画像信号のデータに対し、何らかの高能
率な圧縮を行なうことが必要である。高能率な画像デー
タの圧縮方式として、直交変換符号化を利用した符号化
方式が広く知られている。この方式についての一例を図
９を参照して説明する。 【０００３】先ず、固体撮像装置等から画像データ
（ｆ）が入力されると（１０１）、その画像データ
（ｆ）を所定の大きさのブロックに分割して値（ｆb ）
を得（１０２）、この分割されたブロック毎に直交変換
として２次元のＤＣＴ（離散コサイン変換）を行って値
（Ｆ）に変換する（１０３）。次に、各周波数成分に応
じた線形量子化を行ない（１０４）、この量子化された
値（ＦQ ）に対し可変長符号化としてハフマン符号化を
行ない（１０５）、その結果が圧縮データ（Ｃ）として
伝送又は記録される。この時、前記線形量子化の量子化
幅は、各周波数成分に対する視覚特性を考慮にいれた相
対的な量子化特性を表わす量子化マトリックスを用意
し、この量子化マトリックスを定数倍することで量子化
幅を決定している。 【０００４】一方、圧縮データから画像データを発生す
るとき、可変長符号（Ｃ）をデコード（復号）すること
で変換係数の量子化値（ＦQ ）が得られる（１０６）
が、この値から量子化前の真値（Ｆ）を得ることは不可
能で、逆量子化によって得られる結果は誤差を含んだ値
（Ｆ’）になる（１０７）。従って、この値（Ｆ’）に
対してＩＤＣＴ（逆離散コサイン変換）を行い（１０
８）、その結果の値（ｆb'）を逆ブロック化して（１０
９）得られる画像データ（ｆ’）も、誤差を含んだもの
となる。よって、画像再生装置等にて再生出力される
（１１０）再生画像（ｆ’）は画質が劣化してしまう。
即ち、逆量子化によって得られる結果の値（Ｆ’）の誤
差がいわゆる量子化誤差として再生画像（ｆ’）の画質
劣化の原因となっている。 【０００５】以上の動作を図１０を参照して具体的に説
明する。先ず、図１０（ａ）に示すように、１フレーム
の画像データを所定の大きさのブロック（例えば、８×
８の画素より成るブロックＡ，Ｂ，Ｃ，…）に分割し、
この分割されたブロック毎に直交変換として２次元のＤ
ＣＴを行ない、８×８のマトリックス上に順次格納す
る。 【０００６】画像データは、２次元平面で眺めてみる
と、濃淡情報の分布に基づく周波数情報である空間周波
数を有している。従って、上記ＤＣＴを行なうことによ
り、画像データは、図１０（ｂ）に示すように、直流成
分ＤＣと交流成分ＡＣに変換され、８×８のマトリック
ス上には、原点位置（（０，０）位置）に直流成分ＤＣ
の値を示すデータが、（０，７）位置には、横軸方向の
交流成分ＡＣの最大周波数値を示すデータが、そして、
（７，０）位置には、縦軸方向の交流成分ＡＣの最大周
波数値を示すデータが、さらに、（７，７）位置には、
斜め方向の交流成分ＡＣの最大周波数値を示すデータが
それぞれ格納される。中間位置では、それぞれの座標位
置により関係付けられる方向に於ける周波数データが、
原点側より順次高い周波数のものが出現する形で格納さ
れることになる。 【０００７】次に、このマトリックスに於ける各座標位
置の格納データを、各周波数成分毎の量子化幅により割
ることにより、各周波数成分に応じた線形量子化を行な
い、この量子化された値に対し可変長符号化としてハフ
マン符号化を行なう。この時、直流成分ＤＣに関して
は、近傍ブロックの直流成分との差分値をハフマン符号
化する。 【０００８】交流成分ＡＣに関しては、ジグザグスキャ
ンと呼ばれる低い周波数成分から高い周波数成分へのス
キャンを行ない、無効（値が「０」）の成分の連続する
個数（零のラン数）と、それに続く有効な成分の値の２
次元のハフマン符号化を行ない符号化データとする。 【０００９】この方式に於いて、圧縮率は、前記量子化
の量子化幅を変化させることによって制御されるのが一
般的で、圧縮率が高くなるほど量子化幅は大きくなり、
従って量子化誤差が大きくなり、再生画像の画質劣化が
目立つようになる。 【００１０】この変換係数の量子化誤差は、再生画像に
於いてブロック境界部分に不連続が発生するいわゆるブ
ロック歪として現われる傾向にあり、このブロック歪は
視覚的に目立つために、例えＳ／Ｎが良好であっても、
主観的な印象は悪くなってしまう。 【００１１】そこで、復号器によって再生された画像
に、歪除去処理として低域通過（ローパス）フィルタを
かける方法が考え出された。この後置フィルタは、比較
的良好に歪を除去することができるが、画像中にエッヂ
等が含まれている場合に、それらがぼけてしまい、逆に
ぼけを減らすためにローパスの度合をゆるくすると、ブ
ロック歪が完全に除去できなくなるといった不具合があ
った。 【００１２】そこで、この不具合を解消するために、画
像中のエッヂの有無やブロック歪を検出してその結果に
よってフィルタを作用させるかどうか切り換えるように
して、歪の存在する部分にだけフィルタをかける方式も
知られている。 【００１３】 【発明が解決しようとする課題】しかし、前述したよう
に歪の存在する部分にだけフィルタをかけるような歪除
去方式では、依然として画像にぼけを生じる欠点がある
上に、ブロック歪量等を計算する必要があるため、一般
的に処理時間を長く必要とし、ある程度の回路の大きさ
と消費電力が必要であった。このため、小型化や高速性
を重視する製品には、この歪除去方式を応用することは
難しかった。 【００１４】本発明は、このような点に鑑みて成された
もので、簡単な回路により、画像中にぼけ等を生じさせ
ずに高速にブロック歪を除去することのできる画像信号
の復号化装置を提供することを目的とするものである。 【００１５】 【課題を解決するための手段】上記の目的を達成するた
めに、本発明による画像信号復号化装置は、画像データ
を所定の画素数以下の各画像領域に対応する複数のブロ
ックに分割し、この分割されたブロック毎に空間周波数
成分に分解する直交変換を行なってから、この変換出力
を量子化し、その後この量子化出力を可変長符号化する
ことにより圧縮された画像データを復号化する可変長符
号デコード手段と、前記可変長符号デコード手段からの
復号化出力を逆量子化する逆量子化手段と、前記逆量子
化手段からの逆量子化出力を逆直交変換する逆直交変換
手段と、前記逆直交変換手段からの変換出力に対して歪
除去フィルタリング処理を行う歪除去手段と、前記復号
化出力から得られる各ブロック毎の上記空間周波数成分
に分解されたときの各成分の係数たる変換係数を非零ま
たは所定の閾値より大きい値を持つ有意な係数とそうで
ないものとに分ける係数判定手段と、前記係数判定手段
からの上記有意な係数の水平方向および垂直方向の最高
周波数をそれぞれ求めることで、ブロック毎に有意な係
数の周波数帯域を求め、その周波数帯域に基づいて、前
記歪除去手段の歪除去フィルタの特性を前記周波数帯域
が実質的な通過帯域となるように変化させる歪除去特性
決定手段とを具備する。 【００１６】 【作用】すなわち、本発明においては、復号化出力から
得られる画像データを各ブロック毎の空間周波数成分に
分解したときの各成分の係数たる変換係数を非零または
所定の閾値より大きい値を持つ有意な係数とそうでない
ものとに分け、上記有意な係数の水平方向および垂直方
向の最高周波数をそれぞれ求めることで、ブロック毎に
有意な係数の周波数帯域を求め、その周波数帯域に基づ
いて、前記歪除去手段の歪除去フィルタの特性を前記周
波数帯域が実質的な通過帯域となるように変化させる。 【００１７】一般に、ブロック歪の目立ちやすさは、近
傍の画像の持つ空間周波数によって変化する。つまり、
細かな構造の有る高い周波数まで成分を持っているよう
な部分にブロック歪が発生している場合には、あまりブ
ロック歪は目立たない。逆に、比較的に変化の緩やかな
低い空間周波数成分しかない部分にブロック歪が発生し
ている場合には、ブロック歪が目立ちやすくなる。 【００１８】一方、ブロック歪は、ブロック境界での不
連続性によるものなので、非常に高い空間周波数まで成
分を持っている。従って、歪の近傍の画像の持つ空間周
波数よりも高い空間周波数成分を除いてやることによっ
て、ブロック歪を目立たなくすることができる。そこ
で、本発明では、変換係数を使用して、上記のように歪
み除去の特性を適応的に変化させている。 【００１９】 【実施例】以下、図面を参照して本発明の実施例を説明
する。 【００２０】図１は、本発明の画像信号復号化装置の第
１の実施例のブロック構成図である。本実施例の画像信
号復号化装置では、先ず可変長符号デコード回路１１に
て、伝送又は記録された圧縮画像データを受けて、その
圧縮画像データの可変長符号をデコードする。このデコ
ード出力は、逆量子化回路１２にて逆量子化される。こ
の逆量子化された結果は、ブロック毎の変換係数である
ので、ブロック内の空間周波数成分に相当している。 【００２１】このデータは二分されて、一方は、逆直交
変換回路１３に送られる。この逆直交変換回路１３は、
受け取ったデータに対して逆直交変換を施し、実空間で
の画像信号を得る。 【００２２】また、二分された他方のデータは、実空間
の画像信号への歪除去特性を決定するために利用され
る。この特性の決定は、以下のようにしてなされる。即
ち、係数判定回路１４にて、各ブロック毎に空間周波数
成分の絶対値を閾値と比較して、閾値よりも大きい係数
を有意係数とし、次に歪除去特性決定回路１５にて、こ
の有意係数の帯域を保存するようなローパスの特性を決
定する。そして、歪除去回路１６にて、この決定された
ローパスの特性の歪除去処理を、上記逆直交変換回路１
３の変換出力である画像信号に施す。こうして歪除去処
理の施された画像信号は、画像再生装置等の出力装置１
７にて表示出力される。 【００２３】このようにして歪除去を行なうことによ
り、ブロック単位で記録されていた情報の帯域はほとん
ど失われることなしに、フィルタリングされることがで
きる。つまり、低い空間周波数成分しかないブロックに
は、広い範囲に亙って平均化するような強いローパスフ
ィルタリングを行ない、逆に比較的高い周波数成分まで
含んでいるブロックには、あまりぼかさないような弱い
ローパスフィルタリングを行なうことで、ブロック内の
構造がぼけない程度のローパスフィルタリングを実現す
ることができる。次に、この歪除去特性決定方法につい
て説明する。 【００２４】今、係数判定回路１４に与えられる注目ブ
ロックの直交変換係数を、図２（ａ）に示すような８×
８画素のＤＣＴ（離散コサイン変換）係数とし、各係数
の絶対値を閾値ｔｈ（ｔｈ＝１０）と比較すると、図２
（ｂ）に斜線のハッチングを施して示す部分の係数が絶
対値「１０」以上の有意係数と判定される。この場合、
このブロックには水平方向及び垂直方向に対してそれぞ
れ最高周波数（サンプリング周波数の１／２）の半分の
周波数までの情報でほぼ表わしきれる程度の構造が含ま
れているということがわかる。そこで、このブロックに
対するフィルタ特性は、水平及び垂直の両方向ともに最
高周波数の半分より高い周波数をカットするような特性
にすれば良いことになる。この様子を、簡単のために前
記の例の水平方向のみの１次元で考えることにする。 【００２５】前述したように、有意係数の内最も高い周
波数に対応するものから、注目ブロックが最高周波数
（ｆmax ）の半分の周波数成分までで構成されているこ
とがわかったとすると、（ｆmax ／２）までの帯域を持
っていたことになるので、この帯域より高い成分をカッ
トすれば良い。つまり、図２（ｃ）に斜線のハッチング
を施して示す部分を通過域とする帯域カットを行なえば
良い。 【００２６】これを式で表わすと、 Ｈ＝Ｆ×Ｇ …（１） となる。ここで、式（１）は、周波数領域でのフィルタ
リングを表わしていて、Ｆ，Ｇ，Ｈはそれぞれデータ，
フィルタ，処理結果のフーリエ面での係数であり、Ｇの
成分は図２（ｃ）のようにすれば良いことになる。 【００２７】ところが、空間周波数面でフィルタリング
を行なう場合、フィルタの特性を変化させながら処理を
行なうことはできない。従って、画像をブロッキングし
てから空間周波数面でフィルタリングして逆変換後に合
成しなければならなく、その時にブロッキングの影響を
考慮しなければならないといった問題点も存在する。そ
こで、このフィルタリングを実空間でのコンボリューシ
ョンで実現して、畳み込まれる係数を変化させるように
する。 【００２８】 ｈ＝ｆ＊ｇ …（２） 式（２）に於いて、ｆ，ｇ，ｈはそれぞれＦ，Ｇ，Ｈの
逆フーリエ変換結果であって、式（１）のフィルタリン
グを実空間で処理した場合を表わしている。この式
（２）のように、フィルタリングは、データｆとｇとの
コンボリューションになる。このｇのカーネルサイズは
有限なので、図２（ｂ）のようなシャープなカットオフ
特性を得るのは無理であるが、実用上は問題がなく、フ
ィルタ係数とカーネルサイズの決め方も任意であって、
計算時間やカットオフ特性を考慮して決定される。 【００２９】従って、本発明によれば、このように圧縮
データを復号して得た変換係数の有意データの持ってい
る帯域を保存するようなコンボリューションローパスフ
ィルタをブロック毎に適応的にかけることで、各ブロッ
ク内の構造をぼけさせずに歪を除去することができるよ
うになる。また、復号化処理の途中結果である変換係数
を用いてフィルタリング特性を決定するので、画像中の
エッヂの有無やブロック歪を検出する必要はなく、回路
的に非常に簡単な構成で実現できる上に、処理内容も閾
値と比較するだけなので、処理にかかる時間も短くでき
る。上記係数判定回路１４及び歪除去特性決定回路１５
は、実際には図３に示すように構成される。 【００３０】先ず、逆量子化回路１２の出力が入力端３
０より絶対値回路３１に入力され、絶対値が計算され
る。その結果が、閾値比較回路３２で、予め定めてあっ
た閾値と比較されて、有意係数とそうでないものとに分
けられる。その結果は、次に、水平方向最高周波数判定
回路３３及び垂直方向最高周波数判定回路３４に送ら
れ、それぞれの方向の最高周波数が求められる。そし
て、それぞれを水平方向フィルタ決定回路３５及び垂直
方向フィルタ決定回路３６へ入力して、それぞれの方向
のフィルタのカーネルサイズ及び係数が決定され、出力
端３７，３８より出力される。以下、この最高周波数判
定とフィルタ決定について、水平方向の場合を例にとっ
て説明する。 【００３１】即ち、ブロックのデータは、閾値比較回路
３２より図４（ａ）に示すようにジグザグにスキャンさ
れた順番で与えられる。従って、水平方向最高周波数判
定回路３３では、入ってきた有意係数が何番目の係数で
あったかによって、それが第何列の係数であるのかを調
べ、全ての有意係数の内の最大の列番号によって水平方
向の最高周波数を求めている。 【００３２】例えば、１番目の係数が有意係数の場合に
は図示しない一時メモリに「１」を記憶し、次に１４番
目の係数が有意係数であったとすると、図４（ｂ）から
それが第２行第４列であることがわかるので、上記一時
メモリの値とこの列番号「４」とを比較して、大きい方
の値を上記一時メモリに記憶させる。このようにして、
ブロック中の全ての有意係数に対して判定が終了した時
点で、一時メモリの値を出力する。従って、例えば１４
番目以降に２０番目の係数が有意係数であったとして
も、これは第２列の係数なので、水平方向最高周波数判
定回路３３の出力は変化しない。 【００３３】この出力は、「０」から「８」までの値を
取り得るので、水平方向フィルタ決定回路３５では、高
々９通りのフィルタを用意しておけば良いことになる
が、通常は４乃至５通り以下で充分である。なお、垂直
方向についても全く同様の方法でフィルタを決定してい
る。また、係数の順番と行番号及び列番号との対応と、
フィルタ特性は、テーブルとして予め保持させておくこ
とが必要である。次に、実際にフィルタリングを行なう
方法について説明する。 【００３４】上記逆直交変換回路１３によって得られた
画像データは、歪除去回路１６にて、ライン毎に水平方
向のフィルタリングをされながら図示しないバッファメ
モリに記録されていく。この時、図４（ｃ）に示される
ように、カーネルサイズが３画素のフィルタであり、中
心に位置する注目画素がａブロックに含まれている場合
にはａブロックの変換係数で決定したフィルタｆ1 を用
い、また注目画素がｂブロックに含まれている場合には
ｂブロックの変換係数で決定したフィルタｆ2を用いて
いる。 【００３５】上記バッファメモリは、２ラインと１画素
分用意してあり、前述したようにｎライン目の水平方向
のフィルタリング結果が図４（ｄ）のラインバッファＬ
Ｂ3 のＸの画素に出力されているとすると、第３列の垂
直方向のフィルタリングｆV の注目画素は、第（ｎ−
１）ラインの画素であって、垂直方向のフィルタリング
を行なおうとしているラインの次のラインの画素をライ
ンバッファＬＢ3 に読み込んだことになる。その後、第
３列にラインバッファＬＢ2 の画素を注目画素とした垂
直方向のフィルタリングｆV を行なって、その結果を図
示しないフレームメモリの第（ｎ−１）ラインの第３列
に出力した後、ラインバッファＬＢ1 の同列のデータを
破棄して、ラインバッファＬＢ2 の同列のデータをライ
ンバッファＬＢ1 の同列に移し、さらにラインバッファ
ＬＢ3 の同列のデータをラインバッファＬＢ2 の同列へ
と移す。つまり、ラインバッファＬＢ1 及びＬＢ2 は１
ライン分のメモリであって、注目画素の存在する列より
も前には、ラインバッファＬＢ2 は第（ｎ）ライン、ラ
インバッファＬＢ1 には第（ｎ−１）ラインのデータが
それぞれ記録されていて、注目画素の存在する列以後に
は、ラインバッファＬＢ2 は第（ｎ−１）ライン、ライ
ンバッファＬＢ1 には第（ｎ−２）ラインのデータがそ
れぞれ記録されている。 【００３６】このような処理を全てのラインに対して行
なう。但し、先頭ラインや最終画素のように、画像の端
では、画像領域の外側へ仮想的に画素を外挿して処理を
行なうようにしている。 【００３７】本第１の実施例では、フィルタのカーネル
サイズが「３」の時について説明したが、本発明はこれ
に限定されるものではなく、バッファメモリを増やすこ
とでもっと大きなものに対しても対応できる。また、フ
ィルタリングに先立って、フィルタ特性を決めるための
データや、各ブロックの再生データを全て求めておいて
それをメモリに格納しておき、フィルタリングするよう
にしても良い。次に、本発明の第２の実施例につき説明
する。 【００３８】本発明が適用されるような符号化に於いて
圧縮率を上げていくと、量子化幅が大きくなっていき、
係数が「０」に量子化される確率が高くなる。特に、高
周波成分は一般的にパワーが少ないので、ほとんどが
「０」に量子化される傾向にある。そこで、変換係数を
有意係数であるかどうか判定するのに、前述の第１の実
施例のように各係数の絶対値を閾値と比較するのではな
く、各係数の値が零であるかどうかで判断するようにし
た方法も効果がある。このようにすることで、各ブロッ
ク毎の変換係数を逆量子化する前に、非零の係数を有意
係数と判定してしまうので、絶対値回路３１及び閾値比
較回路３２で成る図１の係数判定回路１４は、図５
（ａ）のように、非零係数判定回路１４Ａに置き換える
ことができるようになる。 【００３９】また、第３の実施例としては、有意係数が
非常に低い周波数成分だけか、もしくは全くないような
ブロックが連続している場合に、それらをまとめてマク
ロブロックとしてとらえることにして、このマクロブロ
ックには広い範囲で強いローパスをかけるようにするこ
とが考えられる。 【００４０】これは、例えば、画像中の空や白壁等のよ
うに諧調が非常にゆっくり変化している部分が高圧縮の
ために交流成分が失われて、図５（ｂ）中の波形ａのよ
うに階段状になってしまった場合に、前述した第１及び
第２の実施例のようなブロック単位のフィルタリングで
は同図中の波形ｂのような諧調しか得られず、これを画
像として観察した場合に、人間の視覚の特性のために依
然としてエッヂが存在するように見えてしまう。そこ
で、本第３の実施例では、このように交流成分がほとん
ど失われているような数ブロックあるいは数十ブロック
のかたまりをマクロブロックとしてとらえ、このマクロ
ブロック内で大きな範囲でスムージングするようにす
る。これにより、同図中の波形ｃのように、滑らかな諧
調が得られる。以下に第４の実施例として、ブロック内
の有意な係数を求める他の方法を説明する。 【００４１】ＤＣＴ係数のジグザグスキャン後のデータ
を零のラン数とそれに続く有効な成分の値の２次元のハ
フマン符号を用いて記録する方式において、ブロック内
の最後の有効係数の後にＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏ
ｃｋ）信号を入れる方法がある。すなわち、復号器でＥ
ＯＢを検出すると、そのブロックのそれ以後の係数は全
て０であると判断する。この場合、ＥＯＢの発生した位
置によってそのブロックの有意係数の存在範囲を求める
ことが可能となる。 【００４２】例えば図６（ａ）に示すように図４（ｂ）
の４の係数以降が０であることを示すＥＯＢを検知した
とすると、このブロックの帯域は２行２列の範囲内にの
み非零の有意係数が存在することが判る。また、図６
（ｂ）の場合は、そのブロックにＡＣ成分は存在せずＤ
Ｃ値のみであることが判る。このようにＥＯＢの検出を
図５の非零係数判定回路１４Ａに含ませることによって
ブロックの帯域を求めるのが簡単になる。本発明は、有
意な変換係数の周波数帯域に基づいて、歪除去処理を適
応的に変化させているが、これに他の判定情報を加えて
適応化させる例を以下に示す。今、図５（ｂ）に示した
例のように、諧調がゆっくり変化している部分が圧縮に
よって交流成分が失われて波形が階段状になっている場
合を考える。 【００４３】このとき、階段状になったブロックどうし
のＤＣ値を比較すると、隣合ったブロックでは、ＤＣ成
分の量子化ステップだけ差があるはずである。ところ
が、ちょうどブロック境界にエッジが重なる場合がある
が、このときの両ブロック間のＤＣ成分の差は量子化ス
テップよりも大きくなるのが一般的である。つまり、ブ
ロックの帯域だけを用いて歪除去を行うと、後者の場合
には実際のエッジ情報が失われてしまうことになる。 【００４４】そこで、ブロック内のＤＣＴ係数がＤＣ成
分だけのブロックが連続する場合は、ブロック境界の歪
除去処理を、その両側のブロックのＤＣ成分の差が量子
化ステップ以下のときだけ実行するような判断を加え
る。 【００４５】その様子を図を用いて説明する。図７
（ａ）の例は、実際にはエッジが存在しない、諧調がゆ
っくりと変化している部分に圧縮によって歪が発生した
場合で、実線で表わされるようにブロック境界をはさん
で両側のブロックはＤＣ成分のみでその差はＤＣ成分の
量子化幅に相当する値となっている。従って、歪除去特
性決定回路は、そのブロック境界の段差が歪であると判
断し、歪除去回路で歪除去処理を行って破線のような値
を得る。 【００４６】一方、図７（ｂ）のように、両ブロックは
ＤＣ成分のみであってもその差がＤＣ成分の量子化幅に
相当する値より大きい場合は、その段差は、実際にエッ
ジがそこにあると判断し歪除去処理を行わないようにす
る。こうすることによって、本来のエッジ情報が失われ
る不具合を防ぐことができる。 【００４７】本発明を用いたシステムにおいて、歪除去
処理は、先に示した実施例のように、ローパスフィルタ
を用いるのが好ましく、その特性は、フィルタのカーネ
ルサイズを考慮して歪除去効果の得られるものを用意す
る。しかし、そのフィルタは画像によっては、適当でな
い場合があり、その時はフィルタの係数やカーネルサイ
ズ等、特性の異なるフィルタと切り換えて歪除去処理を
行なうようにするのが望ましい。 【００４８】具体的には、図８に示すように一度歪除去
処理を行なった画像を表示装置１０４で確認した後、観
察者が気に入らなければ歪除去処理の特性を変化させる
指示を入力装置１０６から入力し、コントロール部１０
５は記録媒体１０１から再度データを読み出して復号器
１０２で復号した信号を新たな歪除去特性の処理を行な
って表示させるようにすることで、観察者が目的や好み
に合わせて処理を変えて確認しながら表示できる。 【００４９】更に、このようにして確認済の画像を他の
媒体に記録したり、印刷装置に出力させたり、また異な
る圧縮率で圧縮を行って出力するようにインタフェース
１０７に出力するような構成にするとより好ましい。 【００５０】このシステムによれば、圧縮記録されてい
る画像を表示させるだけでなく、他のメディアに合わせ
て出力することができるようになる。つまり、異なる転
送レートの伝送において、歪を含んだままで圧縮率を変
化させると、歪が強調されてしまったり、高レートの転
送であるにもかかわらず以前の圧縮による歪みを含んだ
ものを転送するといった不具合を解消することができる
ようになる。また、例えば、医療画像のように、歪除去
処理を加えない状態で記録した方が望ましいような画像
は、歪除去処理を行わないで他の媒体に記録するように
もできる。 【００５１】さらに、本発明は歪除去処理として、ロー
パスフィルタの他に、メディアンフィルタ等非線形処理
や、逆に高精細部にエッジ強調処理を施すことも可能で
ある。 【００５２】本発明は、前述した実施例で使用したブロ
ックサイズ，直交変換の種類，可変長符号化の種類等に
限定されるものではない。また、フィルタは、水平方向
と垂直方向とで別々にかけているが、２次元のフィルタ
を１度にかけるようにしても良く、ブロック全体にかけ
るのではなく、ブロック境界近傍だけにかけるようにし
ても良い。 【００５３】 【発明の効果】以上詳述したように、本発明によれば、
画像中にぼけ等を生じさせずに高速にブロック歪を除去
することができ、しかも回路的には簡単な構成なので、
適用される装置のコストダウンと小型化が図れ、静止画
像のみならず動画像の再生機能付ディジタル電子カメラ
等にも適用できる画像信号復号化装置を提供することが
できる。 【００５４】さらに、本発明の画像信号復号化装置によ
れば、画像信号の符号化装置は従来構成のままで前述の
効果を奏することができる。即ち、標準的な圧縮方式に
対しても復号化装置への工夫のみで効果が上げられ、も
ちろん従来通りの再生もでき、また歪除去の程度を自由
に設定することができる。DETAILED DESCRIPTION OF THE INVENTION [0001] BACKGROUND OF THE INVENTION 1. Field of the Invention
Or image signal decoding for decoding the recorded image signal
Devices, especially block distortions in such devices
The present invention relates to speeding up removal processing and improving efficiency. [0002] 2. Description of the Related Art Generally, a CCD (Charge Coupled Device) is typical.
Image signals captured by a solid-state imaging device
Notes on memory cards, magnetic disks, or magnetic tapes
When recording as digital data on a recording device,
The amount of data is huge. So, usually like this
Try to record important data within a limited storage capacity
Some high-performance data to the obtained image signal data
It is necessary to perform efficient compression. Highly efficient image data
Encoding using orthogonal transform encoding as the data compression method
The scheme is widely known. Figure shows an example of this method
This will be described with reference to FIG. [0003] First, image data from a solid-state imaging device or the like.
When (f) is input (101), the image data
(F) is divided into blocks of a predetermined size to obtain a value (fb)
(102), and orthogonal transform is performed for each of the divided blocks.
Performs two-dimensional DCT (discrete cosine transform) as
(F) is converted (103). Next, respond to each frequency component.
(104), and the quantized
Huffman coding as variable length coding for the value (FQ)
(105), and the result is compressed data (C).
Transmitted or recorded. At this time, the quantization of the linear quantization
The width is a value that takes into account the visual characteristics of each frequency component.
Prepares a quantization matrix that expresses the opposite quantization characteristics
Quantization is performed by multiplying this quantization matrix by a constant.
Determine the width. On the other hand, image data is generated from compressed data.
When decoding the variable length code (C)
To obtain the quantized value (FQ) of the transform coefficient (106).
However, it is impossible to obtain the true value (F) before quantization from this value.
And the result obtained by inverse quantization is
(F ') (107). Therefore, this value (F ')
IDCT (Inverse Discrete Cosine Transform) is performed on (10
8), the resulting value (fb ') is deblocked (10)
9) The obtained image data (f ') also includes an error
Becomes Therefore, it is reproduced and output by an image reproducing device or the like.
(110) The image quality of the reproduced image (f ') is deteriorated.
That is, the value (F ′) of the result obtained by the inverse quantization is incorrect.
The difference is the so-called quantization error and the image quality of the reproduced image (f ')
It causes deterioration. The above operation will be specifically described with reference to FIG.
I will tell. First, as shown in FIG.
Of image data of a predetermined size (for example, 8 ×
Divided into blocks A, B, C,...
For each of the divided blocks, a two-dimensional D
Perform CT and sequentially store on 8 × 8 matrix
You. View image data on a two-dimensional plane
And spatial frequency, which is frequency information based on the distribution of grayscale information
Have a number. Therefore, by performing the above DCT,
The image data is, as shown in FIG.
8x8 matrix converted to minute DC and AC component AC
DC component at the origin position ((0,0) position)
Is shown at the (0,7) position in the horizontal axis direction.
The data indicating the maximum frequency value of the AC component AC is
The (7,0) position is the maximum circumference of the AC component AC in the vertical axis direction.
The data indicating the wave value is further located at the (7, 7) position.
The data indicating the maximum frequency value of the AC component AC in the oblique direction is
Each is stored. At the intermediate position, each coordinate position
Frequency data in the direction related by
Stored in the form of higher frequency appearing sequentially from the origin side
Will be. Next, each coordinate position in this matrix
Of the stored data by the quantization width for each frequency component.
In this way, linear quantization according to each frequency component is performed.
This quantized value is used as variable-length coding
Perform Mann encoding. At this time, the DC component DC
Is the difference between the DC component of the neighboring block and the Huffman code
Become As for the AC component AC, a zigzag scan
From low frequency components called high frequency components to high frequency components.
Performs scanning, and consecutive invalid ("0") components
The number (the number of zero runs) followed by the value of the valid component
Dimensional Huffman encoding is performed to obtain encoded data. In this method, the compression ratio is determined by the quantization
It is controlled by changing the quantization width of
Generally, the higher the compression ratio, the larger the quantization width,
Therefore, the quantization error increases, and the image quality of the reproduced image deteriorates.
Become noticeable. [0010] The quantization error of the transform coefficient is included in the reproduced image.
A discontinuity occurs at the block boundary
It tends to appear as rock distortion, and this block distortion
To be visually noticeable, even if the S / N is good,
The subjective impression gets worse. Therefore, the image reproduced by the decoder
In addition, a low-pass (low-pass) filter is used as distortion removal processing.
A way to put on was figured out. This post-filter is
The distortion can be removed satisfactorily, but the edge appears in the image.
Etc. are included, they are blurred, and conversely
If you reduce the degree of low pass to reduce blur,
There is a problem that lock distortion cannot be completely removed.
Was. In order to solve this problem, an image
Detects the presence or absence of edges and block distortion in the image
Therefore, it is necessary to switch whether or not to apply the filter.
And a method to apply a filter only to the part where distortion exists
Are known. [0013] However, as described above,
Distortion that applies a filter only to areas where distortion exists
There is still a disadvantage that the image is blurred in the leaving method
Above, it is necessary to calculate the amount of block distortion, etc.
Requires a long processing time, and a certain circuit size
And needed power consumption. For this reason, miniaturization and high speed
It is not possible to apply this distortion removal method to products that emphasize
was difficult. The present invention has been made in view of the above points.
Is a simple circuit that can cause blurring in the image
Image signal that can remove block distortion at high speed without using
It is an object of the present invention to provide a decoding device. [0015] SUMMARY OF THE INVENTION In order to achieve the above object,
First, an image signal decoding apparatus according to the present invention
To a plurality of blocks corresponding to each image area
Blocks, and the spatial frequency of each divided block
After performing orthogonal transformation to decompose into components, this transformation output
And then variable-length encodes the quantized output
Variable-length code to decode compressed image data
Signal decoding means and the variable length code decoding means.
Inverse quantization means for inversely quantizing the decoded output;
Orthogonal transform for inverse orthogonal transform of inverse quantization output from quantization means
Means, and distortion of the transformed output from the inverse orthogonal transform means.
Distortion removal means for performing removal filtering processing;The decryption
From the outputThe above spatial frequency component for each block
The conversion coefficients, which are the coefficients of each component when decomposed into
Or a significant coefficient with a value greater than a predetermined threshold
Coefficient judging means for dividing the coefficient
fromHorizontal and vertical maximums of the above significant coefficients
By finding each frequency,Significant charge for each block
Number of frequency bandsAnd obtain its frequency bandBased on the previous
Of the strain removal meansDistortion removalFilter characteristics in the frequency band
Rejection characteristic that changes so that it becomes a substantial passband
Determining means. [0016] That is, in the present invention,From the decrypted output
can getConvert image data into spatial frequency components for each block
The conversion coefficient, which is the coefficient of each component when decomposed, is non-zero or
Significant coefficients with values greater than a given threshold and not
Divided into things,Horizontal and vertical directions of the above significant coefficients
By finding the highest frequency for each direction,Block by block
Frequency band of significant coefficientsAnd obtain its frequency bandBased on
And the distortion removing meansDistortion removalFilter characteristics
The wave number band is changed so as to be a substantial pass band. In general, the conspicuousness of block distortion is near
It changes according to the spatial frequency of the nearby image. That is,
It seems to have components up to high frequencies with fine structure
If there is block distortion in the
Rock distortion is not noticeable. Conversely, the change is relatively slow
Block distortion occurs in areas where only low spatial frequency components exist.
In this case, the block distortion becomes conspicuous. [0018] On the other hand, the block distortion is a problem at the block boundary.
Due to continuity, very high spatial frequencies can be achieved.
Have a minute. Therefore, the spatial circumference of the image near the distortion
By removing spatial frequency components higher than the wave number,
Therefore, block distortion can be made inconspicuous. There
In the present invention, the transform coefficient is used to perform the distortion as described above.
The characteristics of the elimination are adaptively changed. [0019] Embodiments of the present invention will be described below with reference to the drawings.
I do. FIG. 1 shows an image signal decoding apparatus according to the present invention.
FIG. 2 is a block diagram of a first embodiment. Image signal of this embodiment
In the signal decoding device, first, the variable-length code decoding circuit 11
Receiving the transmitted or recorded compressed image data,
Decode the variable length code of the compressed image data. This deco
The code output is inversely quantized by the inverse quantization circuit 12. This
The inverse quantized result of is the transform coefficient for each block
Therefore, it corresponds to the spatial frequency component in the block. This data is divided into two parts, one of which is inverse orthogonal.
It is sent to the conversion circuit 13. This inverse orthogonal transform circuit 13
Performs inverse orthogonal transformation on the received data, and in real space
Is obtained. The other half of the data is a real space
Used to determine the distortion removal characteristics of the image signal
You. The determination of this characteristic is made as follows. Immediately
In the coefficient determination circuit 14, the spatial frequency is calculated for each block.
The absolute value of the component is compared with the threshold, and a coefficient greater than the threshold
Is defined as a significant coefficient.
Low-pass characteristics that preserve the significant coefficient band
Set. Then, in the distortion removal circuit 16, the determined
The inverse orthogonal transformation circuit 1
3 is applied to the image signal which is the converted output. Thus, the distortion removal processing
The processed image signal is output to an output device 1 such as an image reproducing device.
Displayed at 7. By performing the distortion removal in this manner,
And the bandwidth of information recorded in block units is almost
Can be filtered without any loss
Wear. In other words, a block with only low spatial frequency components
Is a strong low-pass filter that averages over a wide range.
Filtering up to relatively high frequency components
The containing block is weak enough not to blur
By performing low-pass filtering,
Realizes low-pass filtering that does not blur the structure
Can be Next, the method for determining the distortion removal characteristics will be described.
Will be explained. Now, the target block given to the coefficient determination circuit 14
The orthogonal transform coefficient of the lock is calculated as 8 × as shown in FIG.
DCT (discrete cosine transform) coefficients of 8 pixels, each coefficient
2 is compared with the threshold value th (th = 10).
The coefficient at the part indicated by hatching in FIG.
It is determined that the significant coefficient is a logarithmic value “10” or more. in this case,
This block has horizontal and vertical
Half of the highest frequency (1/2 of the sampling frequency)
Includes structure that can be almost completely expressed by information up to frequency
You can see that it has been. So, in this block
Filter characteristics are the best in both the horizontal and vertical directions.
Characteristics that cut frequencies higher than half of high frequencies
That would be good. This situation is for the sake of simplicity
Let us consider one dimension only in the horizontal direction in the above example. As described above, the highest frequency among the significant coefficients is used.
From the one corresponding to the wave number, the block of interest is the highest frequency
(Fmax) up to half the frequency component.
If it is found, the bandwidth up to (fmax / 2)
Components higher than this band.
I just want to In other words, the hatching in FIG.
If you cut the band with the part shown by applying
good. This can be expressed by the following equation:       H = F × G (1) Becomes Here, equation (1) is a filter in the frequency domain.
F, G, and H represent data,
This is the coefficient on the Fourier plane of the filter and processing results.
The components may be as shown in FIG. However, filtering in the spatial frequency plane
Is performed while changing the characteristics of the filter.
You cannot do it. Therefore, blocking the image
Filter on the spatial frequency plane and
Must be implemented, and then the effects of blocking
There are also problems that must be taken into account. So
Here, this filtering is applied to the convolution in the real space.
To change the convolved coefficient
I do. [0028]     h = f * g (2) In equation (2), f, g, and h are F, G, and H, respectively.
Inverse Fourier transform results, the filtering of equation (1)
In this case, the processing is performed in a real space. This expression
As in (2), the filtering is performed between the data f and g.
Become a convolution. The kernel size of this g is
Since it is finite, a sharp cutoff as shown in Fig. 2 (b)
It is impossible to obtain the characteristics, but there is no problem in practical use.
How to determine the filter coefficient and kernel size is also arbitrary,
It is determined in consideration of calculation time and cutoff characteristics. Therefore, according to the present invention, the compression
The significant data of the transform coefficients obtained by decoding the data
Convolution low pass filter
Filters are applied adaptively on a block-by-block basis.
Distortion can be removed without blurring the internal structure.
Swell. Also, a transform coefficient which is an intermediate result of the decoding process
Is used to determine the filtering characteristics.
There is no need to detect the presence or absence of edges and block distortion.
In addition to realizing a very simple configuration,
Since it only compares with the value, the processing time can be shortened.
You. The coefficient determination circuit 14 and the distortion removal characteristic determination circuit 15
Is actually configured as shown in FIG. First, the output of the inverse quantization circuit 12 is applied to the input terminal 3
From 0, the absolute value is input to the absolute value circuit 31, and the absolute value is calculated.
You. The result is determined in advance by the threshold comparing circuit 32.
Is compared with the threshold value
Be killed. The result is then used to determine the highest horizontal frequency.
Sent to the circuit 33 and the vertical maximum frequency determination circuit 34
And the highest frequency in each direction is determined. Soshi
And a horizontal filter determination circuit 35 and a vertical filter
Input to the direction filter determination circuit 36,
The filter kernel size and coefficients are determined and the output
Output from the ends 37 and 38. The maximum frequency
The horizontal direction is used as an example for
Will be explained. That is, the data of the block is stored in a threshold comparing circuit.
32, zigzag scanning is performed as shown in FIG.
Given in the order given. Therefore, the horizontal frequency
In the constant circuit 33, the incoming significant coefficient is
Depending on the number of columns, adjust the number of the column
The horizontal column by the largest column number of all significant coefficients
Looking for the highest frequency. For example, if the first coefficient is a significant coefficient,
Stores “1” in a temporary memory (not shown), and then stores the number 14
Assuming that the coefficient of the eye is a significant coefficient, from FIG.
Since it is found that it is the second row and the fourth column,
Compare the memory value with this column number "4" and select the larger one.
Is stored in the temporary memory. In this way,
When the judgment is completed for all significant coefficients in the block
At that point, output the value of the temporary memory. Thus, for example, 14
If the 20th coefficient is significant after the
Since this is the coefficient in the second column,
The output of the constant circuit 33 does not change. This output represents a value from "0" to "8".
In the horizontal direction filter determination circuit 35,
It would be good to prepare 9 filters each
However, usually four or five or less patterns are sufficient. In addition, vertical
Filters for directions are determined in exactly the same way.
You. Also, the correspondence between the order of the coefficients and the row numbers and column numbers,
Filter characteristics should be stored in advance as a table.
Is necessary. Next, actually do the filtering
The method will be described. The signal obtained by the inverse orthogonal transform circuit 13
The image data is processed by the distortion removal circuit 16 for each line in the horizontal direction.
(Not shown)
It is recorded in Mori. At this time, it is shown in FIG.
As shown, the filter has a kernel size of 3 pixels.
When the target pixel located in the heart is included in the a block
Uses the filter f1 determined by the conversion coefficient of block a.
If the target pixel is included in the b block,
Using the filter f2 determined by the conversion coefficient of the b block
I have. The buffer memory has two lines and one pixel
And the horizontal direction of the n-th line as described above.
Is the filtering result of the line buffer L shown in FIG.
If it is output to the X pixel of B3, the vertical
The target pixel of the filtering fV in the direct direction is the (n-
1) Line pixels, vertical filtering
The pixel on the line next to the line for which
This means that the data has been read into the buffer LB3. Then
In three columns, the pixels of the line buffer LB2 are set as pixels of interest.
Performs a direct filtering fV and plots the result.
Third column of (n-1) th line of frame memory not shown
After that, the data in the same column of the line buffer LB1 is
Discard and write the same data in line buffer LB2.
To the same row of the buffer LB1
Data in the same row of LB3 to the same row in line buffer LB2
And transfer. That is, the line buffers LB1 and LB2 are 1
Line memory, from the column where the pixel of interest exists
Before, the line buffer LB2 stores the (n) th line,
The data of the (n-1) th line is stored in the in-buffer LB1.
Each is recorded and after the column where the pixel of interest exists
Indicates that the line buffer LB2 is the (n-1) th line, the line
The data of the (n-2) th line is stored in the buffer LB1.
Each is recorded. Such processing is performed for all lines.
Now. However, like the first line or the last pixel,
Now, extrapolate pixels virtually outside the image area
I do it. In the first embodiment, the filter kernel
Although the case where the size is "3" has been described, the present invention
The buffer memory is not limited to
And can handle even larger objects. Also,
Prior to filtering, it is necessary to determine the filter characteristics.
Find all data and playback data of each block
Store it in memory and filter it
You may do it. Next, a second embodiment of the present invention will be described.
I do. In the encoding to which the present invention is applied,
As the compression ratio increases, the quantization width increases,
The probability that the coefficient is quantized to “0” increases. Especially high
Most of the frequency components have low power, so most
It tends to be quantized to "0". Therefore, the conversion coefficient is
To determine whether the coefficient is a significant coefficient, the first
Instead of comparing the absolute value of each coefficient with a threshold as in the example,
The judgment is made based on whether the value of each coefficient is zero.
Method is also effective. In this way, each block
Before dequantizing the transform coefficients for each
Since it is determined as a coefficient, the absolute value circuit 31 and the threshold ratio
The coefficient determining circuit 14 shown in FIG.
As shown in (a), it is replaced with a non-zero coefficient determination circuit 14A.
Will be able to do it. In the third embodiment, the significant coefficient is
Very low frequency components or no
If blocks are continuous, put them together
This macro bro
Use a strong low-pass over a wide area.
You could think so. This corresponds to, for example, the sky or white walls in the image.
The part where the gradation changes very slowly is high compression
As a result, the AC component is lost, and the waveform a in FIG.
In the case of a step-like shape,
With filtering in block units as in the second embodiment,
Can obtain only a gradation like the waveform b in FIG.
When viewed as an image, it depends on the characteristics of human vision.
However, the edge seems to exist. There
Thus, in the third embodiment, the AC component is almost
A few or dozens of blocks that are missing
This block is treated as a macro block.
Smooth a large area within a block
You. As a result, as shown by the waveform c in FIG.
The tone is obtained. In the following, as a fourth embodiment,
Another method for obtaining a significant coefficient of will be described. Data after DCT coefficient zigzag scan
Is the two-dimensional value of the zero run number followed by the value of the valid component.
In the recording method using Fuman code,
After the last significant coefficient of EOB (End of Blo
ck) There is a method of inputting a signal. That is, E
When an OB is detected, the subsequent coefficients of the block are all
Is determined to be 0. In this case, the position where EOB occurred
Find the range of significant coefficients for the block
It becomes possible. For example, as shown in FIG.
EOB indicating that the coefficient after 4 is 0 is detected
Then, the bandwidth of this block is within the range of 2 rows and 2 columns.
It can be seen that there is only a non-zero significant coefficient. FIG.
In the case of (b), there is no AC component in the block and D
It turns out that it is only a C value. In this way, the detection of EOB
By including it in the non-zero coefficient determination circuit 14A of FIG.
It is easier to determine the block bandwidth. The present invention has
Apply distortion removal processing based on the frequency band of the desired transform coefficient.
But the other judgment information is added to this.
An example of adaptation is shown below. Now, as shown in FIG.
As shown in the example, the part where the gradation changes slowly is compressed.
Therefore, if the AC component is lost and the waveform is stepped,
Think about a match. At this time, the stepped blocks are
Comparing the DC values of
There should be a difference of only one minute quantization step. Place
But the edge may just overlap the block boundary
However, at this time, the difference between the DC components between the two blocks is
Generally, it is larger than Tep. That is,
If distortion is removed using only the lock band, the latter case
Causes the actual edge information to be lost. Therefore, the DCT coefficient in the block is
If only blocks are continuous, the block boundary distortion
The removal process is performed when the difference between the DC components of the blocks on both sides is
To be executed only in the following steps
You. This will be described with reference to the drawings. FIG.
In the example of (a), there is actually no edge,
Distortion caused by compression in the part that is changing sharply
In some cases, block boundaries are drawn as indicated by the solid line.
And the blocks on both sides are only DC components and the difference is the DC component
This is a value corresponding to the quantization width. Therefore, the distortion removal characteristics
The gender determination circuit determines that the step at the block boundary is distorted.
And perform distortion removal processing with the distortion removal circuit to
Get. On the other hand, as shown in FIG.
Even if there is only a DC component, the difference is the quantization width of the DC component.
If it is larger than the corresponding value, the step is actually
Judge that the image is there and stop the distortion removal process.
You. By doing so, the original edge information is lost.
Troubles can be prevented. In a system using the present invention, distortion removal
The processing is performed by a low-pass filter as in the previous embodiment.
It is preferable to use the filter kernel.
Prepare the one that can obtain the distortion removal effect in consideration of the size
You. However, the filter is not appropriate for some images.
In that case, filter coefficients and kernel size
Switch to a filter with different characteristics such as noise
It is desirable to do so. More specifically, as shown in FIG.
After confirming the processed image on the display device 104,
Change the characteristics of distortion removal processing if the observer does not like it
An instruction is input from the input device 106 and the control unit 10
5 is a decoder for reading data from the recording medium 101 again and
The signal decoded in step 102 is processed for a new distortion removal characteristic.
Is displayed so that the observer can
It can be displayed while changing the processing according to. Further, the image confirmed in this way is replaced with another image.
Recording on a medium, printing on a printing device,
Interface to compress and output at a different compression ratio
It is more preferable to make the configuration such that the signal is output to 107. According to this system, compressed and recorded
Not only display the image
Output. In other words, different rolls
In the transmission at the transmission rate, the compression ratio is changed while including distortion.
Distortion can accentuate distortion or cause high-rate
Including the distortion due to previous compression
Problems such as transferring things can be resolved
Become like Also, for example, like medical images,
Images that should be recorded without any processing
Should be recorded on another medium without performing the distortion removal processing.
You can also. Further, according to the present invention, a low-
Non-linear processing such as median filter in addition to pass filter
And on the contrary, it is also possible to apply edge enhancement processing to high-definition details
is there. The present invention relates to the blower used in the above-described embodiment.
Data size, orthogonal transform type, variable length coding type, etc.
It is not limited. Also, the filter is horizontal
And the vertical direction separately, but a two-dimensional filter
May be applied once, over the entire block.
Instead of applying it only near the block boundaries.
May be. [0053] As described in detail above, according to the present invention,
High-speed block distortion removal without blurring in the image
And the circuit is simple,
Applicable equipment can be reduced in cost and size,
Digital electronic camera with playback function for not only images but also moving images
It is possible to provide an image signal decoding device applicable to
it can. Further, according to the image signal decoding apparatus of the present invention,
In this case, the image signal encoding apparatus has a
The effect can be achieved. In other words, the standard compression method
On the other hand, the effect can be improved only by improving the decoding device,
Of course, the same reproduction as before is possible, and the degree of distortion removal is free.
Can be set to

【図面の簡単な説明】 【図１】本発明の画像信号復号化装置の第１の実施例の
ブロック構成図である。 【図２】（ａ）は注目ブロックの直交変換係数を示す
図、（ｂ）は有意係数を示す図、（ｃ）は帯域カットの
ための通過域を示す図である。 【図３】係数判定回路及び歪除去特性決定回路の構成を
示すブロック図である。 【図４】（ａ）及び（ｂ）はそれぞれジグザグスキャン
の順番を示す図、（ｃ）はカーネルサイズが３画素のフ
ィルタを説明するための図、（ｄ）はバッファメモリへ
のデータ記憶手順を説明するための図である。 【図５】（ａ）は本発明の画像信号復号化装置の第２の
実施例のブロック構成図、（ｂ）は本発明の画像信号復
号化装置の第３の実施例に於ける動作を説明するための
図である。 【図６】（ａ）、（ｂ）は第４の実施例においてＥＯＢ
の検出を説明するための図である。 【図７】（ａ）、（ｂ）はブロック内のＤＣＴ係数がＤ
Ｃ成分だけのブロックが連続する場合の処理を説明する
ための図である。 【図８】他の歪除去の方法を実現するための構成図であ
る。 【図９】従来の画像信号の符号化及び復号化方式の原理
を説明するための動作遷移図である。 【図１０】（ａ）は画像データのブロック化を説明する
ための図であり、（ｂ）は離散コサイン変換結果を示す
図である。 【符号の説明】 １１…可変長符号デコード回路、１２…逆量子化回路、
１３…逆直交変換回路、１４…係数判定回路、１４Ａ…
非零係数判定回路、１５…歪除去特性決定回路、１６…
歪除去回路。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a first embodiment of an image signal decoding apparatus according to the present invention. 2A is a diagram illustrating orthogonal transform coefficients of a block of interest, FIG. 2B is a diagram illustrating significant coefficients, and FIG. 2C is a diagram illustrating a passband for band cut. FIG. 3 is a block diagram illustrating a configuration of a coefficient determination circuit and a distortion removal characteristic determination circuit. FIGS. 4A and 4B are diagrams showing the order of zigzag scan, respectively, FIG. 4C is a diagram for explaining a filter having a kernel size of 3 pixels, and FIG. 4D is a data storage procedure in a buffer memory. FIG. FIG. 5 (a) is a block diagram of a second embodiment of the image signal decoding apparatus of the present invention, and FIG. 5 (b) shows an operation of the third embodiment of the image signal decoding apparatus of the present invention. It is a figure for explaining. FIGS. 6A and 6B show EOB in the fourth embodiment.
It is a figure for explaining detection of. FIGS. 7 (a) and 7 (b) show that the DCT coefficient in the block is D
FIG. 9 is a diagram for describing processing when blocks of only C components are continuous. FIG. 8 is a configuration diagram for realizing another distortion removal method. FIG. 9 is an operation transition diagram for explaining the principle of a conventional image signal encoding and decoding method. FIG. 10A is a diagram for explaining blocking of image data, and FIG. 10B is a diagram illustrating a result of discrete cosine transform. [Explanation of Code] 11: variable length code decoding circuit, 12: inverse quantization circuit,
13: inverse orthogonal transform circuit, 14: coefficient determination circuit, 14A ...
Non-zero coefficient determination circuit, 15 ... distortion removal characteristic determination circuit, 16 ...
Distortion removal circuit.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−311782（ＪＰ，Ａ) 特開 平２−224489（ＪＰ，Ａ) 特開 昭63−121373（ＪＰ，Ａ) 特開 平２−33285（ＪＰ，Ａ) 特開 平２−154571（ＪＰ，Ａ) 特開 平１−114278（ＪＰ，Ａ) 井沢裕司，「画像のブロック符号化に おける帯域保存ポストフィルタ」，電子 情報通信学会論文誌Ｂ−Ｉ，（社）電子 情報通信学会，平成２年９月25日，第Ｊ 73−Ｂ−Ｉ巻，第９号，ｐ．707−715   ────────────────────────────────────────────────── ─── Continuation of front page       (56) References JP-A-1-311782 (JP, A)                 JP-A-2-224489 (JP, A)                 JP-A-63-121373 (JP, A)                 JP-A-2-33285 (JP, A)                 JP-A-2-154571 (JP, A)                 JP-A-1-114278 (JP, A)                 Yuji Izawa, “For image block coding               Band preserving post-filter ”, electronic               IEICE Transactions BI, Electronics               The Institute of Information and Communication Engineers, September 25, 1990, J               73-BI, No. 9, p. 707-715

Claims (1)

(57)【特許請求の範囲】 【請求項１】 画像データを所定の画素数以下の各画像
領域に対応する複数のブロックに分割し、この分割され
たブロック毎に空間周波数成分に分解する直交変換を行
なってから、この変換出力を量子化し、その後この量子
化出力を可変長符号化することにより圧縮された画像デ
ータを復号化する可変長符号デコード手段と、 前記可変長符号デコード手段からの復号化出力を逆量子
化する逆量子化手段と、 前記逆量子化手段からの逆量子化出力を逆直交変換する
逆直交変換手段と、 前記逆直交変換手段からの変換出力に対して歪除去フィ
ルタリング処理を行う歪除去手段と、前記復号化出力から得られる 各ブロック毎の上記空間周
波数成分に分解されたときの各成分の係数たる変換係数
を非零または所定の閾値より大きい値を持つ有意な係数
とそうでないものとに分ける係数判定手段と、 前記係数判定手段からの上記有意な係数の水平方向およ
び垂直方向の最高周波数をそれぞれ求めることで、ブロ
ック毎に有意な係数の周波数帯域を求め、その周波数帯
域に基づいて、前記歪除去手段の歪除去フィルタの特性
を前記周波数帯域が実質的な通過帯域となるように変化
させる歪除去特性決定手段とを具備することを特徴とす
る画像信号復号化装置。(57) [Claims 1] Image data is divided into a plurality of blocks corresponding to respective image areas having a predetermined number of pixels or less, and orthogonal division is performed on each of the divided blocks into spatial frequency components. After performing the conversion, the converted output is quantized, and thereafter, the quantized output is subjected to variable-length encoding to decode the compressed image data. An inverse quantization means for inversely quantizing the decoded output; an inverse orthogonal transform means for performing an inverse orthogonal transform on the inverse quantized output from the inverse quantization means; and a distortion removal for the transform output from the inverse orthogonal transform means. A distortion removing unit for performing a filtering process, and a transform coefficient, which is a coefficient of each component when decomposed into the spatial frequency component for each block obtained from the decoded output, is larger than a non-zero or predetermined threshold. Coefficient determining means for dividing the significant coefficients with the threshold and others do not, Oyo horizontal direction of the significant coefficients from said coefficient determining means
And the highest frequency in the vertical direction, the frequency band of the significant coefficient is obtained for each block , and the frequency band
Based on the frequency, the image signal decoding apparatus characterized by the characteristic of the distortion removing filter said frequency band; and a distortion removal characterization means for changing such a substantial pass band of the distortion removing means .