JP4835949B2 - 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4835949B2
JP4835949B2 JP2007330092A JP2007330092A JP4835949B2 JP 4835949 B2 JP4835949 B2 JP 4835949B2 JP 2007330092 A JP2007330092 A JP 2007330092A JP 2007330092 A JP2007330092 A JP 2007330092A JP 4835949 B2 JP4835949 B2 JP 4835949B2
Authority
JP
Japan
Prior art keywords
tap
image
pixel
class
smoothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007330092A
Other languages
English (en)
Other versions
JP2009152968A5 (ja
JP2009152968A (ja
Inventor
悠太 長木
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007330092A priority Critical patent/JP4835949B2/ja
Priority to US12/257,494 priority patent/US8340404B2/en
Publication of JP2009152968A publication Critical patent/JP2009152968A/ja
Publication of JP2009152968A5 publication Critical patent/JP2009152968A5/ja
Application granted granted Critical
Publication of JP4835949B2 publication Critical patent/JP4835949B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

本発明は、画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関し、特に、ノイズ感を低減させながら、解像度感の高い画像を生成することができるようにする画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関する。
画像のデータを伝送、蓄積などする場合、JPEG、MPEG、H264/AVCなどによる圧縮符号化の処理が用いられることが多い。例えば、MPEGやJPEGで用いる離散コサイン変換では画面を8×8ドットの範囲を最小単位として、その中の変化が少ない部分を削除することで圧縮する。このため、ビットレートが十分でない場合、デコードしたときに元の画像を再現し切れず、ブロックの境目がハッキリ見えるようになり、ブロックノイズが生じることがある。
従来より、エンコードされてデコードされたデジタル画像などにおいて生じるブロックノイズを低減する方式として、例えば、H264/AVCのデブロッキングフィルタのようなブロック間（または全画面）に対してフィルタ処理を行う手法が採用されている。
例えば、H264/AVCのデブロッキングフィルタの処理においては、ブロック境界とその周囲の画素の関係からブロックノイズが見え易いかを判定し、その判定の結果を用いてブロック境界周辺に対してフィルタ処理を行ない、ノイズが目立たないように画像の画素値を平滑化する。
なお、H264/AVCのデブロッキングフィルタの処理については、非特許文献１などに詳細に開示されている。
また、デブロッキングフィルタの処理において、全画面動きやビットレート、画サイズなどの付加情報を参考にしてフィルタ強度を求める方式も存在する。
例えば、ＭＰＥＧ２方式による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号装置に対して伝送される。
復号によって得られる画像信号の特性は、適用される符号化復号方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。この相違が符号化復号処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、種々の信号処理が可能なものである。例えば時空間の解像度を入力信号以上とする解像度創造の処理、サブサンプリングによって間引かれた画素の補間、ノイズの低減、エラーの修整等の処理が可能である。
符号化復号の処理を経たデジタル情報信号に対して付加情報を基づいて、クラス分類または予測演算に使用する複数のデータの抽出範囲または位置を変更することよって、予測精度を向上することが可能なデジタル信号処理についての技術も提案されている（例えば、特許文献１参照）。
また、真値に近い補間画素値を求めることができるように、補間対象とすべき位置を中心としてその周辺における複数の画素で構成されたブロックのうち、中心の近傍における平坦度を検出し、その平坦度が大きいほど、選択対象とすべき中心における周辺画素の選択数が多くなるように、周辺画素を選択し、周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類することも提案されている（例えば、特許文献２参照）。
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003 Adaptive Deblocking Filter Peter List, Anthony Joch, Jani Lainema, Gisle Bjontegaard, and Marta Karczewicz 特開２００１−２８５８７０号公報 特開２００６−１４１０４６号公報
しかしながら、ブロックノイズの除去にあたっては、画像のどの部分がブロックノイズであるかの判断が難しい。例えば、H264/AVCのデブロッキングフィルタの処理は、デコードの処理に伴って実行されるのでH264/AVC方式でのエンコード時のブロック化の情報を用いることができるため、ブロック境界を特定しやすいが、他の方式（例えば、MPEG）によりエンコードされた画像に対してはこのような処理を実行してもノイズを低減させる効果が期待できない。
また、例えば、エンコードされた画像とは異なるアスペクト比のデコード画像を表示する場合、仮にエンコード時のブロック化の情報を用いることができたとしても、その情報に基づいてブロック境界を特定することは難しい。
勿論、ブロック境界を特定せずに画面全体を平滑化してノイズ感を低減させることも可能であるが、この場合、平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われてしまう。すなわち、本来ブロックノイズではない、画像のディテールなどによる画素の輝度の振幅までが誤って平滑化されてしまい、画像の解像度感が薄れてしまう。
さらに、従来のノイズ低減のためのフィルタ処理では、注目画素を中心とする複数の画素に対して係数が加重されるようにして注目画素の画素値を求めているが、注目画素自身がノイズを含んでいる場合、フィルタ処理後においても、そのノイズ成分が見えてしまう可能性が生じる。
本発明はこのような状況に鑑みてなされたものであり、ノイズ感を低減させながら、解像度感の高い画像を生成することができるようにするものである。
本発明の第１の側面は、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置である。
前記平滑化手段は、前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定するようにすることができる。
前記平滑化手段は、前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記処理対象画像を平滑化するようにすることができる。
前記クラスコード決定手段は、前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成するようにすることができる。
前記クラスコード決定手段は、前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行うようにすることができる。
本発明の第１の側面は、入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算するステップを含む画像処理方法である。
本発明の第１の側面は、コンピュータを、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させるプログラムである。
本発明の第１の側面においては、入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップが抽出されて前記タップ内の画素値に基づいて平滑化され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップが抽出され、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードが生成され、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードが決定され、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値が演算される。
本発明の第２の側面は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置である。
前記平滑化手段は、前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定するようにすることができる。
前記平滑化手段は、前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記復号画像を平滑化するようにすることができる。
前記クラスコード決定手段は、前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成するようにすることができる。
前記クラスコード決定手段は、前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行うようにすることができる。
本発明の第２の側面は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するステップを含む学習方法である。
本発明の第２の側面は、コンピュータを、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置として機能させるプログラムである。
本発明の第２の側面においては、原画像を圧縮符号化し復号して得られる復号画像が、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップが抽出され、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードが決定され、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップが抽出され、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、前記求められたタップ係数が、前記クラスコード毎に記憶部に記憶される。
本発明によれば、ノイズ感を低減させながら、解像度感の高い画像を生成することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、入力画像を処理して、処理画像を生成する画像処理装置であって、前記入力画像である処理対象画像（例えば、MPEG画像）を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段（例えば、図３の平滑化処理部７２）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段（例えば、図８のステップＳ８１の処理を実行する図３のクラス分類輝度値演算部７３）と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段（例えば、図７のステップＳ６２の処理を実行する図３のクラス分類輝度値演算部７３）と、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段（例えば、図１３のステップＳ１４８、Ｓ１４９の処理を実行する図３のクラス分類輝度値演算部５３）とを備える。
本発明の第１の側面の画像処理方法は、入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、前記入力画像である処理対象画像（例えば、MPEG画像）を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化し（例えば、図１３のＳ１４３の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し（例えば、図８のステップＳ８１の処理）、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し（例えば、図７のステップＳ６２の処理）、前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する（例えば、図１３のステップＳ１４８、Ｓ１４９の処理）ステップを含む。
本発明の第２の側面の学習装置は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、原画像を圧縮符号化し復号して得られる復号画像（例えば、MPEG画像）を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段（例えば、図２の平滑化処理部５２）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段（例えば、図８のステップＳ８１の処理を実行する図２のクラス分類係数生成部５３）と、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段（例えば、図７のステップＳ６２の処理を実行する図２のクラス分類係数生成部５３）と、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段（例えば、図９のステップＳ１０１の処理を実行する図２のクラス分類係数生成部５３）と、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段（例えば、図７のステップＳ６３の処理、および図１２のステップＳ１２１乃至Ｓ１２３の処理を実行する図２のクラス分類係数生成部５３）と、前記求められたタップ係数を、前記クラスコード毎に記憶部（例えば、図２、図３の係数記憶部５４）に記憶するタップ係数記憶手段（例えば、図１２のステップＳ１２４の処理を実行する図２のクラス分類係数生成部５３）とを備える。
本発明の第２の側面の学習方法は、入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、原画像を圧縮符号化し復号して得られる復号画像（例えば、MPEG画像）を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップ（例えば、図６のタップ）を抽出して前記タップ内の画素値に基づいて平滑化し（例えば、図４のステップＳ１３の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成
されるクラスタップを抽出し（例えば、図８のステップＳ８１の処理）、前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコード（例えば、コードCls_b）を生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し（例えば、図７のステップＳ６２の処理）、前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し（例えば、図９のステップＳ１０１の処理）、前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め（例えば、図７のステップＳ６３の処理、および図１２のステップＳ１２１乃至Ｓ１２３の処理）、前記求められたタップ係数を、前記クラスコード毎に記憶部（例えば、図２、図３の係数記憶部５４）に記憶する（例えば、図１２のステップＳ１２４の処理）ステップを含む。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る画像処理装置１０の構成例を示すブロック図である。この画像処理装置１０は、例えば、MPEG（Motion Picture Expert Group）などの所定の圧縮符号化方式により圧縮符号化された画像を復号した画像に基づいて、ブロックノイズなどのノイズを除去し、かつ解像度感の高い画像を生成するようになされている。
図１の画像処理装置１０は、係数生成処理部３１と画素値生成処理部３２とを有する構成とされている。
係数生成処理部３１は、入力された係数生成用画像のデータに基づいて、画素値生成処理部３２の処理において用いられる係数を生成するようになされている。ここで、係数生成用画像は、圧縮符号化されていない画像とされる。
画素値生成処理部３２は、入力された処理対象画像のデータに対して、ブロックノイズなどのノイズを除去するための平滑化の処理を行い、その平滑化された画像を構成する各画素に対して係数生成処理部３１により生成された係数を用いた演算を行うことにより、ブロックノイズなどのノイズが除去され、かつ解像度感の高い画像の画素値を生成するようになされている。
このように画素値が生成された画素により構成される画像のデータが、処理画像のデータとして、画像処理装置１０から出力されることになる。
なお、係数生成処理部３１と画素値生成処理部３２は、必ずしも一体化されて構成される必要はなく、例えば、それぞれが別の装置として構成されるようにしてもよい。
図２は、係数生成処理部３１の詳細な構成例を示すブロック図である。同図に示されるように、係数生成処理部３１には、圧縮符号化されていない画像である原画像のデータが入力される。ここで、原画像は、図１の係数生成用画像に対応するものである。入力された原画像は、エンコーダ・デコーダ５１とクラス分類係数生成部５３に供給される。
エンコーダ・デコーダ５１は、所定の圧縮符号化方式により原画像を圧縮符号化し、さらにその圧縮符号化した画像を復号して得られる画像のデータを生成する。この例では、エンコーダ・デコーダ５１がMPEG方式で原画像を圧縮符号化し、さらに復号するものとする。圧縮符号化されて復号された画像には、例えば、MPEGによる圧縮符号化および復号の処理により生じたブロックノイズなどのノイズが含まれる。
平滑化処理部５２は、エンコーダ・デコーダ５１から出力されたMPEG画像（圧縮符号化されて復号された画像）のデータに対して後述するように平滑化の処理を行う。そして、平滑化処理部５２は、平滑化されたMPEG画像のデータと、平滑化の処理において用いられたタップのタップ長を表すコードをクラス分類係数生成部５３に供給するようになされている。
クラス分類係数生成部５３は、平滑化されたMPEG画像の個々の画素に対してADRC(Adaptive Dynamic Range Coding)処理を行ってADRCコードを算出し、平滑化処理部５２から供給されたタップ長のコードとADRCコードとに基づいて、個々の画素に対応するクラスコードを特定する。
また、クラス分類係数生成部５３は、平滑化されたMPEG画像の個々の画素を注目画素として、注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式をクラスコード毎に生成する。
そして、クラス分類係数生成部５３は、上述した行列式の逆行列を演算して、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるための係数を算出する。この係数は、上述したクラスコード毎に算出されることになる。
クラス分類係数生成部５３により算出（生成）された係数は、クラスコードに対応付けられて係数記憶部５４に記憶されることになる。
図３は、画素値生成処理部３２の詳細な構成例を示すブロック図である。同図に示されるように、画素値生成処理部３２には、MPEG画像（圧縮符号化されて復号された画像）のデータが入力される。ここで、MPEG画像は、図１の処理対象画像に対応するものであって、例えば、MPEGによる圧縮符号化および復号の処理により生じたブロックノイズなどのノイズが含まれる画像とされる。
MPEG画像は、平滑化処理部７２に入力され、後述するように平滑化の処理が施される。これにより、平滑化されたMPEG画像のデータが出力されることになる。平滑化されたMPEG画像は、ブロックノイズなどのノイズが除去されているが、一方で平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われ、画像の解像度感が薄れた画像となる。
また、平滑化処理部７２は、平滑化されたMPEG画像のデータと、平滑化の処理において用いられたタップのタップ長を表すコードをクラス分類輝度値演算部７３に供給するようになされている。
なお、画素値生成処理部３２の平滑化処理部７２と係数生成処理部３１の平滑化処理部５２とが同一の機能ブロックとして構成されるようにしてもよい。
クラス分類輝度値演算部７３は、平滑化処理部７２から供給された平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードを算出し、平滑化処理部７２から供給されたタップ長のコードとADRCコードとに基づいて、個々の画素に対応するクラスコードを特定する。
そしてクラス分類輝度値演算部７３は、当該注目画素のクラスコードに対応する係数を係数記憶部５４から読み出して、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値にそれらの係数を乗じることで、処理画像の各画素の画素値を演算していくようになされている。
次に、本発明の画像処理装置１０によるクラス別係数生成処理について、図４のフローチャートを参照して説明する。この処理は、例えば、係数生成用画像（原画像）のデータが入力されたとき、係数生成処理部３１により実行される。
ステップＳ１１において、平滑化処理部５２は、注目画素の位置を設定する。ここで、注目画素の位置は、エンコーダ・デコーダ５１により原画像が圧縮符号化され、さらにその圧縮符号化された画像を復号して得られるMPEG画像の画面左上に設定される。
ステップＳ１２において、平滑化処理部５２は、MPEG画像の平滑化の処理に用いるタップサイズに対応するコードCls_aを「０」に設定し、タップ内の画素のダイナミックレンジの閾値DRthと、タップサイズの最大値Tmaxを設定する。
ステップＳ１３において、平滑化処理部５２は、図５を参照して後述する平滑化処理を実行する。
ここで、図５のフローチャートを参照して、図４のステップＳ１３の平滑化処理の詳細について説明する。
ステップＳ３１において、平滑化処理部５２は、タップサイズを表す変数Taを初期化する。ここでは、例えば、注目画素を中心とする９（＝３×３）個の画素により構成されるタップのサイズが初期値として設定される。ここで初期化されるタップサイズは、後述するように注目画素の値（輝度値）を平滑化するために用いられるタップのタップサイズである。
ステップＳ３２において、平滑化処理部５２は、タップサイズTaが最大値Tmaxを超えているか否かを判定し、タップサイズTaが最大値Tmaxを超えていないと判定された場合、処理は、ステップＳ３３に進む。
ステップＳ３３において、平滑化処理部５２は、注目画素を中心とするタップサイズTaのタップ内の画素値のダイナミックレンジDR_1を算出する。いまの場合、注目画素を中心とする９個の画素により構成されるタップ内の各画素の画素値のうちの最大のものと、最小のものに基づいてダイナミックレンジDR_1が算出される。
ステップＳ３４において、平滑化処理部５２は、ダイナミックレンジDR_1は、閾値DRth未満か否かを判定し、ダイナミックレンジDR_1が閾値DRth未満であると判定された場合、処理は、ステップＳ３５に進む。
ステップＳ３５において、平滑化処理部５２は、コードCls_aをインクリメントし、ステップＳ３６において、タップサイズTaを拡大する。
このとき、例えば、図６に示されるように、タップのサイズが拡大される。同図において、図中黒い正方形で示される位置の画素が注目画素となる。この例では、注目画素を中心とする９（＝３×３）個の画素により構成される矩形のタップから、注目画素を中心とする４９（＝７×７）個の画素により構成される矩形のタップへとタップのサイズが拡大される。なお、平滑化処理で用いられるタップは矩形のものに限られるものではなく、また、タップサイズも９（＝３×３）個の画素、または４９（＝７×７）個の画素に限られるものではない。
このように、タップのサイズが拡大されることにより、タップ内の画素の数が増えるのでダイナミックレンジDR_1の値が大きくなる可能性が高くなる。
そして、処理は、ステップＳ３２に戻り、ステップＳ３２乃至ステップＳ３６の処理が繰り返し実行されることになる。すなわち、タップサイズが最大値を超えるか、またはタップ内の画素の値のダイナミックレンジが閾値以上となるまでタップサイズが拡大されていくことになる。
ステップＳ３２において、タップサイズTaが最大値Tmaxを超えていると判定された場合、または、ステップＳ３４において、ダイナミックレンジDR_1が閾値DRth未満ではないと判定された場合、処理は、ステップＳ３７に進む。
ステップＳ３７において、平滑化処理部５２は、注目画素の位置と、コードCls_aとを対応付けて内部のメモリなどに記憶する。なお、コードCls_aは、平滑化処理で用いられたタップサイズ（タップ長）を表すコードとなり、例えば、２ビットで構成されるコードとして記憶されるものとする。
ステップＳ３８において、平滑化処理部５２は、注目画素の画素値をタップサイズTaのタップ内の画素値の平均値とする。すなわち、この処理により注目画素の画素値が平滑化されたことになる。
なお、従来より、注目画素に対して大きな重みがつくガウシアン等のフィルタにより画素値を平滑化する方式が採用されているが、従来の方式では、例えば、注目画素にノイズ成分が重畳されている場合、平滑化してもノイズ成分が消えないことがある。そこで、本発明においては、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしている。
ステップＳ３９において、平滑化処理部５２は、注目画素の位置をラスター方向に移動させる。このとき、例えば、画素の位置が画面の水平方向右側に画素１個分移動させられる。
ステップＳ４０において、平滑化処理部５２は、注目画素の位置は水平方向の画枠外か否かを判定し、水平方向の画枠内であると判定された場合、処理は、ステップＳ３１に戻り、新たな注目画素に対してステップＳ３１乃至ステップＳ３９の処理が繰り返し実行される。
一方、ステップＳ４０において、注目画素の位置は水平方向の画枠外であると判定された場合、処理は、ステップＳ４１に進み、平滑化処理部５２は、注目画素の位置を画面の垂直方向の１ライン下左側に移動させる。
ステップＳ４２において、平滑化処理部５２は、注目画素の位置は垂直方向の画枠外か否かを判定し、垂直方向の画枠内であると判定された場合、処理は、ステップＳ３１に戻り、新たな注目画素に対してステップＳ３１乃至ステップＳ４１の処理が繰り返し実行される。
ステップＳ４２において、注目画素の位置は垂直方向の画枠外であると判定された場合、平滑化処理は終了する。
図４に戻って、ステップＳ１２の処理の後、ステップＳ１４において、平滑化処理部５２は、平滑化されたMPEG画像のデータを出力する。このとき出力されるデータが、図２の平滑化されたMPEG画像に対応している。
ステップＳ１５において、平滑化処理部５２は、ステップＳ３７の処理で記憶されている、コードCls_aを注目画素の位置を表す情報に対応付けて出力する。このとき出力されるコードCls_aのそれぞれが、図２のタップ長のコードに対応している。
ステップＳ１６において、クラス分類係数生成部５３は、図７を参照して後述する係数算出処理を実行する。
ここで、図７のフローチャートを参照して、図４のステップＳ１６の係数算出処理の詳細について説明する。
ステップＳ６１において、クラス分類係数生成部５３は、ステップＳ１４の処理で出力された平滑化されたMPEG画像の中で注目画素の位置を設定する。例えば、最初の注目画素として、平滑化されたMPEG画像の画面左上の画素が注目画素として設定される。
ステップＳ６２において、クラス分類係数生成部５３は、図８を参照して後述するクラスコード特定処理を実行する。これにより、平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードが算出され、ステップＳ１５の処理で出力されたコードCls_a（タップ長のコード）とADRCコードとに基づいて、個々の画素に対応するクラスコードが特定される。
ステップＳ６３において、クラス分類係数生成部５３は、図１１を参照して後述するクラスコード別行列式生成処理を実行する。これにより、平滑化されたMPEG画像の個々の画素を注目画素として、注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式がクラスコード毎に生成される。
ステップＳ６４において、クラス分類係数生成部５３は、次の画素があるか否かを判定し、次の画素があると判定された場合、処理は、ステップＳ６１に戻る。そして、ステップＳ６１では、次の画素が注目画素として設定されることになる。このように、平滑化されたMPEG画像において注目画素の位置が、例えば、ラスター順に移動していく。
さらに、上述したように、ステップＳ６２でそれぞれの注目画素のクラスコードが特定され、それぞれの注目画素を中心とする予測タップの画素の画素値と、原画像において注目画素に対応する画素の画素値との関係を表す行列式が生成されて、クラスコード別の行列式としてステップＳ６３で足しこまれていくことになる。
ステップＳ６４において、次の画素がないと判定された場合、すなわち、平滑化されたMPEG画像を構成する全ての画素が、それぞれ注目画素とされてステップＳ６１乃至Ｓ６３の処理が実行された後、処理は、ステップＳ６５に進む。
ステップＳ６５において、クラス分類係数生成部５３は、図１２を参照して後述する行列式演算処理を実行する。これにより、上述した行列式の逆行列が演算され、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるための係数がクラスコード毎に算出されるとともに、算出された係数が、クラスコードに対応付けられて係数記憶部５４に記憶される。
次に、図８のフローチャートを参照して、図７のステップＳ６２のクラスコード特定処理の詳細について説明する。
ステップＳ８１において、クラス分類係数生成部５３は、ステップＳ６１の処理で設定された注目画素を中心とするクラスタップを抽出する。このとき、例えば、図９に示されるように、平滑化されたMPEG画像において、注目画素を中心とする９個の画素で構成される十字型のタップが抽出される。クラスタップは、注目画素を中心とする複数の画素の値の変化の特徴を、後述するようにクラス分類するために用いられるタップである。
なお、図９の例では、クラスタップを構成する個々の画素を区別できるように、各画素の位置に「１」乃至「９」の番号が付されており、いまの場合、番号が「５」の位置の画素が注目画素となる。
ステップＳ８２において、クラス分類係数生成部５３は、この後実行されるADRCの処理において用いられる閾値dimthを演算する。閾値dimthは、式（１）により演算される。
dimth= Dr_c/2 + Min_c ・・・（１）
ここで、Dr_cは、ステップＳ８１で抽出されたクラスタップ内の画素の値のダイナミックレンジを表し、Min_cは、ステップＳ８１で抽出されたクラスタップ内の画素の値のうち、最小のものを表すこととする。
ステップＳ８３において、クラス分類係数生成部５３は、ステップＳ８２の処理の結果得られた閾値を用いて、ステップＳ８１で抽出されたクラスタップを構成する画素について後述するように、ADRC処理を行いコードCls_bを特定する。
このとき、例えば、図１０に示されるような処理が行われ、コードCls_bが特定される。図１０は、横軸が画素位置を表し、縦軸が画素値を表すものとされ、例えば、図９に示されるクラスタップの個々の画素の値を波形１０１として表すグラフである。同図に示される四角形で囲まれた「１」乃至「９」の数字は、それぞれ図９の「１」乃至「９」の番号が付された位置の画素の値をプロットした点を示すものとする。
図１０の例では、番号「９」に対応する画素の値が最大（max）であり、番号「７」に対応する画素の値が最小（min）である。そして、図中の点線で示される位置がステップＳ８２の処理で求めた閾値dimthとなる。なお、いまの場合、番号「７」に対応する画素の値が最小（min）であるので、この値が式（１）のMin_cに対応する。
さらに、ADRC処理では、個々の画素値が閾値dimthを超えているか否かが判定され、画素値が閾値dimthを超えている場合、その画素にビットコード「１」が設定され、画素値が閾値dimthを超えていない場合、その画素にビットコード「０」が設定されるようになされている。
図１０の例において、番号「１」乃至「９」に対応する画素のそれぞれのビットコードを連続して記述すると、９ビットのコード「１１１１１０００１」となる。ステップＳ８４では、この９ビットのコードがコードCls_bとして特定される。このように、コードCls_bは、クラスタップ内の画素値の変化の波形の特徴を表すコードとなる。
図８に戻って、ステップＳ８４において、クラス分類係数生成部５３は、ステップＳ１５の処理で出力されたコードCls_aであって、ステップＳ６１の処理で設定されているいまの注目画素に対応するコードCls_aを取得し、コードCls_aと、ステップＳ８３で特定されたコードCls_bからクラスコードCls_cを生成する。
例えば、コードCls_aが「０１」であり、コードCls_bが「１１１１１０００１」であった場合、クラスコードCls_cは、１１ビットのコード「０１１１１１１０００１」とされる。
ステップＳ８５において、クラス分類係数生成部５３は、クラスコードCls_cを注目画素に対応するクラスコードとして設定する。
このようにして、クラスコードが特定される。このようにすることで、クラスコードは、平滑化されたMPEG画像内の注目画素のそれぞれについて、平滑化処理で用いられたタップ長と、クラスタップ内の画素値の変化の波形の特徴とを表すコードとなり、11ビットで構成される場合、最大で２０４８（=２11）通りにクラス分類されることになる。
次に、図１１のフローチャートを参照して、図７のステップＳ６３のクラスコード別行列式生成処理の詳細について説明する。
ステップＳ１０１において、クラス分類係数生成部５３は、平滑化されたMPEG画像においてステップＳ６１の処理で設定された注目画素を中心とする予測タップを抽出する。予測タップは、平滑化されたMPEG画像の画素により構成されるタップであって、処理画像の画素を生成するために用いられるタップである。
このとき、例えば、図９を参照して上述したような、注目画素を中心とする９個の画素で構成される十字型のタップが予測タップとして抽出されるようにしてもよいし、また、図９とは異なるタップが予測タップとして抽出されるようにしてもよい。すなわち、予測タップは、クラスタップと同じであってもよいし、クラスタップとは異なるものであってもよい。なお、予測タップがクラスタップとは異なる場合であっても、予測タップの画素数がクラスタップの画素数と等しく設定されることが好ましい。
また、ステップＳ１０１において、クラス分類係数生成部５３は、予測タップ内の画素の輝度値Ytd[m]を保持する。予測タップの画素数（タップ長）がLdである場合、m＝（0,1,・・・Ld）となり、輝度値Ytd[0]、Ytd[2]、・・・Ytd[Ld]がそれぞれ保持される。ここで、[0]乃至[Ld]は、予測タップ内の画素の位置を表す番号となる。
ステップＳ１０２において、クラス分類係数生成部５３は、原画像において、注目画素に対応する画素を抽出し、その抽出した画素の輝度値Ytを保持する。
ステップＳ１０３において、クラス分類係数生成部５３は、輝度値Ytd[m]と輝度値Ytとの関係を表す行列式を生成する。このとき、例えば、式（２）に示されるような行列式が生成される。
Figure 0004835949
ここで［cls］は、個々のクラスコードを表すものとする。
ステップＳ１０４において、クラス分類係数生成部５３は、ステップＳ１０３の処理で生成された行列式を、ステップＳ６２の処理で特定されたクラスコードCls_cに対応付けられた行列式として保持する。
なお、図１１のクラスコード別行列式生成処理は、注目画素毎に実行されることになるので、平滑化されたMPEG画像の画素のそれぞれについて式（２）のような行列式が生成されることになる。例えば、複数の注目画素において同じクラスコードが設定されている場合、１つのクラスコードに対応して複数の行列式が生成されることになるが、この場合、ステップＳ１０４の処理で、行列式の足しこみが行われることになる。
すなわち、同一のクラスコードを有する注目画素に対応して得られた輝度値Ytd[m]と輝度値Ytは、式（２）の行列式におけるΣにより足しこまれていくことになり、同一のクラスコードを有する注目画素の数だけ行列式が足しこまれていくことになる。
次に、図１２のフローチャートを参照して、図７のステップＳ６５の行列式演算処理の詳細について説明する。この処理は、上述した式（２）における係数coef［0］［cls］乃至coef［Ld］［cls］を求めるための処理である。すなわち、クラスコード毎に、平滑化されたMPEG画像から抽出された複数の予測タップの画素の輝度値と原画像の画素の輝度値を用いて、二乗誤差を最小にする係数値が決定される。これは、いわゆる、最小二乗法による解法である。
ステップＳ１２１において、クラス分類係数生成部５３は、行列式演算処理の処理対象のクラスコード、すなわちこれから係数を算出すべきクラスコードを設定する。なお、後述するステップＳ１２２乃至ステップＳ１２４の処理は、１のクラスコードに対して１回ずつ実行されていくことになる。
ステップＳ１２２において、クラス分類係数生成部５３は、逆行列を演算する。このとき、式（２）に示される最も左の行列の逆行列が演算される。
ステップＳ１２３において、クラス分類係数生成部５３は、式（２）の最も右側の行列とステップＳ１２２の処理で演算された逆行列との積を演算してクラスコードに対応する係数を算出する。
例えば、ステップＳ１２１で設定されたクラスコードが「x（実際には、１１ビットのビット列で表されるコード）」であった場合、係数coef［0］［x］乃至coef［Ld］［x］がステップＳ１２３でそれぞれ算出されることになる。
ステップＳ１２４において、クラス分類係数生成部５３は、ステップＳ１２３で算出された係数をクラスコードに対応付けて係数記憶部５４に記憶する。
ステップＳ１２５において、クラス分類係数生成部５３は、次のクラスコードがあるか否かを判定し、次のクラスコードがあると判定された場合、処理は、ステップＳ１２１に戻り、あらたなクラスコードが設定されて、ステップＳ１２１乃至ステップＳ１２５の処理が繰り返し実行される。
ステップＳ１２５において、次のクラスコードがないと判定された場合、すなわち、全てのクラスコードについて式（２）における係数coef［0］［cls］乃至coef［Ld］［cls］が求められた場合、行列式演算処理は終了する。また、これにより、図７の係数算出処理も終了することになるので、図４のクラス別係数生成処理が終了したことになる。
このようにして、クラスコード毎に係数が算出されて記憶される。この係数は、式（２）に基づいて得られる係数なので、平滑化されたMPEG画像の注目画素を中心とする予測タップの画素の画素値に乗じられる係数であって、原画像において注目画素に対応する画素の画素値を求めるために最適な係数となる。
また、本発明によれば、平滑化されたMPEG画像内の注目画素のそれぞれが、平滑化処理で用いられたタップ長と、クラスタップ内の画素値の変化の波形の特徴とを表すコードとからなるクラスコードによりクラス分類される。
平滑化処理で用いられるタップ長（タップのサイズ）は、図６を参照して上述したように、MPEG画像から抽出された注目画素およびその周辺の画素の値のダイナミックレンジにより変化するようになされているので、MPEG画像に含まれていたノイズの強度に対応するクラス分類を行うことができる。さらに、クラスタップ内の画素値の変化の波形の特徴は、図１０を参照して上述したようにコード化されるので、注目画素およびその周辺の画素の値の変化の特徴を詳細に特定してクラス分類を行うことができる。
すなわち、本発明によれば、圧縮符号化されて復号された画像のノイズを平滑化により除去することを前提とし、その平滑化された画像の画素の値と原画像の画素の値との対応付けを行うにあたり最適なクラス分類を行うことが可能となる。
ここまで、図４乃至図１２を参照して、図１の係数生成処理部３１の処理について詳細に説明した。例えば、画像処理装置１０に、予め複数の係数生成用画像を入力し、原画像において注目画素に対応する画素の画素値を求めるために最適な係数を係数記憶部５４に記憶させておくようにするとよい。
係数生成処理部３１によりクラスコード毎に係数が算出されて記憶された後は、例えば、任意のMPEG画像を処理対象画像として入力し、画素値生成処理部３２の処理により、ブロックノイズなどのノイズが除去され、かつ解像度感の高い画像の画素値を生成して、それらの画素により構成される処理画像を出力させることができる。
次に、図１３のフローチャートを参照して、本発明の画像処理装置１０による画素値生成処理について説明する。この処理は、例えば、処理対象画像（MPEG画像）のデータが入力されたとき、画素値生成処理部３２により実行される。
ステップＳ１４１において、平滑化処理部７２は、注目画素の位置を処理対象画像の画面左上に設定する。
ステップＳ１４２において、平滑化処理部７２は、処理対象画像の平滑化の処理に用いるタップサイズに対応するコードCls_aを「０」に設定し、タップ内の画素のダイナミックレンジの閾値DRthと、タップサイズの最大値Tmaxを設定する。
ステップＳ１４３において、平滑化処理部７２は、平滑化処理を実行する。この処理は、図５を参照して上述した処理と同様なので詳細な説明は省略するが、これにより、平滑化されたMPEG画像のデータが生成されることになる。上述したように、平滑化されたMPEG画像は、ブロックノイズなどのノイズが除去されているが、一方で平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われ、画像の解像度感が薄れた画像となる。また、平滑化の処理において用いられたタップのタップ長を表すコードも生成されることになる。
なお、図５を参照して上述した場合と同様に、本発明の平滑化処理においては、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしている。注目画素に対して大きな重みがつくガウシアン等のフィルタなど従来の方式では、例えば、注目画素にノイズ成分が重畳されている場合、平滑化してもノイズ成分が消えないことがあるからである。
ステップＳ１４４において、平滑化処理部７２は、ステップＳ１４３の処理により生成された平滑化されたMPEG画像のデータを出力する。このとき出力されるデータが、図３の平滑化されたMPEG画像に対応している。
ステップＳ１４５において、平滑化処理部７２は、図５のステップＳ３７の処理で記憶されている、コードCls_aを注目画素の位置を表す情報に対応付けて出力する。このとき出力されるコードCls_aのそれぞれが、図３のタップ長のコードに対応している。
ここまで、平滑化処理部７２による処理が行われ、この後、クラス分類輝度値演算部７３による処理が行われる。
ステップＳ１４６において、クラス分類輝度値演算部７３は、ステップＳ１４４の処理で出力された平滑化されたMPEG画像の中で注目画素の位置を設定する。例えば、最初の注目画素として、平滑化されたMPEG画像の画面左上の画素が注目画素として設定される。
ステップＳ１４７において、クラス分類輝度値演算部７３は、クラスコード特定処理を実行する。この処理は、図８を参照して上述した処理と同様なので詳細な説明は省略するが、これにより、平滑化されたMPEG画像の個々の画素に対してADRC処理を行ってADRCコードが算出され、ステップＳ１４５の処理で出力されたコードCls_a（タップ長のコード）とADRCコード（コードCls_b）とに基づいて、個々の画素に対応するクラスコードCls_cが特定される。
ステップＳ１４８において、クラス分類輝度値演算部７３は、ステップＳ１４７の処理で特定されたクラスコードに対応する係数を、係数記憶部５４から読み出す。
ステップＳ１４９において、クラス分類輝度値演算部７３は、図１４を参照して後述する画素値演算処理を実行する。
ここで、図１４のフローチャートを参照して、図１３のステップＳ１４９の画素値演算処理の詳細について説明する。
ステップＳ１７１において、クラス分類輝度値演算部７３は、ステップＳ１４６の処理で設定された注目画素を中心とする予測タップを抽出する。このとき、例えば、ステップＳ１４７のクラスコード特定処理で用いられたクラスタップと同じタップが予測タップとして用いられるようにしてもよいし、クラスタップとは異なるタップが予測タップとして用いられるようにしてもよい。
また、ステップＳ１７１において、クラス分類輝度値演算部７３は、予測タップ内の画素の輝度値Ytp［m］を保持する。予測タップの画素数（タップ長）がLdである場合、m＝（0,1,・・・Ld）となり、輝度値Ytp[0]、Ytd[2]、・・・Ytp[Ld]がそれぞれ保持される。ここで、[0]乃至[Ld]は、予測タップ内の画素の位置を表す番号となる。
ステップＳ１７２において、クラス分類輝度値演算部７３は、輝度値Ytp［m］に、ステップＳ１４８で読み出された係数を乗じて処理画像における注目画素の輝度値Ymを求める。
このとき、式（３）で示される線形一次演算が実行されることになる。
Figure 0004835949
ここで、変数ｉは、予測タップ内の画素の位置を表す番号に対応するものとなる。
このようにして演算された輝度値Ymが処理画像における注目画素の値とされていく。
図１３に戻って、ステップＳ１４９の処理の後、処理は、ステップＳ１５０に進み、クラス分類輝度値演算部７３は、次の画素があるか否かを判定し、次の画素があると判定された場合、処理は、ステップＳ１４６に戻る。そして、ステップＳ１４６では、次の画素が注目画素として設定されることになる。このように、平滑化されたMPEG画像において注目画素の位置が、例えば、ラスター順に移動していく。
ステップＳ１５０において、次の画素がないと判定された場合、すなわち、平滑化されたMPEG画像を構成する全ての画素が、それぞれ注目画素とされてステップＳ１４７乃至Ｓ１４９の処理が実行された後、処理は、ステップＳ１５１に進む。
ステップＳ１５１において、クラス分類輝度値演算部７３は、ステップＳ１７２の処理で輝度値が演算された画素により構成される画像のデータを、処理画像のデータとして出力する。このとき出力される処理画像のデータが図３の処理画像に対応している。処理画像は、上述したように、平滑化されたMPEG画像の注目画素の値（輝度値）のそれぞれが、式（３）により得られる値に置き換えられたものとなる。
このようにして処理画像のデータが出力される。処理画像は、処理対象画像（MPEG画像）が、平滑化処理部７２により平滑化され、平滑化されたMPEG画像に対してさらに、クラス分類輝度値演算部７３による画素値生成処理が施されて生成される画像となる。従って、圧縮符号化された画像が復号された場合に生じるブロックノイズなどのノイズが除去され、かつ解像度感の高い画像を生成することができる。
以上においては、MPEG方式により圧縮符号化されて復号された画像（MPEG画像）を処理する例について説明したが、MPEG方式以外の方式により圧縮符号化されて復号された画像に対しても本発明を適用することができる。
例えば、H264/AVCのデブロッキングフィルタの処理は、デコードの処理に伴って実行されるのでH264/AVC方式でのエンコード時のブロック化の情報を用いることができるため、ブロック境界を特定しやすいが、他の方式（例えば、MPEG）によりエンコードされた画像に対してはこのような処理を実行してもノイズを低減させる効果が期待できない。また、例えば、エンコードされた画像とは異なるアスペクト比のデコード画像を表示する場合、仮にエンコード時のブロック化の情報を用いることができたとしても、その情報に基づいてブロック境界を特定することは難しい。
本発明によれば、例えば、画像のアスペクト比の如何によらず、また、圧縮符号化の方式の如何によらず、美しい画像を生成することが可能となる。
また、ブロック境界を特定せずに画面全体を平滑化してノイズ感を低減させることも可能であるが、この場合、平滑化されたことにより画像のディテール感、解像度感が薄れてしまい、画面全体が呆けたようになり鮮鋭感が失われてしまう。すなわち、本来ブロックノイズではない、画像のディテールなどによる画素の輝度の振幅までが誤って平滑化されてしまい、画像の解像度感が薄れてしまう。
本発明によれば、係数生成用画像（原画像）を処理して係数記憶部５４に記憶されている係数を用いて処理画像の画素の輝度値が演算されるようにしたので、原画像の特徴をより精度高く再現でき、平滑化された後も画像のディテール感が損なわれないようにすることが可能となる。
さらに、従来のノイズ低減のためのフィルタ処理では、注目画素を中心とする複数の画素に対して係数が加重されるようにして注目画素の画素値を求めているが、注目画素自身がノイズを含んでいる場合、フィルタ処理後においても、そのノイズ成分が見えてしまう可能性が生じる。
本発明によれば、上述したように、タップ内の画素に重みを付けることなく、画素値の平均値を演算して平滑化することとしているので、注目画素自身がノイズを含んでいる場合であっても、その影響を小さくすることができる。
図１５と図１６は、本発明の効果を説明するための画像の例を示す図である。図１５は、原画像がMPEG方式で圧縮符号化されて復号された画像１５０を示す図であり、図１６は、画像１５０を本発明の画像処理装置１０に処理対象画像として入力した場合に得られる処理画像の画像１７０を示す図である。
図１５において、画像１５０の図中右側のＸ字型の図形１９１を含んだ部分を拡大した図が領域１５１に示されている。領域１５１内の画像は、ブロックノイズが充分に視認可能となる程度に表示されている。
図１６においても、画像１７０の図中右側のＸ字型の図形１９１を含んだ部分を拡大した図が領域１７１に示されている。なお、図１５の領域１５１に表示されているオブジェクト（この例では、建物の一部）と図１６の領域１７１に表示されているオブジェクトは同じものである。領域１７１内の画像は、ブロックノイズがほとんど視認できない程度に除去されて表示されている。
また、画像１５０と画像１７０とを見比べた場合、画像１７０には充分なディテール感があり、解像度感が損なわれていない。
このように、同じ原画像から得られた画像１５０と画像１７０において、画像１７０は、よりノイズが少なく感じられるとともに、解像度感が損なわれた印象を受けることもない。
このように、本発明によれば、ノイズ感を低減させながら、解像度感の高い画像を生成することができる。
ところで、以上においては、平滑化により、主にブロックノイズを除去すると説明したが、除去されるノイズは、ブロックノイズに限られるものではない。例えば、平滑化によりホワイトノイズが除去されるようにすることも、勿論可能である。
図１７と図１８は、本発明の効果を説明するための別の画像の例を示す図である。図１７は、原画像に何らかの処理が施されて生成された画像であって、ホワイトノイズが含まれるようになった画像２００を示す図であり、図１８は、画像２００を本発明の画像処理装置１０に処理対象画像として入力した場合に得られる処理画像の画像２１０を示す図である。
図１７において、画像２００の図中上側のＸ字型の図形２２１を含んだ部分を拡大した図が領域２０１に示されている。領域２０１内の画像は、ホワイトノイズが充分に視認可能となる程度に表示されている。
図１８においても、画像２１０の図中上側のＸ字型の図形２２１を含んだ部分を拡大した図が領域２１１に示されている。なお、図１７の領域２０１に表示されているオブジェクトと図１８の領域２１１に表示されているオブジェクトは同じものである。領域２１１内の画像は、ホワイトノイズがほとんど視認できない程度に除去されて表示されている。
また、画像２００と画像２１０とを見比べた場合、画像２１０には充分なディテール感があり、解像度感が損なわれていない。
このように、同じ原画像から得られた画像２００と画像２１０において、画像２１０は、よりノイズが少なく感じられるとともに、解像度感が損なわれた印象を受けることもない。
このように、本発明によれば、ホワイトノイズが含まれる画像であっても、やはりノイズ感を低減させながら、解像度感の高い画像を生成することができる。
ただし、本発明の画像処理装置１０によりホワイトノイズを除去させる場合、係数生成処理部３１において、デコーダ・エンコーダ５１（またはそれに代わる機能ブロック）がホワイトノイズを含む画像を生成し、そのホワイトノイズを含む画像を平滑化処理部５２で平滑化してクラス分類係数生成部５３の処理を実行させる必要がある。すなわち、本発明の画像処理装置１０によりホワイトノイズを除去させる場合、ブロックノイズの除去に適した係数とは異なる係数を予め求めて係数記憶部５４に記憶させておく必要がある。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図１９において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 図１の係数生成処理部の詳細な構成例を示すブロック図である。 図１の画素値生成処理部の詳細な構成例を示すブロック図である。 クラス別係数生成処理を説明するフローチャートである。 平滑化処理を説明するフローチャートである。 平滑化処理において用いられるタップの例を示す図である。 係数算出処理を説明するフローチャートである。 クラスコード特定処理を説明するフローチャートである。 クラスタップまたは予測タップの例を示す図である。 ADRCの処理により生成されるコードを説明する図である。 クラスコード別行列式生成処理を説明するフローチャートである。 行列式演算処理を説明するフローチャートである。 画素値生成処理を説明するフローチャートである。 画素値演算処理を説明するフローチャートである。 原画像がMPEG方式で圧縮符号化されて復号された画像を示す図である。 図１５の画像を本発明の画像処理装置に処理対象画像として入力した場合に得られる処理画像を示す図である。 原画像が処理されてホワイトノイズが含まれるようになった画像を示す図である。 図１７の画像を本発明の画像処理装置に処理対象画像として入力した場合に得られる処理画像を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０ 画像処理装置， ３１ 係数生成処理部， ３２ 画素値生成処理部， ５１ エンコーダ・デコーダ， ５２ 平滑化処理部， ５３ クラス分類係数生成部， ５４ 係数記憶部， ７２ 平滑化処理部， ７３ クラス分類輝度値演算部， ７０１ CPU， ７１１ リムーバブルメディア

Claims (15)

  1. 入力画像を処理して、処理画像を生成する画像処理装置であって、
    前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
    前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算する画素値演算手段と
    を備える画像処理装置。
  2. 前記平滑化手段は、
    前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定する
    請求項１に記載の画像処理。
  3. 前記平滑化手段は、
    前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記処理対象画像を平滑化する
    請求項１に記載の画像処理装置。
  4. 前記クラスコード決定手段は、
    前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成する
    請求項１に記載の画像処理装置。
  5. 前記クラスコード決定手段は、
    前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行う
    請求項４に記載の画像処理装置。
  6. 入力画像を処理して、処理画像を生成する画像処理装置の画像処理方法であって、
    前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、
    前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記タップ係数を乗じて処理画像の画素値を演算するステップ
    を含む画像処理方法。
  7. コンピュータを、
    入力画像を処理して、処理画像を生成する画像処理装置であって、
    前記入力画像である処理対象画像を、前記処理対象画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
    前記特定されたクラスコードに対応するタップ係数を記憶部から読み出して、前記処理対象画像が平滑化された画像から抽出された予測タップを構成するそれぞれの画素値に、前記係数を乗じて処理画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させる
    プログラム。
  8. 入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、
    原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
    前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、
    前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段と
    を備える学習装置。
  9. 前記平滑化手段は、
    前記平滑化タップを構成する画素値のダイナミックレンジに基づいて前記平滑化タップのサイズを決定する
    請求項８に記載の学習装置。
  10. 前記平滑化手段は、
    前記平滑化タップを構成する画素値のそれぞれに重みを付加することなく、前記平滑化タップを構成する画素値の平均値を計算し、前記平均値を前記注目画素の値とすることで前記復号画像を平滑化する
    請求項８に記載の学習装置。
  11. 前記クラスコード決定手段は、
    前記予測タップ内のそれぞれの画素についてADRC(Adaptive Dynamic Range Coding)を行うことにより前記画素値の変化の特徴に対応するコードを生成する
    請求項８に記載の学習装置。
  12. 前記クラスコード決定手段は、
    前記注目画素を中心とする、前記予測タップとは異なる複数の画素で構成されるクラスタップを抽出して前記クラスタップ内のそれぞれの画素についてADRCを行う
    請求項１１に記載の学習装置。
  13. 入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置の学習方法であって、
    原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化し、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定し、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出し、
    前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求め、
    前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するステップ
    を含む学習方法。
  14. コンピュータを、
    入力された画像を処理して処理画像を得るためのタップ係数を学習する学習装置であって、
    原画像を圧縮符号化し復号して得られる復号画像を、前記復号画像のそれぞれの注目画素を中心とする複数の画素により構成される可変サイズの平滑化タップを抽出して前記タップ内の画素値に基づいて平滑化する平滑化手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成されるクラスタップを抽出するクラスタップ抽出手段と、
    前記クラスタップ内のそれぞれの画素値の変化の特徴に対応するコードを生成し、前記平滑化タップのサイズと、前記画素値の変化の特徴に対応するコードとからなるクラスコードを決定するクラスコード決定手段と、
    前記平滑化された画像において、それぞれの注目画素を中心とする複数の画素により構成される予測タップを抽出する予測タップ抽出手段と、
    前記予測タップを用いた予測演算の結果と、前記注目画素に対応する原画像の画素値との誤差を最小にするタップ係数を前記クラスコード毎に求めるタップ係数算出手段と、
    前記求められたタップ係数を、前記クラスコード毎に記憶部に記憶するタップ係数記憶手段とを備える学習装置として機能させる
    プログラム。
  15. 請求項７または請求項１４に記載のプログラムが記録されている記録媒体。
JP2007330092A 2007-12-21 2007-12-21 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4835949B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007330092A JP4835949B2 (ja) 2007-12-21 2007-12-21 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
US12/257,494 US8340404B2 (en) 2007-12-21 2008-10-24 Image processing device and method, learning device and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330092A JP4835949B2 (ja) 2007-12-21 2007-12-21 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2009152968A JP2009152968A (ja) 2009-07-09
JP2009152968A5 JP2009152968A5 (ja) 2010-11-04
JP4835949B2 true JP4835949B2 (ja) 2011-12-14

Family

ID=40788700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330092A Expired - Fee Related JP4835949B2 (ja) 2007-12-21 2007-12-21 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US8340404B2 (ja)
JP (1) JP4835949B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4703759B2 (ja) * 2009-11-27 2011-06-15 株式会社東芝 画像処理装置および同装置における画像処理方法
JP2013239108A (ja) * 2012-05-17 2013-11-28 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム
CN104661023B (zh) * 2015-02-04 2018-03-09 天津大学 基于预失真和训练滤波器的图像或视频编码方法
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
EP3570543A4 (en) * 2017-01-12 2019-12-25 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP6841075B2 (ja) * 2017-02-17 2021-03-10 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499057A (en) * 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
US5406334A (en) * 1993-08-30 1995-04-11 Sony Corporation Apparatus and method for producing a zoomed image signal
JP3896635B2 (ja) * 1997-05-12 2007-03-22 ソニー株式会社 画像データ変換装置及び方法、予測係数生成装置及び方法
JP4552263B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
JP4310689B2 (ja) * 2003-11-27 2009-08-12 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4505729B2 (ja) * 2004-04-27 2010-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および記録媒体
US7750943B2 (en) * 2004-12-21 2010-07-06 Sony Corporation Image processing device that removes motion blur from an image and method of removing motion blur from an image
JP4085396B2 (ja) * 2005-11-29 2008-05-14 ソニー株式会社 学習装置及び学習方法
JP2008178075A (ja) * 2006-12-18 2008-07-31 Sony Corp 表示制御装置、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2009152968A (ja) 2009-07-09
US8340404B2 (en) 2012-12-25
US20090161947A1 (en) 2009-06-25

Similar Documents

Publication Publication Date Title
JP4835949B2 (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP5890520B2 (ja) 画像の輝度成分を用いて画像の色差成分を予測する方法及び予測装置
WO2002093935A1 (en) Image processing apparatus
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
KR100742798B1 (ko) 화상 데이터 처리 장치
JP2016226001A (ja) デコーダおよび復号方法
JP2008054267A (ja) 画像処理装置、画像符号化装置及び画像復号化装置
US11928843B2 (en) Signal processing apparatus and signal processing method
JP2002238054A (ja) 画像符号化・復号方法、画像符号化装置及び画像復号装置
JP2006340345A (ja) ビデオから抽出された画像を強調する方法
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP6065613B2 (ja) 動画像符号化装置
JP2004528791A (ja) インターフレーム符号化方法および装置
JP5800362B2 (ja) 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
KR101520624B1 (ko) 비트 맵 방식의 영상 인코딩/디코딩 방법 및 장치
JP2008153812A (ja) ノイズ除去装置
US9607359B2 (en) Electronic device, method, and computer program product
JP4449430B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP4331992B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，それらのプログラムおよびそれらのプログラム記録媒体
CN114556930A (zh) 自适应量化和死区调制
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2020150422A (ja) 動画像符号化装置、動画像復号装置及びプログラム
JPH10271497A (ja) 画像処理装置
JP4763413B2 (ja) 画像改善装置
JP4957572B2 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees