JP2012235407A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】符号化復号化を経た画像データに対して高画質化などの画像処理が良好に行われるようにする。
【解決手段】符号化処理部は、入力画像データに圧縮符号化処理を施して符号化データを得る。付加情報生成部は、入力画像データに関連した付加情報生成情報（入力画像データ、符号化データなど）に基づいて、付加情報を生成する。付加情報は、符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる有用な情報である。データ出力部は、符号化データおよび付加情報を対応付けて出力する。付加情報を符号化データと共に伝送するため、符号化復号化を経た画像データに対する画像処理においては、この付加情報を用いることで良好な処理が可能となる。
【選択図】図３

Description

本技術は、画像処理装置および画像処理方法に関する。特に、本技術は、画像データに予測符号化方式などの圧縮符号化処理を行って符号化データを得る画像処理装置等に関する。

入力画像データを符号化、復号化した後に、高画質化処理を行う場合、従来は符号化復号化処理と高画質化処理は独立に動作し、復号化処理から高画質化処理には画像データのみが受け渡される。このため、符号化復号化処理による影響が、高画質化処理に悪影響を与えることがあるという問題があった。

例えば、符号化復号化処理によって画像に劣化が生じた時、高画質化処理がその劣化を強調してしまう場合がある。この場合、劣化を強調しないように高画質化処理の効果を全体的に弱めるか、符号化復号化処理で生じる劣化を軽減するために圧縮率を下げる、すなわち、伝送レートを上げることが必要になっていた。また、符号化復号化処理によって画像の時空間解像度の特性が大きく変わってしまった時、高画質化処理の効果が十分に出ない場合がある。

例えば、特許文献１においては、復号化処理が持つ復号化処理用の付加情報を、後の高画質化処理で利用することにより、この問題を解決しようとしている。しかし、復号化処理用の付加情報の中にこの目的のために有用な情報があるとは限らず、有用な情報が無い場合にはこの目的の効果が得られないという問題があった。

特開２００１−２８５８８１号公報

本技術の目的は、符号化復号化を経た画像データに対して高画質化などの画像処理が良好に行われるようにすることにある。

本技術の概念は、
入力画像データに圧縮符号化処理を施して符号化データを得る符号化処理部と、
上記入力画像データに関連した付加情報生成情報に基づいて、上記符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報を生成する付加情報生成部と、
上記符号化処理部で得られた符号化データおよび上記付加情報生成部で生成された付加情報を対応付けて出力するデータ出力部と
を備える画像処理装置にある。

本技術において、符号化処理部により、入力画像データに圧縮符号化処理が行われて、符号化データが得られる。また、付加情報生成部により、入力画像データに関連した付加情報生成情報に基づいて、付加情報が生成される。この付加情報は、符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる。そして、データ出力部により、符号化処理部で得られた符号化データおよび付加情報生成部で生成された付加情報が対応付けて出力される。例えば、符号化データに付加情報を混合した混合データが出力される。

このように本技術においては、符号化復号化を経た画像データに対する画像処理に用いられる付加情報が符号化データと共に伝送される。そのため、符号化復号化を経た画像データに対する画像処理においては、この付加情報を用いることで良好な処理が可能となる。

なお、本技術において、例えば、符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、高画質化処理であり、付加情報生成部で生成される付加情報は、高画質化処理を行う際に用いられる情報とされてもよい。

例えば、高画質化処理は、鮮鋭感向上処理またはコントラスト補正処理であり、付加情報生成部は、付加情報として、圧縮符号化処理により高周波情報が失われているか階調情報が失われているかを示す情報を生成する、ようにされる。この場合、例えば、付加情報生成部は、付加情報として、入力画像データの空間アクティビティおよび符号化データに圧縮復号化処理が施されて得られる画像データの空間アクティビティの差分に関連した情報を生成する、ようにされる。

この場合、付加情報が圧縮符号化処理により高周波情報が失われていることを示すとき、高画質化処理として鮮鋭感向上処理が行われ、一方、付加情報が圧縮符号化処理により階調情報が失われていることを示すとき、高画質化処理としてコントラスト補正処理（スムージング処理）が行われる。符号化復号化を経た画像データに対し、付加情報が用いられることで、鮮鋭感向上処理あるいはコントラスト補正処理が良好に行われる。

また、例えば、高画質化処理は、ノイズ除去処理であり、付加情報生成部は、付加情報として、圧縮符号化処理により生じた劣化（ノイズ）の大きさを示す情報を生成する、ようにされる。この場合、例えば、付加情報生成部は、付加情報として、入力画像データおよび符号化データに圧縮復号化処理が施されて得られる画像データの差分絶対値の最大値の情報を生成する、ようにされる。この場合、符号化復号化を経た画像データに対し、付加情報が用いられることで、ノイズ除去処理が良好に行われる。

また、本技術において、例えば、符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、所定オブジェクトの領域を拡大する画像拡大処理であり、付加情報生成部で生成される付加情報は、入力画像データに基づいて所定オブジェクトの検出処理が行われて得られたこの所定オブジェクトの領域情報とされてもよい。符号化復号化を経た画像データに対し、付加情報が用いられることで、顔などの所定オブジェクト領域を拡大する画像拡大処理が良好に行われる。

本技術の他の概念は、
符号化データと該符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報とが混合された混合データから、上記符号化データおよび上記付加情報を分離する分離部と、
上記分離部で分離された符号化データに圧縮復号化処理を施して画像データを得る復号化処理部と、
上記復号化処理部で得られた画像データに対して、上記分離部で分離された付加情報を用いて所定の画像処理を行って出力画像データを得る画像処理部と
を備える画像処理装置にある。

本技術において、分離部により、混合データから符号化データおよび付加情報が分離される。ここで、付加情報は、符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いる情報である。所定の画像処理は、高画質化処理（鮮鋭感向上処理、コントラスト補正処理、ノイズ除去処理）、顔領域拡大処理などである。また、復号化処理部により、符号化データに圧縮復号化処理が施されて画像データが得られる。そして、画像処理部により、付加情報が用いられて、所定の画像処理が良好に行われる。

本技術によれば、符号化復号化を経た画像データに対して高画質化などの画像処理を良好に行うことができる。

本技術の第１の実施の形態としての画像伝送システムの構成例を示すブロック図である。 高画質化処理が鮮鋭感向上処理またはコントラスト補正処理である場合について説明するための図である。 送信側の画像処理装置を構成する付加情報生成部の構成例を示すブロック図である。 アクティビティ算出部におけるアクティビティの算出動作を説明するための図である。 受信側の画像処理装置を構成する高画質化処理部の構成例を示すブロック図である。 クラス分類適応処理におけるクラスタップおよび予測タップのパターン例を示す図である。 クラス分類適応処理で使用される予測係数セットの生成装置の構成例を示すブロック図である。 受信側の画像処理装置を構成する高画質化処理部の他の構成例を示すブロック図である。 受信側の画像処理装置を構成する高画質化処理部の他の構成例を示すブロック図である。 高画質化処理がノイズ除去処理である場合について説明するための図である。 送信側の画像処理装置を構成する付加情報生成部の他の構成例を示すブロック図である。 受信側の画像処理装置を構成する高画質化処理部の他の構成例を示すブロック図である。 本技術の第２の実施の形態としての画像伝送システムの構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［画像伝送システムの構成］
図１は、本技術の第１の実施の形態としての画像伝送システム１０の構成例を示している。この画像伝送システム１０は、送信側（記録側）の画像処理処置１００と、受信側（再生側）の画像処理装置２００とが、伝送路３００を介して、接続された構成となっている。伝送路３００には、ネットワーク等の通信路、光ディスクやメモリ等を記録媒体とする記録再生部などが含まれる。

画像処理装置１００は、符号化処理部１０１と、付加情報生成部１０２と、符号化データ・付加情報混合部１０３を有している。符号化データ・付加情報混合部１０３は、データ出力部を構成している。符号化処理部１０１は、入力画像データＡ１に、ＭＰＥＧ２等の符号化方式による圧縮符号化処理を行って符号化データＡ２を得る。この符号化データＡ２は、復号化処理に必要な付随情報（復号付加情報）を含んでいる。

復号付加情報として、例えば、以下に挙げるものがある。

（１）信号種類情報：コンポーネント信号の各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂのコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等）
（２）画像フォーマット情報：インターレース／プログレッシブの識別情報、フィールドまたはフレーム周波数（時間解像度情報）、水平画素数や垂直ライン数の画像サイズ情報（空間解像度情報）、４：３，１６：９等のアスペクトレシオ情報
（３）画質情報：伝送ビットレート（圧縮率）情報
（４）動きベクトル：水平と垂直の動き量情報

付加情報生成部１０２は、入力画像データＡ１に関連した付加情報生成情報Ａ３に基づいて、符号化データＡ２に圧縮復号化処理が施されて得られる画像データに対して、受信側で高画質化処理を行う際に用いられる有用な付加情報Ａ４を生成する。付加情報生成情報Ａ３は、入力画像データＡ１、符号化データＡ２などである。また、付加情報Ａ４は、上述の復号付加情報とは全く異なるものである。

符号化データ・付加情報混合部１０３は、符号化処理部１０１で得られた符号化データＡ２に、付加情報生成部１０２で生成された付加情報Ａ４を混合して混合データＡ５を得る。この混合データＡ５は、伝送データを構成し、伝送路３００を通じて、受信側の画像処理装置２００に送られる。付加情報生成部１０２で生成される付加情報Ａ４の詳細については、後述する。

画像処理装置２００は、符号化データ・付加情報分離部２０１と、復号化処理部２０２と、高画質化処理部２０３を有している。符号化データ・付加情報分離部２０１は、混合データＡ５から、符号化データＡ２および付加情報Ａ４を分離する。復号化処理部２０２は、符号化データ・付加情報分離部２０１で分離された符号化データＡ２に圧縮復号化処理を施して画像データＡ６を得る。

高画質化処理部２０３は、復号化処理部２０２で得られた画像データＡ６に対して、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４を用いて、高画質化処理を行って出力画像データＡ７を出力する。高画質化処理は、画像の品質を向上させる処理であり、例えば、鮮鋭感向上処理、コントラスト補正処理、ノイズ除去処理、空間解像度向上処理、時間解像度向上処理などである。高画質化処理部２０３の詳細については後述する。

図１に示す画像伝送システム１０の動作を簡単に説明する。最初に、送信側の画像処理装置１００の動作を説明する。入力画像データＡ１は、符号化処理部１０１に供給される。符号化処理部１０１では、入力画像データＡ１に、ＭＰＥＧ２等の符号化方式による圧縮符号化処理が行われ、符号化データＡ２が得られる。この符号化データＡ２は、符号化データ・付加情報混合部１０３に供給される。

また、符号化処理部１０１から付加情報生成部１０２に、入力画像データＡ１に関連した付加情報生成情報Ａ３、例えば入力画像データＡ１、符号化画像データＡ２などが供給される。付加情報生成部１０２では、付加情報生成情報Ａ３に基づいて、符号化データＡ２に圧縮復号化処理が施されて得られる画像データに対して、受信側で高画質化処理を行う際に用いられる有用な付加情報Ａ４が生成される。この付加情報Ａ４は、符号化データ・付加情報混合部１０３に供給される。

符号化データ・付加情報混合部１０３では、符号化データＡ２に付加情報Ａ４が混合されて混合データＡ５が得られる。この混合データＡ５は、伝送路３００を通じて、受信側の画像処理装置２００に送られる。

次に、受信側の画像処理装置２００の動作を説明する。混合データＡ５は、符号化データ・付加情報分離部２０１に供給される。この符号化データ・付加情報分離部２０１では、混合データＡ５から、符号化データＡ２および付加情報Ａ４が分離される。符号化データＡ２は、復号化処理部２０２に供給される。付加情報Ａ４は、高画質化処理部２０３に供給される。

復号化処理部２０２では符号化データＡ２に圧縮復号化処理が施されて、画像データＡ６が得られる。この際、復号化処理部２０２では、符号化データＡ２に含まれている復号付加情報が用いられる。この画像データＡ６は、高画質化処理２０３に供給される。高画質化処理部２０３では、復号化処理部２０２で得られた画像データＡ６に対して、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４が用いられて、鮮鋭感向上処理、コントラスト補正処理、ノイズ除去処理などの高画質化処理が施される。そして、この高画質化処理部２０３から、高画質化処理後の画像データが、出力画像データＡ７として出力される。

［高画質化処理と付加情報の詳細］
高画質化処理部２０３における高画質化処理と、付加情報生成部１０２で生成される付加情報Ａ４の詳細について説明する。

（１）「高画質化処理＝鮮鋭感向上処理またはコントラスト補正処理」
最初に、高画質化処理が鮮鋭感向上処理またはコントラスト補正処理である場合について説明する。一般的に、圧縮符号化処理によって画像の情報が失われるが、どのような情報が失われたかによって、高画質化処理における処理内容が違ってくる。どのような情報が失われたかという情報は、復号画像データからはわからないので、復号化時には生成不可能な情報である。

例えば、図２（ａ）に示すように、復号画像データが入力画像データに対して高周波情報が失われたものである場合には、高画質化処理として鮮鋭感向上処理が行われることが望まれる。また、例えば、図２（ｂ）に示すように、復号画像データが入力画像データに対して階調情報が失われたものである場合には、高画質化処理としてコントラスト補正処理（スムージング処理）が行われることが望まれる。

この場合、送信側の画像処理装置１００における付加情報生成部１０２で生成される付加情報Ａ４は、圧縮符号化処理により高周波情報が失われているか階調情報が失われているかを示す情報とされる。

図３は、付加情報生成部１０２の構成例を示している。この付加情報生成部１０２は、復号化処理部１１１およびアクティビティ算出部１１２を有している。復号化処理部１１１は、受信側の画像処理装置２００における復号化処理部２０２（図１参照）と同等のものであって、符号化データＡ２に圧縮復号化処理を施して画像データＡ６′を得る。

アクティビティ算出部１１２は、入力画像データＡ１の空間アクティビティＢ１および復号画像データＡ６′の空間アクティビティＢ２の差分に関連した情報を、付加情報Ａ４として生成する。すなわち、アクティビティ算出部１１２は、図４に示すように、入力画像データＡ１と復号画像データＡ６’を、それぞれ、水平Ｍ画素、垂直Ｎ画素のブロックに分割し、ブロック毎に、空間アクティビティＢ１，Ｂ２を求める。

入力画像データＡ１の空間アクティビティＢ１は（１）式で表される。

また、復号画像データＡ６′の空間アクティビティＢ２は（２）式で表される。

ここで、空間アクティビティＢ１，Ｂ２は、それぞれ、入力画像データＡ１と復号画像データＡ６’のブロック内の画素値の変化の大きさを示している。そして、Ｂ１＞Ｂ２の場合は符号化により高周波情報が失われており、Ｂ１＜Ｂ２の場合には符号化により階調情報が失われていると考えることができる。アクティビティ算出部１１２は、例えば、差分Ｂ１−Ｂ２をそのままブロック毎の付加情報Ａ４として出力するか、あるいは、情報量を減らすために閾値ＴＨ１，ＴＨ２，ＴＨ３を使って、（３）式のように、付加情報Ａ４を決定して出力する。

図３に示す付加情報生成部１０２の動作を説明する。符号化処理部１０１で得られた符号化データＡ２は復号化処理部１１１に供給される。この復号化処理部１１１では、符号化データＡ２に圧縮復号化処理が施されて画像データＡ６′が得られる。この画像データＡ６′は、アクティビティビティ算出部１１２に供給される。

また、このアクティビティ算出部１１２には、入力画像データＡ１が供給される。このアクティビティ算出部１１２では、ブロック毎に、入力画像データＡ１の空間アクティビティＢ１および復号画像データＡ６′の空間アクティビティＢ２が算出される。そして、このアクティビティ算出部１１２では、ブロック毎に、アクティビティＢ１，Ｂ２の差分に関連した情報が求められる。そして、アクティビティ算出部１１２から符号化データ・付加情報混合部１０３に、この差分に関連した情報、例えばＢ１−Ｂ２、あるいは上述の（３）式の情報が付加情報Ａ４として供給される。

図５は、高画質化処理部２０３の構成例を示している。この構成例は、復号化後の画像データに対して周知のクラス分類適応処理を適用して高画質化を図る例である。高画質化処理部２０３は、付加情報クラス生成部２１１と、クラスタップ選択部２１２と、予測タップ選択部２１３と、特徴量抽出部２１４と、クラスコード生成部２１５と、予測係数ＲＯＭ２１６と、予測演算部２１７を有している。

付加情報クラス生成部２１１は、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４に基づいて、付加情報クラスを生成する。例えば、付加情報クラスは、上述の（３）式に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３で分類された４種類、あるいはそれ以上の種類とされる。

クラスタップ選択部２１２は、復号化処理部２０２で得られた画像データＡ６から、出力画像データＡ７における注目位置の周辺に位置する複数の画素データを、クラスタップのデータとして選択的に抽出する。図６（ａ）は、クラスタップのデータとして抽出される複数の画素データのパターン例を示している。このパターン例では、注目画素とその周辺の複数画素との合計７個の画素によってクラスタップが設定される。

予測タップ選択部２１３は、復号化処理部２０２で得られた画像データＡ６から、出力画像データＡ７における注目位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。図６（ｂ）は、予測タップのデータとして抽出される複数の画素データのパターン例を示している。このパターン例では、注目画素とその周辺の複数画素との合計１３個の画素によって予測タップが設定される。なお、図６（ａ），（ｂ）において、実線は第１フィールドを示し、破線は第２フィールドを示している。

特徴量抽出部２１４は、クラスタップ選択部２１２で抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して圧縮コードを生成する。この実施の形態において、特徴量抽出部２１４は、１ビットＡＤＲＣ(Adaptive Dynamic Range Coding)の処理を施してＡＤＲＣコードを生成する。ＡＤＲＣは、クラスタップ内の画素値の最大値および最小値を求め、最大値および最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットＡＤＲＣの場合では、タップ内の複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。

クラスコード生成部２１５は、付加情報クラス生成部２１１で生成された付加情報クラスと特徴量抽出部２１４で抽出されたＡＤＲＣコードに基づいて、クラス分類の結果を示すクラスコードを生成する。予測係数ＲＯＭ２１６は、クラスコード生成部２１５で生成されたクラスコードに対応する予測係数セットを出力する。予測係数セットは、後述する学習処理によって予め決定され、クラス毎に、クラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。

予測演算部２１７は、予測タップ選択部２１３で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データｗｉとを用い、例えば（４）式に示すような推定 式に基づいて、出力画像データＡ７における注目位置の画素データｙを求める。
ｙ＝ｗ₁ ×ｘ₁ ＋ｗ₂ ×ｘ₂ ＋‥‥＋ｗ_n ×ｘ_n ・・・（４）

図５に示す高画質化処理部２０３の動作を説明する。符号化データ・付加情報分離部２０１で分離された付加情報Ａ４は、付加情報クラス生成部２１１に供給される。この付加情報クラス生成部２１１では、付加情報Ａ４に基づいて、付加情報クラスが生成される。この付加情報クラスは、クラスコード生成部２１５に供給される。

また、復号化処理部２０２で得られた画像データＡ６は、クラスタップ選択部２１２に供給される。クラスタップ選択部２１２では、画像データＡ６から、出力画像データＡ７における注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。このクラスタップのデータは、特徴量抽出部２１４に供給される。

特徴量抽出部２１４では、クラスタップのデータとしての複数の画素データに対して１ビットＡＤＲＣ処理が施されてＡＤＲＣコードが生成される。このＡＤＲＣコードは、クラスコード生成部２１５に供給される。クラスコード生成部２１５では、付加情報クラス生成部２１１で生成された付加情報クラスと特徴量抽出部２１４で抽出されたＡＤＲＣコードに基づいて、クラス分類の結果を示すクラスコードが生成される。

このようにクラスコード生成部２１５で生成されたクラスコードは、予測係数ＲＯＭ２１６にアドレスとして供給される。そして、予測係数ＲＯＭ２１６からは、クラスコードに対応した予測係数セットが出力される。この予測係数セットは、予測演算部２１７に供給される。

また、復号化処理部２０２で得られた画像データＡ６は、予測タップ選択部２１３に供給される。予測タップ選択部２１３では、画像データＡ６から、出力画像データＡ７における注目位置の周辺に位置する複数の画素データが、予測タップのデータとして選択的に抽出される。この予測タップのデータは、予測演算部２１７に供給される。

そして、予測演算部２１７では、予測タップのデータとしての複数の画素データｘｉと、係数データｗｉとが用いれ、例えば（４）式に示すような推定式に基づいて、出力画像データＡ７における注目位置の画素データｙが求められる。高画質化処理部２０３では、上述の注目位置が順次変更されていくことで、出力画像データＡ７における全ての位置の画素データが求められる。

図５に示す高画質化処理部２０３では、付加情報Ａ４が圧縮符号化処理により高周波情報が失われていることを示す場合と、付加情報Ａ４が圧縮符号化処理により階調情報が失われていることを示す場合とで、付加情報クラスが異なるものとなる。そのため、予測係数ＲＯＭ２１６から出力される予測係数セットは、復号化処理部２０２で得られる画像データＡ６で失われている情報を回復する処理を行うためのものとなる。

すなわち、復号化処理部２０２から高周波情報が失われている画像データＡ６が得られる場合には、予測係数ＲＯＭ２１６からは、失われた高周波情報を回復する鮮鋭感向上処理のための予測係数セットが出力される。そのため、この場合には、予測演算部２１７から出力される出力画像データＡ７は、画像データＡ６に対して鮮鋭感向上処理が施されたものとなる。

また、復号化処理部２０２から階調情報が失われている画像データＡ６が得られる場合には、予測係数ＲＯＭ２１６からは、失われた階調情報を回復するコントラスト補正処理（スムージング処理）のための予測係数セットが出力される。そのため、この場合には、予測演算部２１７から出力される出力画像データＡ７は、画像データＡ６に対してコントラスト補正処理が施されたものとなる。

次に、学習、すなわちクラス毎の予測係数セットを求める処理について説明する。この場合、クラス分類適応処理によって予測されるべき画像データに対応した画像データ（教師データ）と、この教師データに符号復号化処理を施して得られた画像データ（生徒データ）とに基づく所定の演算処理によって、予測係数セットが求められる。ここで、教師データは、圧縮符号化処理により高周波情報や階調情報などが失われる前の画像データである。また、生徒データは、圧縮符号化処理により高周波情報や階調情報などが失われた後の画像データである。

図７は、予測係数セット生成装置４００の構成例を示している。この予測係数セット生成装置４００は、符号化処理部４０１と、付加情報生成部４０３と、復号化処理部４０２を有している。また、この予測係数セット生成装置４００は、付加情報クラス生成部４０４と、クラスタップ選択部４０５と、予測タップ選択部４０６と、特徴量抽出部４０７を有している。さらに、この予測係数セット生成装置４００は、クラスコード生成部４０８と、正規方程式加算部４０９と、予測係数算出部４１０と、メモリ４１１を有している。

符号化処理部４０１は、教師データに、ＭＰＥＧ２等の符号化方式による圧縮符号化処理を行って符号化データを得る。この符号化データは、復号化処理に必要な付随情報（復号付加情報）を含んでいる。この符号化処理部４０１は、上述した画像処理装置１００の符号化処理部１０１（図１、図３参照）に対応している。復号化処理部４０２は、符号化処理部４０１で得られた符号化データに圧縮復号化処理を施して、生徒データとしての画像データを得る。この復号化処理部４０２は、上述した画像処理装置２００の復号化処理部２０２（図１、図５参照）に対応している。

付加情報生成部４０１は、符号化処理部４０１から供給される教師データに関連した付加情報生成情報に基づいて、付加情報Ａ４を生成する。この付加情報生成部４０１は、上述の図３に示す付加情報生成部１０２と同様に構成されており、付加情報Ａ４として、圧縮符号化処理により高周波情報が失われているか階調情報が失われているかを示す情報を生成する。すなわち、付加情報生成部４０３は、教師データの空間アクティビティＢ１と、符号化データに圧縮復号化処理を施して得られた画像データの空間アクティビティＢ２の差分に関連した情報を、付加情報Ａ４として生成する。

付加情報クラス生成部４０４は、付加情報生成部４０３で生成された付加情報Ａ４に基づいて、付加情報クラスを生成する。例えば、付加情報クラスは、上述の（３）式に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３で分類された４種類、あるいはそれ以上の種類とされる。この付加情報クラス生成部４０４は、上述した高画質化処理部２０３の付加情報クラス生成部２１１（図５参照）に対応している。

クラスタップ選択部４０５は、復号化処理部４０２で得られた生徒データから、教師データにおける注目位置の周辺に位置する複数の画素データを、クラスタップのデータとして選択的に抽出する。また、予測タップ選択部４０６は、復号化処理部４０２で得られた生徒データから、教師データにおける注目位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。これらタップ選択部４０５，４０６は、それぞれ、上述した高画質化処理部２０３のタップ選択部２１２，２１３に対応している。

特徴量抽出部４０７は、クラスタップ選択部４０５で抽出されたクラスタップのデータとしての複数の画素データに対して１ビットＡＤＲＣの処理を施してＡＤＲＣコードを生成する。この特徴量抽出部４０７は、上述した高画質化処理部２０３の特徴量抽出部２１４（図５参照）に対応している。

クラスコード生成部４０８は、付加情報クラス生成部４０４で生成された付加情報クラスと特徴量抽出部４０７で抽出されたＡＤＲＣコードに基づいて、クラス分類の結果を示すクラスコードを生成する。このクラスコード生成部４０８は、上述した高画質化処理部２０３のクラスコード生成部２１５（図５参照）に対応している。

正規方程式加算部４０９は、予測タップ選択部４０６で抽出された予測タップのデータと、教師データとに基づく所定の演算処理によって、クラスコード生成部４０８から供給されるクラスコードに対応する予測係数セットを解とする正規方程式のデータを生成する。予測係数算出部４１０は、正規方程式加算部４０９で生成された正規方程式のデータに基づいて正規方程式を解くための演算処理を行う。メモリ４１１は、予測係数算出部４１０で算出された各クラスコードの予測係数セットを記憶する。上述の図５に示す高画質化処理部２０３の予測係数ＲＯＭ２１６には、このメモリ４１１の記憶内容がロードされる。

正規方程式について以下に説明する。上述の（４）式において、学習前は予測係数セットｗ₁ ，‥‥，ｗ_n が未定係数である。学習は、クラス毎に複数の教師データを入力することにより行う。教師データの種類数をｍと表記する場合、（４）式から、以下の（５）式が設定される。
ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn
（ｋ＝１，２，‥‥，ｍ） ・・・（５）

ｍ＞ｎの場合、予測係数セットｗ₁ ，‥‥，ｗ_n は一意に決まらないので、誤差ベクトルｅの要素ｅ_k を、以下の（６）式で定義して、（７）式によって定義される誤差ベクトルｅを最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によって予測係数セットを一意に定める。
ｅ_k ＝ｙ_k −｛ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn｝
（ｋ＝１，２，‥‥ｍ） ・・・（６）

（７）式のｅ² を最小とする予測係数セットを求めるための実際的な計算方法としては、（８）式に示すように、ｅ² を予測係数ｗ_i (i=1,2‥‥）で偏微分し、ｉの各値について偏微分値が０となるように各予測係数ｗ_i を定めればよい。

（８）式から各予測係数ｗ_i を定める具体的な手順について説明する。（９）式、（１０）式のようにＸ_ji，Ｙ_i を定義すると、（８）式は、（１１）式の行列式の形に書くことができる。

（１１）式が一般に正規方程式と呼ばれるものである。予測係数算出部４１０は、掃き出し法等の一般的な行列解法に従って、（１１）式の正規方程式を解くための計算処理を行って予測係数ｗ_i を算出する。

図８は、高画質化処理部２０３の他の構成例を示している。この構成例も、復号化後の画像データに対して周知のクラス分類適応処理を適用して高画質化を図る例である。この図８において、図５と対応する部分には同一符号を付し、その詳細説明は省略する。この高画質化処理部２０３は、付加情報クラス生成部２１１Ａと、クラスタップ選択部２１２と、予測タップ選択部２１３と、クラスコード生成部２１５と、予測係数ＲＯＭ２１６と、予測演算部２１７を有している。

付加情報クラス生成部２１１Ａは、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４と、さらに、付加情報抽出部２０４で抽出された付加情報とに基づいて、付加情報クラスを生成する。付加情報抽出部２０４は、復号化処理部２０２から出力される復号付加情報（復号化処理に必要な付随情報）のうち、クラス分類適応処理に使用される付加情報を選択的に出力する。

クラスコード生成部２１５は、付加情報クラス生成部２１１Ａで生成された付加情報クラスと特徴量抽出部２１４で抽出されたＡＤＲＣコードに基づいて、クラス分類の結果を示すクラスコードを生成する。予測係数ＲＯＭ２１６は、クラスコード生成部２１５で生成されたクラスコードに対応する予測係数セットを出力する。

図８に示す高画質化処理部２０３のその他は、図５に示す高画質化処理部２０３と同様に構成され、同様の動作が行われる。すなわち、図８に示す高画質化処理部２０３では、付加情報Ａ４が圧縮符号化処理により高周波情報が失われていることを示す場合と、付加情報Ａ４が圧縮符号化処理により階調情報が失われていることを示す場合とで、付加情報クラスが異なるものとなる。

そのため、予測係数ＲＯＭ２１６から出力される予測係数セットは、復号化処理部２０２で得られる画像データＡ６で失われている情報を回復する処理を行うためのものとなる。つまり、高画質化処理部２０３では、画像データＡ６に対して、鮮鋭感向上処理あるいはコントラスト補正処理が適応的に行われ、高画質化処理が良好に行われる。

また、図８に示す高画質化処理部２０３では、付加情報クラス生成部２１１Ａにおける付加情報クラスの生成時に、付加情報Ａ４と共に、さらに、復号付加情報から付加情報抽出部２０４で選択された付加情報が参照される構成となっている。そのため、クラス分類適応処理の予測精度を向上させることが可能となり、高画質化処理がさらに良好に行われる。

図９は、高画質化処理部２０３のさらに他の構成例を示している。この高画質化処理部２０３は、鮮鋭感向上処理部２２１と、コントラスト補正処理部（スムージング処理部）２２２と、切り換えスイッチ２２３を有している。

鮮鋭感向上処理部２２１は、復号化処理部２０２で得られた画像データＡ６に対して、鮮鋭感向上処理を行って、出力画像データＡ７を得る。コントラスト補正処理部（スムージング処理部）２２２は、復号化処理部２０２で得られた画像データＡ６に対して、コントラスト補正処理（スムージング処理）を行って、出力画像データＡ７を得る。切り換えスイッチ２２３は、復号化処理部２０２で得られた画像データＡ６を、鮮鋭感向上処理部２２１またはコントラスト補正処理部２２２に、選択的に供給する。

切り換えスイッチ２２３は、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４に基づいて、切り換えが制御される。すなわち、付加情報Ａ４が圧縮符号化処理により高周波情報が失われていることを示す場合、ａ側に接続され、復号化処理部２０２で得られた画像データＡ６を鮮鋭感向上処理部２２１に供給するようにされる。一方、付加情報Ａ４が圧縮符号化処理により階調情報が失われていることを示す場合、ｂ側に接続され、復号化処理部２０２で得られた画像データＡ６をコントラスト補正処理部２２２に供給するようにされる。

図９に示す高画質化処理部２０３の動作を説明する。符号化データ・付加情報分離部２０１で分離された付加情報Ａ４は、切り換えスイッチ２２３に切り換え制御信号として供給される。付加情報Ａ４が圧縮符号化処理により高周波情報が失われていることを示す場合、切り換えスイッチ２２３はａ側に接続される。一方、付加情報Ａ４が圧縮符号化処理により階調情報が失われていることを示す場合、切り換えスイッチ２２３はｂ側に接続される。

そのため、復号化処理部２０２から高周波情報が失われている画像データＡ６が得られる場合、この画像データＡ６は切り換えスイッチ２２３を通じて鮮鋭感向上処理部２２１に供給される。そして、鮮鋭感向上処理部２２１では、この画像データＡ６に対して鮮鋭感向上処理が施される。したがって、この場合には、高画質化処理部２０３から出力される出力画像データＡ７は、画像データＡ６に対して鮮鋭感向上処理が施されたものとなり、高画質化が図られる。

また、復号化処理部２０２から階調情報が失われている画像データＡ６が得られる場合、この画像データＡ６は切り換えスイッチ２２３を通じてコントラスト補正処理部２２２に供給される。そして、コントラスト補正処理部２２２では、この画像データＡ６に対してコントラスト補正処理（スムージング処理）が施される。したがって、この場合には、高画質化処理部２０３から出力される出力画像データＡ７は、画像データＡ６に対してコントラスト補正処理（スムージング処理）が施されたものとなり、高画質化が図られる。

（２）「高画質化処理＝ノイズ除去処理」
次に、高画質化処理がノイズ除去処理である場合について説明する。一般的に、圧縮符号化処理によってデータの劣化、つまりノイズが生じる。高画質化処理でノイズ除去を行う場合、劣化の大きさをノイズ除去処理のパラメータとして利用すると効果的である。符号化前後の画像データを比較することで、圧縮符号化処理による劣化の大きさがわかる。この劣化の大きさは、復号画像データからはわからないので、復号化時には生成不可能な情報である。

例えば、図１０に示すように、復号画像データが入力画像データに対して劣化したもの、つまりノイズが生じているものである場合には、高画質化処理としてノイズ除去処理が行われることが望まれる。その場合に、劣化の大きさ（ノイズの大きさ）ｄをノイズ除去処理のパラメータとして利用すると効果的である。なお、図１０においては、この劣化の大きさｄが符号化前後の差分絶対値の最大値である場合を示している。

図１１は、付加情報生成部１０２の構成例を示している。この付加情報生成部１０２は、復号化処理部１１１および差分絶対値算出部１１３を有している。復号化処理部１１１は、受信側の画像処理装置２００における復号化処理部２０２（図１参照）と同等のものであって、符号化データＡ２に圧縮復号化処理を施して画像データＡ６′を得る。

差分絶対値算出部１１３は、入力画像データＡ１および復号画像データＡ６′の差分絶対値の最大値の情報を、付加情報Ａ４として生成する。すなわち、差分絶対値算出部１１３は、上述の図４に示すように、入力画像データＡ１と復号画像データＡ６’を、それぞれ、水平Ｍ画素、垂直Ｎ画素のブロックに分割する。そして、差分絶対値算出部１１３は、ブロック毎に、Ａ１とＡ６’の同位置の画素値の差分絶対値のブロック内最大値である最大差分絶対値を求める。

この最大差分絶対値は、（１２）式で表される。

この最大差分絶対値は、符号化処理部１０１で生じた劣化（ノイズ）のブロック内の最大値となる。差分絶対値算出部１１３は、この最大差分絶対値を、ブロック毎の付加情報Ａ４として出力する。

図１１に示す付加情報生成部１０２の動作を説明する。符号化処理部１０１で得られた符号化データＡ２は復号化処理部１１１に供給される。この復号化処理部１１１では、符号化データＡ２に圧縮復号化処理が施されて画像データＡ６′が得られる。この画像データＡ６′は、差分絶対値算出部１１３に供給される。

また、この差分絶対値算出部１１３には、入力画像データＡ１が供給される。この差分絶対値算出部１１３では、ブロック毎に、入力画像データＡ１と画像データＡ６′の同位置の画素値の差分絶対値のブロック内最大値が算出される。そして、差分絶対値算出部１１３から符号化データ・付加情報混合部１０３に、この最大差分絶対値が付加情報Ａ４として供給される。

図１２は、高画質化処理部２０３の構成例を示している。この構成例は、復号化後の画像データに対してノイズ除去処理を行う例である。高画質化処理部２０３は、ノイズ除去処理部２３１を有している。ノイズ除去処理部２３１は、周知のε（イプシロン）フィルタを用いて、復号化処理部２０２で得られた画像データＡ６のノイズ除去処理を行って、出力画像データＡ７を得る。このノイズ除去処理部２３１は、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４をεの値とする。

図１２に示す高画質化処理部２０３の動作を説明する。符号化データ・付加情報分離部２０１で分離された付加情報Ａ４は、ノイズ除去処理部２３１に、εの値として供給される。そして、ノイズ除去処理部２３１では、復号化処理部２０２で得られた画像データＡ６のノイズ除去処理がεフィルタを用いて行われ、ノイズ除去後の出力画像データＡ７が得られる。

εフィルタにおいて、パラメータεは、想定されるノイズの最大値を示す。そのため、このεの値が付加情報Ａ４、すなわちブロック内の劣化最大値とされることで、ノイズ除去処理部２３１においては、効果的なノイズ除去が行われる。

＜２．第２の実施の形態＞
［画像伝送システムの構成］
図１３は、本技術の第２の実施の形態としての画像伝送システム１０Ａの構成例を示している。この画像伝送システム１０Ａは、送信側（記録側）の画像処理処置１００Ａと、受信側（再生側）の画像処理装置２００Ａとが、伝送路３００を介して、接続された構成となっている。伝送路３００には、ネットワーク等の通信路、光ディスクやメモリ等を記録媒体とする記録再生部などが含まれる。この図１３において、図１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。

画像処理装置１００Ａは、符号化処理部１０１と、顔検出部１０２Ａと、符号化データ・付加情報混合部１０３を有している。符号化データ・付加情報混合部１０３は、データ出力部を構成している。顔検出部１０２Ａは、付加情報生成部を構成している。符号化処理部１０１は、入力画像データＡ１に、ＭＰＥＧ２等の符号化方式による圧縮符号化処理を施して符号化データＡ２を得る。この符号化データＡ２は、復号化処理に必要な付随情報（復号付加情報）を含んでいる。

顔検出部１０２Ａは、入力画像データＡ１を、付加情報生成情報Ａ３として入力する。この顔検出部１０２Ａは、入力画像データＡ１に対して周知の顔認識処理を施して、入力画像に含まれる顔を検出し、顔の領域の座標データを付加情報Ａ４として出力する。

符号化データ・付加情報混合部１０３は、符号化処理部１０１で得られた符号化データＡ２に、顔検出部１０２Ａで生成された付加情報Ａ４を混合して混合データＡ５を得る。この混合データＡ５は、伝送データを構成し、伝送路３００を通じて、受信側の画像処理装置２００Ａに送られる。

画像処理装置２００Ａは、符号化データ・付加情報分離部２０１と、復号化処理部２０２と、拡大処理部２０３Ａを有している。符号化データ・付加情報分離部２０１は、混合データＡ５から、符号化データＡ２および付加情報Ａ４を分離する。復号化処理部２０２は、符号化データ・付加情報分離部２０１で分離された符号化データＡ２に圧縮復号化処理を施して画像データＡ６を得る。

拡大処理部２０３Ａは、復号化処理部２０２で得られた画像データＡ６に対して、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４、つまり顔領域の座標データを用いて、顔領域を拡大する処理を行い、出力画像データＡ７を出力する。この拡大処理部２０３Ａは、拡大方法として、例えば、周知のバイキュービック補間などを用いる。

図１３に示す画像伝送システム１０Ａの動作を簡単に説明する。最初に、送信側の画像処理装置１００Ａの動作を説明する。入力画像データＡ１は、符号化処理部１０１に供給される。符号化処理部１０１では、入力画像データＡ１に、ＭＰＥＧ２等の符号化方式による圧縮符号化処理が施される、符号化データＡ２が得られる。この符号化データＡ２は、符号化データ・付加情報混合部１０３に供給される。

また、入力画像データＡ１は、顔検出部１０２Ａに供給される。顔検出部１０２Ａでは、入力画像データＡ１に対して周知の顔認識処理が施されて、入力画像に含まれる顔が検出され、顔領域の座標データが取得される。そして、顔検出部１０２Ａから付加情報生成部１０２に、この顔領域の座標データが付加情報Ａ４として供給される。

符号化データ・付加情報混合部１０３では、符号化データＡ２に付加情報Ａ４が混合されて、混合データＡ５が得られる。この混合データＡ５は、伝送路３００を通じて、受信側の画像処理装置２００Ａに送られる。

次に、受信側の画像処理装置２００Ａの動作を説明する。混合データＡ５は、符号化データ・付加情報分離部２０１に供給される。この符号化データ・付加情報分離部２０１では、混合データＡ５から、符号化データＡ２および付加情報Ａ４が分離される。符号化データＡ２は、復号化処理部２０２に供給される。付加情報Ａ４は、拡大処理部２０３Ａに供給される。

復号化処理部２０２では符号化データＡ２に圧縮復号化処理が施されて、画像データＡ６が得られる。この際、復号化処理部２０２では、符号化データＡ２に含まれている復号付加情報が用いられる。この画像データＡ６は、拡大処理部２０３Ａに供給される。拡大処理部２０３Ａでは、復号化処理部２０２で得られた画像データＡ６に対して、符号化データ・付加情報分離部２０１で分離された付加情報Ａ４、つまり顔領域の座標データが用いられて、顔領域を拡大する処理が行われる。そして、この拡大処理部２０３Ａから、拡大処理後の画像データが、出力画像データＡ７として出力される。

図１３に示す画像伝送システム１０Ａにおいては、受信側の画像処理装置２００Ａの拡大処理部２０３Ａでは、送信側から付加情報Ａ４として送られてくる顔領域の座標データが用いられて、顔領域の拡大処理が行われる。ここで、復号化処理部２０２で得られる画像データＡ６に対して顔認識処理を施して顔検出を行って顔領域の座標データを得ることも考えられる。しかし、符号化復号化を経た画像データＡ６からは、正確な顔検出ができない可能性がある。つまり、符号化前の入力画像データＡ１から顔検出を行った結果である付加情報Ａ４を使うことで、拡大処理部２０３Ａでは、正しく顔の領域を拡大することが可能となる。

なお、図１３に示す画像伝送システム１０Ａにおいて、受信側の画像処理装置２００Ａの拡大処理部２０３Ａでは、顔領域を拡大している。同様にして、画像に含まれる所定オブジェクトの領域を拡大することも可能である。その際には、送信側の画像処理装置１００Ａでは当該所定オブジェクトの検出処理が行われて、その所定オブジェクトの領域の座標データが付加情報Ａ４とされればよい。

＜３．変形例＞
なお、上述実施の形態においては、受信側の画像処理装置において、復号画像データに対して高画質化処理あるいは拡大処理を行うものを示した。しかし、本技術は、復号画像データに対して高画質化処理あるいは拡大処理以外の画像処理を行う場合にも、同様に適用できることは勿論である。その際には、送信側の画像処理装置において、受信側の復号画像データに対する画像処理において有用な情報を付加情報Ａ４として生成し、符号化データＡ２と混合して送信すればよい。画像処理の他の例としては、空間解像度や時間解像度の向上処理等も考えられる。

また、上述実施の形態において、受信側の画像処理装置において、符号化データＡ２に付加情報Ａ４が混合され、混合データＡ５が受信側の画像処理装置に送られるものを示した。しかし、符号化データＡ２および付加情報Ａ４を必ずしも混合する必要はなく、受信側の画像処理装置からこれらが対応付けされて出力され、受信側の画像処理装置に送られるようにされてあればよい。すなわち、符号化データＡ２および付加情報Ａ４がそれぞれ別個の伝送路を通じて送信されてもよい。

また、本技術は、以下のような構成も取ることができる。
（１）入力画像データに圧縮符号化処理を施して符号化データを得る符号化処理部と、
上記入力画像データに関連した付加情報生成情報に基づいて、上記符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報を生成する付加情報生成部と、
上記符号化処理部で得られた符号化データおよび上記付加情報生成部で生成された付加情報を対応付けて出力するデータ出力部と
を備える画像処理装置。
（２）上記符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、高画質化処理であり、
上記付加情報生成部で生成される付加情報は、上記高画質処理を行う際に用いられる情報である
前記（１）に記載の画像処理装置。
（３）上記高画質化処理は、鮮鋭感向上処理またはコントラスト補正処理であり、
上記付加情報生成部は、上記付加情報として、上記圧縮符号化処理により高周波情報が失われているか階調情報が失われているかを示す情報を生成する
前記（２）に記載の画像処理装置。
（４）上記付加情報生成部は、上記付加情報として、上記入力画像データの空間アクティビティおよび上記符号化データに圧縮復号化処理が施されて得られる画像データの空間アクティビティの差分に関連した情報を生成する
前記（３）に記載の画像処理装置。
（５）上記高画質化処理は、ノイズ除去処理であり、
上記付加情報生成部は、上記付加情報として、上記圧縮符号化処理により生じた劣化の大きさを示す情報を生成する
前記（２）に記載の画像処理装置。
（６）上記付加情報生成部は、上記付加情報として、上記入力画像データおよび上記符号化データに圧縮復号化処理が施されて得られる画像データの差分絶対値の最大値の情報を生成する
前記（５）に記載の画像処理装置。
（７）上記符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、所定オブジェクトの領域を拡大する画像拡大処理であり、
上記付加情報生成部で生成される付加情報は、上記入力画像データに基づいて上記所定オブジェクトの検出処理が行われて得られた該所定オブジェクトの領域情報である
前記（１）に記載の画像処理装置。
（８）上記データ出力部は、上記符号化処理部で得られた符号化データに上記付加情報生成部で生成された付加情報を混合した混合データを出力する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）入力画像データに圧縮符号化処理を施して符号化データを得る符号化処理ステップと、
上記入力画像データに関連した付加情報生成情報に基づいて、上記符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報を生成する付加情報生成ステップと、
上記符号化処理ステップで得られた符号化データおよび上記付加情報生成ステップで生成された付加情報を対応付けて出力するデータ出力ステップと
を備える画像処理方法。
（１０）符号化データと該符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報とが混合された混合データから、上記符号化データおよび上記付加情報を分離する分離部と、
上記分離部で分離された符号化データに圧縮復号化処理を施して画像データを得る復号化処理部と、
上記復号化処理部で得られた画像データに対して、上記分離部で分離された付加情報を用いて所定の画像処理を行って出力画像データを得る画像処理部と
を備える画像処理装置。
（１１）符号化データと該符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報とが混合された混合データから上記符号化データおよび上記付加情報を分離する分離ステップと、
上記分離ステップで分離された符号化データに圧縮復号化処理を施して画像データを得る復号化処理ステップと、
上記復号化処理ステップで得られた画像データに対して、上記分離ステップで分離された付加情報を用いて所定の画像処理を行って出力画像データを得る画像処理ステップと
を備える画像処理方法。

１０，１０Ａ・・・画像伝送システム
１００，１００Ａ・・・画像処理装置
１０１・・・符号化処理部
１０２・・・付加情報生成部
１０２Ａ・・・顔検出部
１０３・・・符号化データ・付加情報混合部
１１１・・・復号化処理部
１１２・・・アクティビティ算出部
１１３・・・差分絶対値算出部
２００，２００Ａ・・・画像処理装置
２０１・・・符号化データ・付加情報分離部
２０２・・・復号化処理部
２０３・・・高画質化処理部
２０３Ａ・・・拡大処理部
２０４・・・付加情報抽出部
２１１，２１１Ａ・・・付加情報クラス生成部
２１２・・・クラスタップ選択部
２１３・・・予測タップ選択部
２１４・・・特徴量抽出部
２１５・・・クラスコード生成部
２１６・・・予測係数ＲＯＭ
２１７・・・予測演算部
２２１・・・鮮鋭感向上処理部
２２２・・・コントラスト補正処理部
２２３・・・切り換えスイッチ
２３１・・・ノイズ除去処理部
３００・・・伝送路

Claims (11)

1. 入力画像データに圧縮符号化処理を施して符号化データを得る符号化処理部と、
   上記入力画像データに関連した付加情報生成情報に基づいて、上記符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報を生成する付加情報生成部と、
   上記符号化処理部で得られた符号化データおよび上記付加情報生成部で生成された付加情報を対応付けて出力するデータ出力部と
   を備える画像処理装置。
2. 上記符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、高画質化処理であり、
   上記付加情報生成部で生成される付加情報は、上記高画質処理を行う際に用いられる情報である
   請求項１に記載の画像処理装置。
3. 上記高画質化処理は、鮮鋭感向上処理またはコントラスト補正処理であり、
   上記付加情報生成部は、上記付加情報として、上記圧縮符号化処理により高周波情報が失われているか階調情報が失われているかを示す情報を生成する
   請求項２に記載の画像処理装置。
4. 上記付加情報生成部は、上記付加情報として、上記入力画像データの空間アクティビティおよび上記符号化データに圧縮復号化処理が施されて得られる画像データの空間アクティビティの差分に関連した情報を生成する
   請求項３に記載の画像処理装置。
5. 上記高画質化処理は、ノイズ除去処理であり、
   上記付加情報生成部は、上記付加情報として、上記圧縮符号化処理により生じた劣化の大きさを示す情報を生成する
   請求項２に記載の画像処理装置。
6. 上記付加情報生成部は、上記付加情報として、上記入力画像データおよび上記符号化データに圧縮復号化処理が施されて得られる画像データの差分絶対値の最大値の情報を生成する
   請求項５に記載の画像処理装置。
7. 上記符号化データに圧縮復号化処理が施されて得られる画像データに対して行われる所定の画像処理は、所定オブジェクトの領域を拡大する画像拡大処理であり、
   上記付加情報生成部で生成される付加情報は、上記入力画像データに基づいて上記所定オブジェクトの検出処理が行われて得られた該所定オブジェクトの領域情報である
   請求項１に記載の画像処理装置。
8. 上記データ出力部は、上記符号化処理部で得られた符号化データに上記付加情報生成部で生成された付加情報を混合した混合データを出力する
   請求項１に記載の画像処理装置。
9. 入力画像データに圧縮符号化処理を施して符号化データを得る符号化処理ステップと、
   上記入力画像データに関連した付加情報生成情報に基づいて、上記符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報を生成する付加情報生成ステップと、
   上記符号化処理ステップで得られた符号化データおよび上記付加情報生成ステップで生成された付加情報を対応付けて出力するデータ出力ステップと
   を備える画像処理方法。
10. 符号化データと該符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報とが混合された混合データから、上記符号化データおよび上記付加情報を分離する分離部と、
    上記分離部で分離された符号化データに圧縮復号化処理を施して画像データを得る復号化処理部と、
    上記復号化処理部で得られた画像データに対して、上記分離部で分離された付加情報を用いて所定の画像処理を行って出力画像データを得る画像処理部と
    を備える画像処理装置。
11. 符号化データと該符号化データに圧縮復号化処理が施されて得られる画像データに対して所定の画像処理を行う際に用いられる付加情報とが混合された混合データから上記符号化データおよび上記付加情報を分離する分離ステップと、
    上記分離ステップで分離された符号化データに圧縮復号化処理を施して画像データを得る復号化処理ステップと、
    上記復号化処理ステップで得られた画像データに対して、上記分離ステップで分離された付加情報を用いて所定の画像処理を行って出力画像データを得る画像処理ステップと
    を備える画像処理方法。

Images