JP6613720B2 - 画像処理装置、プログラム及び方法 - Google Patents

Description

この発明は、画像処理装置、プログラム及び方法に関し、例えば、動画像を構成する画像の符号化処理（圧縮処理）に適用し得る。

近年、監視カメラシステムの普及は進み、さらなる高フレームレート化、高解像度化、多視点化も望まれている。しかし、監視カメラシステムにおいて、高フレームレート化、高解像度化、多視点化が進むと、動画像のデータ量増大を引き起こし、通信コストやストレージコストの増加を招く。この問題を緩和するため、たとえば、従来、特許文献１では、人物画像の動画像より顔領域を検出し、顔領域の圧縮に多くのビット数を配分する方式が提案されている。

従来、特許文献１、２により、注目領域以外の領域に低域通過フィルタによるフィルタリングをおこない、高周波成分を除くことで情報量を削減することが提案されている。

特許文献１に記載された装置では、入力画像と注目領域を示す注目領域情報とに基づいて、注目領域以外の領域に、低域通過フィルタによるフィルタリングをおこない、高周波成分を除いた画像をさらに圧縮（例えば、ＪＰＥＧやＨ．２６４、Ｈ．２６５などの方式で圧縮）することで、動画像のストリームを出力する。

特許文献２に記載された装置では、画像圧縮を行う圧縮部に与えるパラメータを制御することで、非注目領域の情報量を削減する構成が採用されている。

特開平０４−２１９０８９号公報 特開２００９−４９９７９号公報

特許文献１に記載された装置では、低域通過フィルタを用いることで、情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制するという効果を生み出している。特許文献１に記載された低域通過フィルタによる高周波成分の削減は、画像全体を周波数領域に変換した上で高周波成分の振幅を小さくする処理に相当する。しかしながら、従来の多くの画像圧縮方式（動画像圧縮方式）では、ブロックごとに周波数領域に変換して圧縮するため、仮に画像全体に対して低域通過フィルタを用いて高周波成分の振幅をゼロにしたとしても、ブロック単位の周波数領域では確実に高周波成分の振幅がゼロになるわけではない。それ故に、従来の画像圧縮方式ではアーティファクトの発生を抑制できているわけである。しかしながら、例えば、監視カメラ画像の場合、エンターテイメント映像のように映像全体の品質が重要視される場合と異なる。すなわち、監視カメラ画像のように、アーティファクトが大きな問題にならない用途の場合、効率よく確実にデータ量を削減することの方が重要視される傾向にある。

また、特許文献２に記載された装置のように、圧縮部が提供する機能を用いて情報量を削減すれば、効率よく確実にデータ量を削減することが可能であるが、圧縮部が当該機能を実装していることが前提となる。従来の動画像圧縮処理の規格に基づく装置では、領域ごとに品質を制御する機能を備えていても、実際には当該機能が実装されていないケースもある。特に、圧縮部がハードウェアとして提供されている場合、当該機能を追加することは困難である。

以上のような問題に鑑みて、動画像を構成する各画像の前処理を行う際に、後段の圧縮処理の処理内容に依存せずに効率的に情報量を削減することができる画像処理装置、プログラム及び方法が望まれている。

第１の本発明の画像処理装置は、（１）入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給する前処理部を備え、（２）前記前処理部は、（２−１）前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成する変換部と、（２−２）前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定する注目ブロック判定部と、（２−３）前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力する情報量削減部とを有し、（３）前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減することを特徴とする。

第２の本発明の画像処理プログラムは、コンピュータを、（１）入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給する前処理部として機能させ、（２）前記前処理部は、（２−１）前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成する変換部と、（２−２）前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定する注目ブロック判定部と、（２−３）前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力する情報量削減部とを有し、（３）前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減することを特徴とする。

第３の本発明は、画像処理方法において、（１）前処理部を備え、（２）前記前処理部は、入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給し、（３）前記前処理部は、変換部、注目ブロック判定部、及び情報量削減部を備え、（３−１）前記変換部は、前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成し、（３−２）前記注目ブロック判定部は、前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定し、（３−３）前記情報量削減部は、前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力し、（４）前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減することを特徴とする。

本発明によれば、動画像を構成する各画像の前処理を行う際に、後段の圧縮処理の処理内容に依存せずに効率的に情報量を削減する画像処理装置を提供することができる。

第１の実施形態に係る画像符号化システムの機能的構成について示したブロック図である。 第１の実施形態に係る画像符号化システムの動作について示したフローチャート（その１）である。 第１の実施形態に係る画像符号化システムの動作について示したフローチャート（その２）である。 第１の実施形態に係る注目ブロック判定部の判定方法の例について示した説明図である。 第２の実施形態に係る画像符号化システムの機能的構成について示したブロック図である。 第２の実施形態に係る画像符号化システムの動作について示したフローチャート（その１）である。 第２の実施形態に係る画像符号化システムの動作について示したフローチャート（その２）である。 第２の実施形態に係る画像符号化システムの動作について示したフローチャート（その３）である。

（Ａ）第１の実施形態
以下、本発明による画像処理装置、プロラム及び方法の第１の実施形態を、図面を参照しながら詳述する。以下では、本発明の画像処理装置、プログラム及び方法を画像符号化システムに適用する例について説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像符号化システム１０の機能的構成について示したブロック図である。

画像符号化システム１０は、入力画像（入力画像のデータ）が入力される毎に当該入力画像について圧縮処理(符号化処理)を行い、ストリームデータとして出力する処理を行う。また、画像符号化システム１０は、入力画像の圧縮処理にあたって、付加情報として、注目度合（重要度合）の高い領域が記述された注目領域情報と、後段で圧縮処理（符号化処理）を行う際の圧縮方式(符号化方式)が記述されたコーデック種別を含む情報を利用する。すなわち、画像符号化システム１０は、入力画像とともに付加情報の入力を受け、付加情報を利用して入力画像の圧縮処理を行う。

注目領域情報とは、例えば、入力画像が監視カメラ画像である場合には、人間の顔の部分の領域等、重要な領域を示す情報である。注目領域情報の記述形式は限定されないが、例えば、画素単位で注目領域であるか否かを示すデータを適用するようにしてもよい。注目領域情報の供給元については限定されないものであるが、例えば、画像符号化システム１０を含む監視カメラシステム内で生成される人間の顔領域の認識結果を適用するようにしてもよい。

コーデック種別（符号化種別情報）の記述形式についても限定されないものであるが、例えば、「ＪＰＥＧ」や「Ｈ．２６４／ＡＶＣ」等、所定の複数のコーデック（符号化方式）のいずれかを示す情報（具体的なデータ形式については限定されない）であるものとする。コーデック種別の供給元の構成については限定されないものであるが、例えば、予め設定された内容が供給されるようにしてもよいし、ユーザの設定に応じた情報が供給されるようにしてもよいし、後述する圧縮部３０から供給されるようにしてもよい。

画像符号化システム１０は、大別すると、前処理部としてのプレフィルタ部２０と、符号化処理部としての圧縮部３０とを有している。

画像符号化システム１０は、例えば、プロセッサ及びメモリを有するコンピュータ（プログラムの実施構成）にプログラム（実施形態に係る画像処理プログラム）をインストールすることにより実現してもよい。また、画像符号化システム１０は、一部又は全部の構成要素についてハードウェア（例えば、専用の半導体チップや電気回路）を用いて構成するようにしてもよい。

プレフィルタ部２０は、入力画像と注目領域情報とコーデック種別に基づいて、入力情報に対して情報量を削減する前処理を行い、情報量削減画像を生成する。

圧縮部３０は、情報量削減画像を所定の圧縮方式（符号化方式）で圧縮（例えば、ＪＰＥＧ、Ｈ．２６４、Ｈ．２６５等の圧縮方式（符号化方式）で圧縮（符号化））してストリームデータ（ビットストリーム）として出力する処理を行う。

プレフィルタ部２０は、変換方法選択部２１、注目ブロック判定部２２、及び情報量削減部２３を有している。

変換方法選択部２１は、コーデック種別に基づいて、変換方法やブロックサイズを求め、変換情報として出力するものである。

注目ブロック判定部２２は、注目領域情報と変換方法とから、変換ブロックが注目ブロックか否かを判定し、注目ブロック判定結果を出力するものである。

情報量削減部２３は、変換情報と注目ブロック判定結果と入力画像とに基づいて、注目領域が含まれない非注目ブロックの情報量を削減し、情報量削減画像を出力する。

情報量削減部２３は、変換部２３１、帯域選択部２３２、逆変換部２３３、及び帯域削減部２３４を有している。

変換部２３１は、入力画像と変換情報とから、変換情報に基づくブロックサイズで入力画像を分割し、変換情報に基づく変換を施し、変換ブロックを出力する。

帯域選択部２３２は、変換情報と注目ブロック判定結果と変換ブロックとから、変換情報に基づくブロックサイズ内で、情報量を削減する帯域を選択し、選択結果として出力するものである。

逆変換部２３３は、変換情報と情報量削減ブロックとから、変換情報に基づく逆変換を施し、情報量削減画像を出力する。

帯域削減部２３４は、注目ブロック判定結果と変換ブロックと選択結果とから、注目ブロック判定結果が非注目ブロックであることを指しているときに、変換情報に基づくブロックサイズ内で、選択結果に基づき変換ブロックの情報量を削減し、情報量削減変換ブロックを出力する。なお、この実施形態では、変換ブロックのブロックサイズを帯域削減部２３４に通知するために、変換情報を入力情報として加えているが、ブロックサイズに関する情報を変換ブロックのデータに挿入して帯域削減部２３４に通知する構成としてもよい。

帯域削減部２３４は、量子化部２３４ａ及び逆量子化部２３４ｂを有している。

量子化部２３４ａは、変換情報と注目ブロック判定結果と変換ブロックと選択帯域とから、注目ブロック判定結果が非注目ブロックであることを指しているときに、当該変換情報に基づくブロックサイズ内で、選択結果に基づき、変換ブロックを量子化することで情報量を削減し、量子化ブロックを出力する。

逆量子化部２３４ｂは、変換情報と注目ブロック判定結果と選択帯域と量子化ブロックとから、注目ブロック判定結果が非注目ブロックであることを指しているときに、当該変換情報に基づくブロックサイズ内で、選択結果に基づき、量子化ブロックを逆量子化することで情報量削減変換ブロックを出力する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の画像符号化システム１０の動作（実施形態に係る画像処理方法）について、図２、図３を用いて説明する。

まず、変換方法選択部２１が、入力されたコーデック種別より、変換方法を決定し、変換情報として出力する（Ｓ１０１）。

変換方法選択部２１は、例えば、コーデック種別が「ＪＰＥＧ」の場合、変換情報として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と所定のブロックサイズ（例えば、８×８のブロックサイズ）という変換方法を出力する。また、変換方法選択部２１は、例えば、コーデック種別が、Ｈ．２６４／ＡＶＣである場合、変換情報として、整数変換と所定のブロックサイズ（例えば、４ｘ４のブロックサイズ）という変換方法を出力する。変換方法選択部２１では、例えば、予めコーデック種別に対応する変換情報（変換方法）を登録しておくようにしてもよい。

次に、注目ブロック判定部２２が、与えられた変換情報と注目領域情報に基づき、入力画面を構成する各変換ブロック（変換情報で指定されたブロックサイズの各ブロック）が注目ブロック（注目画素を含む変換ブロック）か否かを判定し、注目ブロック判定結果を出力する（Ｓ１０２）。

次に、注目ブロック判定部２２が、入力画像を構成する変換ブロックごとの判定方法（注目ブロックか非注目ブロックかを判定する方法）の例について、図４を用いて説明する。

以下では、各変換ブロックにおいて、注目領域に含まれる画素を「注目領域画素」と呼ぶものとする。

注目ブロック判定部２２が、各変換ブロックが注目ブロックとなるか非注目ブロックとなるか（注目ブロックとなるか否か）を判定する方法については限定されないものであるが、例えば、１画素でも注目領域画素が含まれる変換ブロックを注目ブロックと判定したり、半数以上の画素が注目領域画素で構成された変換ブロックのみを注目ブロックと判定したり、全ての画素が注目領域画素で構成されている変換ブロックについてのみ注目ブロック判定するようにしてもよい。

図４では、４×４（計１６画素）のブロックサイズの３つの変換ブロックＢ１〜Ｂ３を図示している。図４に示すように、変換ブロックＢ１には注目領域に属する画素は一つも含まれていない。変換ブロックＢ２には注目領域に属する画素が６個含まれている。変換ブロックＢ３には注目領域に属する画素が１３個含まれている。

例えば、ここで、「半数以上の画素が注目領域画素で構成された変換ブロックのみを注目ブロックと判定」というルールが適用される場合、注目ブロック判定部２２は、変換ブロックＢ３のみを注目ブロックに該当すると判定することになる。

次に、変換部２３１が、変換情報に基づき入力画像をブロックに分け、変換情報に基づいてブロックごとに変換処理を行い、変換ブロックを出力する（Ｓ１０３）。

たとえば、変換情報として８ｘ８のＤＣＴが指定されている場合、変換部２３１は入力画像を８ｘ８のブロックに分割し、ブロックごとにＤＣＴを施す。また、例えば、変換情報として４ｘ４の整数変換が指定されている場合、変換部２３１は入力画像を４ｘ４のブロックに分割し、ブロックごとに整数変換を施す。

次に、帯域削減部２３４が、与えられた変換情報と変換ブロックに基づき、帯域ごとに当該帯域を削減するか否かの判断を行う。そして、帯域削減部２３４は帯域ごとに削減するか否かの選択結果を出力する（Ｓ１０４）。

なお、帯域削減部２３４は、非注目ブロックに限定して、帯域ごとに削減するか否かの判断を行うようにしても良い。

帯域削減部２３４が削減する帯域を選択するポリシー（ルール）は限定されないものである。帯域削減部２３４は、例えば、所定の周波数以上の高周波成分にあたる情報を削減する帯域として選択するというポリシーを採用するようにしてもよい。また、帯域削減部２３４は、例えば、予め定めた闘値よりも小さな振幅を持つ帯域を削減する帯域として選択するというポリシーを採用するようにしてもよい。さらに、帯域削減部２３４は、例えば、上述の「所定の周波数以上の高周波成分にあたる情報を削減する帯域として選択する」というポリシーと、「予め定めた闘値よりも小さな振幅を持つ帯域を削減する帯域として選択する」というポリシーの両方を採用するようにしてもよい。

次に、量子化部２３４ａが、与えられた変換情報と選択結果に基づき、各変換ブロックを量子化することで情報量を削減し、量子化ブロックとして出力する（Ｓ１０５）。量子化部２３４ａは、非注目ブロックについてのみ、与えられた変換情報と選択結果に基づき、各変換ブロックを量子化することで情報量を削減する処理を行うようにしてもよい。

量子化部２３４ａが量子化を行う具体的手順については限定されないものである。量子化部２３４ａは、例えば、「指定された帯域を予め定められた量子化ステップ幅で量子化する方法」や、「指定された帯域を高周波成分ほど広い量子化ステップ幅で量子化する方法」等を採用するようにしてもよい。

次に、逆量子化部２３４ｂが、変換情報と選択結果に基づき、量子化ブロックを逆量子化することで、情報量削減変換ブロックを出力する（Ｓ１０６）。当該逆量子化は、注目ブロック判定結果に基づき、非注目ブロックに属するブロックに対してのみおこなうようにしてもよい。

次に、逆変換部２３３が、与えられた変換情報に基づき、情報量削減変換ブロックを逆変換し、情報量削減画像を出力する（Ｓ１０７）。

次に、圧縮部３０が、情報量削減画像を圧縮し、ストリームを出力する（Ｓ１０８）。

次に、画像符号化システム１０（プレフィルタ部２０、圧縮部３０）が、システム終了か否か（例えば、次の入力画像の有無）を判定し（Ｓ１０８）システム終了でない場合（例えば、次の入力画像が存在する場合）のみ上述のステップＳ１０１に戻って次のフレームの処理を行う。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

第１の実施形態の画像符号化システム１０（プレフィルタ部２０）では、入力されたコーデック種別に基づき、入力画像に適切なプレフィルタリング（情報削減処理；前処理）を行う。これにより、第１の実施形態の画像符号化システム１０（プレフィルタ部２０）では、圧縮部３０の圧縮方式（符号化方式）に応じて（圧縮方式に依存せず）適切なプレフィルタリングすることで、非注目領域の情報量を効率よく、かつ確実に削減することができる。

（Ｂ）第２の実施形態
以下、本発明による画像処理装置、プロラム及び方法の第２の実施形態を、図面を参照しながら詳述する。以下では、本発明の画像処理装置、プログラム及び方法を画像符号化システムに適用する例について説明する。

（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態に係る画像符号化システム１０Ａの機能的構成について示したブロック図であり、上述の図１と同一部分又は対応部分には同一符号又は対応符号を付している。

以下では、第２の実施形態の画像符号化システム１０Ａについて、第１の実施形態との差異を説明する。

画像符号化システム１０Ａでは、プレフィルタ部２０がプレフィルタ部２０Ａに置き換わり、さらに、符号量計算部４０が追加されている。また、プレフィルタ部２０Ａでは、コーデック種別最適化部２５が追加されている。

符号量計算部４０は、圧縮部３０が出力するストリームから符号量を計算するものである。

コーデック種別最適化部２５は、最適なコーデック種別を求め、求めたコーデック種別を変換方法選択部２１に供給する。

すなわち、第１の実施形態の画像符号化システム１０（プレフィルタ部２０）では、外部からコーデック種別の情報が供給されることが前提となっているが、第２の実施形態の画像符号化システム１０Ａ（プレフィルタ部２０Ａ）では、コーデック種別の情報供給を外部から受けずに、内部（コーデック種別最適化部２５）で最適なコーデック種別を決定する。

コーデック種別最適化部２５は、符号量計算部４０で計算された符号量のフィードバック（供給）を受けて、供給された符号量に基づき最適なコーデック種別を求める。例えば、コーデック種別最適化部２５は、複数のコーデック種別の選択肢（例えば、ＪＰＥＧやＨ．２６４／ＡＶＣ）から、最も符号量（１フレームあたりの符号量）が小さくなるコーデック種別を最適なコーデック種別として決定する。コーデック種別最適化部２５は、変換方法選択部２１に供給するコーデック種別を切替えながら、フィードバックされる符号量の変化を監視し、最適なコーデック種別（最も符号量が小さくなるコーデック種別）を決定するようにしてもよい。

例えば、コーデック種別最適化部２５は、対応する複数のコーデック種別のそれぞれについて、所定のフレーム数分の符号量（それぞれのフレームのデータ量）を取得し、もっとも１フレームあたりの符号量（符号量の平均値）が少ない結果となったコーデック種別を、最適なコーデック種別として決定するようにしてもよい。具体的には、コーデック種別最適化部２５は、例えば、コーデック種別としてＪＰＥＧを出力して所定のフレーム数分の符号量を取得した後、出力するコーデック種別をＨ．２６４／ＡＶＣに切替えて、同様に所定のフレーム数分の符号量を取得し、最も符号量の少なかったコーデック種別を最適なコーデック種別として決定するようにしてもよい。

そして、コーデック種別最適化部２５は、一旦最適なコーデック種別を決定した後も定期タイミング又は不定期タイミング（例えば、圧縮部３０や配信先が変更される等のイベントが発生したタイミング）で、最適なコーデック種別を決定（当初と同様の処理により決定）しなおすようにしてもよい。コーデック種別最適化部２５は、例えば、符号量の変化を監視し、符号量が増大した場合等は、再度最適なコーデック種別を決定（当初と同様の処理により決定）しなおすようにしてもよい。

コーデック種別最適化部２５が、最適なコーデック種別を決定する際のコーデック種別を切替える順序については、予め設定された順序としてもよいし、ユーザ（例えば、システム管理者等）の設定等に基づいた順序としてもよい。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第１の実施形態の画像符号化システム１０の動作例について、図６〜図８を用いて説明する。図６〜図８では、第１の実施形態（上述の図２、図３）と同様の処理については同一のステップ番号（符号）を付している。以下では、第２の実施形態の画像符号化システム１０Ａについて、第１の実施形態との差異を中心に説明する。

まず、コーデック種別最適化部２５により、コーデック種別の初期値が決定され、変換方法選択部２１に供給される（Ｓ２０１）。コーデック種別最適化部２５におけるコーデック種別の初期値は、例えば、ユーザ（例えば、システム管理者等）により設定された任意の値としてもよい。変換方法選択部２１では、コーデック種別最適化部２５から供給されたコーデック種別に基づいた動作が行われる。

その後、プレフィルタ部２０Ａに入力画像及び注目領域情報が供給され、第１の実施形態と同様に前処理（情報量削減処理）及び圧縮処理（符号化処理）が実行される（ステップＳ１０１〜Ｓ１０８）。

次に、画像符号化システム１０Ａ（プレフィルタ部２０Ａ、圧縮部３０）が、システム終了か否かを判定し（Ｓ２０２）システム終了でない場合のみ後述するステップＳ２０３に移行する。

システム終了でない場合、符号量計算部４０は、圧縮部３０から出力されるストリームデータから符号量（１フレーム分の符号量）を計算して、コーデック種別最適化部２５に供給する（Ｓ２０３）。符号量計算部４０が行う符号量の計算方法は限定されないものである。符号量計算部４０は、例えば、圧縮部３０から出力される１フレーム分のデータ量をカウント（例えば、バイト数やビット数をカウンタにより計数）してもよいし、ストリームデータに埋め込まれている符号量を示す情報そのものから１フレーム分のデータ量を把握するようにしてもよい。

次に、コーデック種別最適化部２５は、符号量計算部４０から符号量の情報の供給を受け、次のフレーム（入力画像）に適用するコーデック種別を判断し、判断結果に応じたコーデック種別の情報を、変換方法選択部２１に供給する（Ｓ２０４）。コーデック種別最適化部２５の判断処理の具体例については、上述の「（Ｂ−１）第２の実施形態の構成」で説明したとおりである。

そして、画像符号化システム１０Ａは、上述のステップ１０１の処理に戻って、次のフレーム（入力画像）の処理に移行する。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

第２の実施形態の画像符号化システム１０Ａ（プレフィルタ部２０Ａ）では、コーデック種別最適化部２５が、符号量計算部４０から供給される符号量に基づいて、最適なコーデック種別を判別する。これにより、第２の実施形態では、プレフィルタ部２０Ａで、圧縮部３０の対応するコーデックが不明であったり、圧縮部３０で用いられるコーデックが動的に変更するような場合でも、適切なプレフィルタリング（情報量削減処理）を行うことができる。

（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｃ−１）第２の実施例においては、コーデック種別最適化部へ入力する符号量を、圧縮部の出力するストリームから画像符号化システム内部の符号量計算部で計算していたが、例えば、「圧縮機能が遠隔地にあり、遠隔地の圧縮機能からストリームの符号量を得るような構成」や、「圧縮部のストリームを遠隔地で異なる圧縮方式で圧縮しなおし、圧縮しなおした後のストリームの符号量を得るような構成」であっても本発明の効果は得られる。

（Ｃ−２）上記の各実施形態において、プレフィルタ部に注目領域情報を入力する構成で説明しているが、非注目領域の情報を入力する構成としてもよい。

（Ｃ−３）上記の各実施形態において、情報量削減部、変換部及び逆変換部は、全てのブロックに対して情報削減や変換の処理をおこなうものとして説明しているが、非注目領域に対してのみ、当該処理をおこなうようにしてもよい。この場合、注目領域の処理がおこなわれないことで、演算量の削減効果や変換による画質の劣化を防ぐ効果などが得られる。

（Ｃ−４）上記の各実施形態において、本発明の画像処理装置を、圧縮部及びプレフィルタ部を備える画像符号化システムに適用する例について示したが、本発明の画像処理装置では、プレフィルタ部のみ備える装置として実現するようにしてもよい。本発明の画像処理装置において、プレフィルタ部のみ備える構成であったとしても注目領域を際立たせる等の効果は得られる。

（Ｃ−５）上記の各実施形態では、帯域削減部で、注目ブロック判定結果に基づき、非注目ブロックであった場合にのみ、帯域削減部に注目ブロック判定結果を入力しているが、注目ブロック判定結果を入力せず、全ブロックで削減する帯域か否かの判定処理をおこなうようにしてもよい。

（Ｃ−６）上記の各実施形態の帯域削減部において、選択結果により指定された帯域をゼロを含む一定値にすることで、情報を削減するようにしてもよい。

（Ｃ−７）上記の各実施形態において、変換ブロックのブロックサイズを量子化部と逆量子化部に通知するために、変換情報を入力情報として加えているが、ブロックサイズに関する情報を変換ブロックのデータに挿入して量子化部と逆量子化部に通知するようにしてもよい。

（Ｃ−８）上記の各実施形態では、変換方法選択部により変換情報を生成するものとして説明したが、予め定められた変換情報に基づき、注目ブロック判定部、情報量削減部及び情報量削減部が動作するようにしてもよい。

（Ｃ−９）上記の各実施形態において、情報量削減部２３は、たとえば、注目ブロック判定結果が非注目ブロックを指している場合に、ブロック内の平均値やモード値などの代表値を求め、代表値でブロック内を塗りつぶすことで、情報量削減画像を生成してもよい。

１０…画像符号化システム、２０…プレフィルタ部、２１…変換方法選択部、２２…注目ブロック判定部、２３…情報量削減部、２３１…変換部、２３２…帯域選択部、２３３…逆変換部、２３４…帯域削減部、２３４ａ…量子化部、２３４ｂ…逆量子化部、３０…圧縮部。

Claims (9)

1. 入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給する前処理部を備え、
   前記前処理部は、
   前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成する変換部と、
   前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定する注目ブロック判定部と、
   前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力する情報量削減部とを有し、
   前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減する
   ことを特徴とする画像処理装置。
2. 前記注目ブロック判定部は、変換ブロックごとに、注目領域に属する画素の量に応じて注目ブロックであるか非注目ブロックであるかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化処理部が対応する符号化方式に関する符号化種別情報に基づいて、前記変換部の変換方法を決定する変換方法選択部をさらに有し、
   前記変換部は、前記変換方法選択部の選択結果に基づいたブロックサイズで変換処理を行って変換ブロックを生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 最適な符号化種別情報を求め、求めた符号化種別情報を前記変換方法選択部に供給する符号化種別最適化部をさらに備え、
   前記変換方法選択部は、前記符号化種別最適化部から供給された符号化種別情報に基づいて、前記変換部の変換方法を決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記符号化種別最適化部は、前記符号化処理部が出力する符号量を収集し、収集した符号量に基づき、最適な符号化種別情報を求めることを特徴とする請求項４に記載の画像処理装置。
6. 前記符号化種別最適化部は、前記変換方法選択部に供給する符号化種別情報ごとの符号量を収集し、最適な符号化種別情報を求めることを特徴とする請求項５に記載の画像処理装置。
7. 前記符号化種別最適化部は、前記変換方法選択部に供給する符号化種別情報ごとの符号量を収集し、最も符号量の少なくなる符号化種別情報を、最適な符号化種別情報と判断することを特徴とする請求項６に記載の画像処理装置。
8. コンピュータを、
   入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給する前処理部として機能させ、
   前記前処理部は、
   前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成する変換部と、
   前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定する注目ブロック判定部と、
   前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力する情報量削減部とを有し、
   前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減する
   ことを特徴とする画像処理プログラム。
9. 画像処理方法において、
   前処理部を備え、
   前記前処理部は、入力画像の情報量を削減する前処理を行って前処理後画像を生成し、前処理後画像を符号化して出力する符号化処理部に供給し、
   前記前処理部は、変換部、注目ブロック判定部、及び情報量削減部を備え、
   前記変換部は、前記入力画像を所定のブロック単位に分割して所定の方式で変換処理を行って変換ブロックを生成し、
   前記注目ブロック判定部は、前記入力画像の注目領域又は非注目領域を示す領域情報を保持し、領域情報に基づいて、変換ブロックごとに注目ブロックに該当するか否かを判定し、
   前記情報量削減部は、前記入力画像のうち、注目ブロックと判定されなかった非注目ブロックの情報量を削減し、情報量削減画像として出力し、
   前記情報量削減部は、量子化部と逆量子化部を備え、前記量子化部を用いて非注目ブロックについて量子化し、前記逆量子化部を用いて量子化された非注目ブロックについて逆量子化を行うことで非注目ブロックの情報量を削減する
   ことを特徴とする画像処理方法。

Images