JP4730525B2 - 画像処理装置及びそのプログラム - Google Patents

Description

本発明は、カラーを含む多階調で表現された画像を拡大する画像処理装置に関する。

画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使う方法である。この方法は、演算量が少ないため、高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は、画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には、画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求める方法である。この方法では、最近傍法よりも処理は重いが、演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法では、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく、演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点もある。

これら拡大画像の画質問題を解決する試みとして、例えば、特許文献１、特許文献２などの新規方式が提案されている。
特許文献１に記載されている技術は、原画像の変化度合いの検出法として、エッジ検出フィルタによるエッジ検出を行い、そのエッジ検出結果に基づいてエッジ画素を定義する。そして、この方法は、エッジ画素と判断された場合には、キュービック・コンボリューション法の３次関数形状を調整したＭ−キュービック法で拡大を行い、そうでない場合には、最近傍法で拡大する。しかし、変化度合いの大きいエッジ部分を、キュービック・コンボリューション法の３次関数形状よりもエッジを強調するように調整したＭ−キュービック法で行うので、エッジ部でジャギーが発生したり、エッジ部周辺のオーバーシュートあるいはアンダーシュートが増大するという欠点がある。

特許文献２に記載されている技術は、人物の肌や、風景における空など、シャープネス強度を上げるとザラツキが目立つ部分に関しては、バイリニア補間を、その他のシャープネスが必要な部分にはＭ-キュービック補間を用いて、画像を拡大する。しかし、特許文献２に記載されている技術もまた、シャープネスが必要な部分に対して、上述した特許文献１と同様に、Ｍ-キュービック法で補間を行うので、エッジ部のジャギーの発生や、さらにエッジ部周辺のオーバーシュート、アンダーシュートが発生すると考えられる。

特開２０００−１８８６８１号公報 特許第２０００−１５１９９０号公報

本発明は、上述した背景からなされたものであり、カラーを含む多階調で表現された画像を、高画質に、かつ軽い処理負荷で高速に拡大する画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、注目画素を含む所定の大きさの画像領域について算出した特徴量が既定の基準値以上である画像領域について、該画像領域内の各画素が有する色要素間の関係が同じである場合は該画像領域を同色ブロックと判定し、該画像領域内の各画素が有する色要素間の関係が異なる場合は該画像領域を境界ブロックと判定する画像領域判定手段と、前記画像領域判定手段により同色ブロックと判定された画像領域について、該画像領域内の階調変化方向および既定の画素値パターンに対応する第1の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第１の拡大画像領域生成手段と、前記第１の拡大画像領域生成手段で用いる拡大手法よりも画像領域のエッジを際立たせるように、前記画像領域判定手段により境界ブロックと判定された画像領域について、該画像領域内の階調変化方向及び既定の画素値パターンに応じた画素位置について前記第1の演算式を変更した第2の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第2の拡大画像領域生成手段とを有する。

好適には、前記画像領域判定手段は、画像領域内の各画素値に基づいて算出された画像領域における階調変化量を画像領域の特徴量として、該特徴量が既定の基準値以上である画像領域を判定の対象とする。
好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域内の各画素値から算出された画像領域における階調変化方向に基づいて拡大画像領域を生成する。

好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域内の各画素値から算出された画像領域における階調変化に対応する既定の画素値パターンに基づいて拡大画像領域を生成する。
好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、色空間における複数の色成分のうち、該色成分それぞれについて算出した特徴量に基づき選択された１つの色成分からさらに算出した特徴量に基づいて拡大画像領域を生成する。

好適には、前記画像領域判定手段は、画像領域内の各画素の色成分値それぞれの大小関係により、画像領域を判定する。

好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域の特徴量と、該画像領域の近傍領域の特徴量と、該近傍領域内の画素値とを用いて、拡大画像領域を生成する。
好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、階調変化を強調するエッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する。
好適には、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、階調変化方向に応じて、画像領域の近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する。

好適には、前記第２の拡大画像領域生成手段は、画像領域について算出された特徴量に基づいて、拡大画像領域内の画素を選択し、既定の演算法を用いて、選択された画素の画素値を補正する。

好適には、前記拡大処理手段は、少なくとも最近傍補間法に基づいた拡大手法を適用する。
好適には、前記拡大処理手段は、少なくとも線形補間法に基づいた拡大手法を適用する。
好適には、前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に、拡大画像を生成する。

また、好適には、前記拡大画像生成手段は、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を、前記拡大処理手段により生成された拡大画像の対応する位置に配置する。
また、好適には、前記拡大画像生成手段は、前記拡大処理手段により生成された拡大画像上の各画素値を、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域の各画素値に置換する。
さらに、好適には、前記拡大画像生成手段は、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成される複数の拡大画像領域が互いに重なり合う場合に、これらの拡大画像領域の重畳部分について、同一画素に対応する複数の画素値の平均値を算出する。

また、本発明にかかるプログラムは、コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、注目画素を含む所定の大きさの画像領域について算出した特徴量が既定の基準値以上である画像領域について、該画像領域内の各画素が有する色要素間の関係が同じである場合は該画像領域を同色ブロックと判定し、該画像領域内の各画素が有する色要素間の関係が異なる場合は該画像領域を境界ブロックと判定する画像領域判定ステップと、同色ブロックと判定された画像領域について、該画像領域内の階調変化方向および既定の画素値パターンに対応する第1の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第１の拡大画像領域生成ステップと、前記第１の拡大画像領域生成ステップで用いる拡大手法よりも画像領域のエッジを際立たせるように、境界ブロックと判定された画像領域について、該画像領域内の階調変化方向及び既定の画素値パターンに応じた画素位置について前記第1の演算式を変更した第2の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第２の拡大画像領域生成ステップとを前記画像処理装置のコンピュータに実行させる。

本発明の画像処理装置によれば、カラーを含む多階調で表現された画像を、高画質に、かつ軽い処理負荷で高速に拡大できる。

［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６を有する。
画像処理装置２は、例えば、画像拡大プログラム４（図２を参照して後述）がインストールされた汎用コンピュータであり、通信装置２２又は記憶装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム４の機能構成を示す図である。
図２に示すように、画像拡大プログラム４は、記憶部４００、画像ブロック設定部４１０、画像ブロック特徴量算出部４２０、高画質画像ブロック生成部４３０、高速拡大処理部４４０及び拡大画像生成部４５０を有する。また、画像ブロック特徴量算出部４２０は、エッジ強度算出部４２２、境界ブロック判定部４２４（画像領域判定手段）、エッジ方向推定部４２６及びエッジパターン選択部４２８を有し、高画質画像ブロック生成部４３０は、境界ブロック処理部４３２を有する。
なお、画像拡大プログラム４の全部又は一部は、ＡＳＩＣなどのハードウェアにより実現されてもよい。

記憶部４００は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。

画像ブロック設定部４１０は、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０の処理において必要とされる既定の画像ブロックサイズをそれぞれ設定する。また、画像ブロック設定部４１０は、記憶部４００により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０それぞれに対して出力する。

画像ブロック特徴量算出部４２０は、画像ブロック設定部４１０から順次入力される画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量は、例えば、注目領域のエッジ強度（階調変化量）、エッジ角度（階調変化の方向）又は色情報である。しかし、画像特徴量はこれらに限られない。画像ブロック特徴量算出部４２０は、例えば、注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

また、画像ブロック特徴量算出部４２０は、それぞれの注目領域について算出された画像特徴量と基準値とを比較し、注目領域の切り分けを行う。注目領域の切り分けにより、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とが切り分けられる。より具体的には、画像ブロック特徴量算出部４２０は、算出された画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、算出された画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。

本例では、画像ブロック特徴量算出部４２０は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いられる特徴量は、エッジ強度に限られず、上述の色情報、標準偏差、分散又はその他の特徴量であってもよい。

さらに、画像ブロック特徴量算出部４２０は、特徴ブロックと判定されたブロックについて、ブロック内の各画素の色調情報を算出し、ブロック内全ての画素が同じ色調であるブロックか、異なる色調を持つ画素を含むブロックかを判定し、後者の場合、境界ブロックであると判定する。

高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部４３０における拡大処理には、注目領域に含まれる特徴を保持する拡大手法が適用されることが望ましい。また、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。
また、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により同色ブロックと判定された特徴ブロックと、境界ブロックと判定された特徴ブロックとに対して、異なる手法を適用して、拡大画像ブロックを生成する。

高速拡大処理部４４０は、記憶部４００により記憶されている入力画像データを拡大する。高速拡大処理部４４０は、高画質画像ブロック生成部４３０による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部４４０は、例えば、最近傍補間拡大法や線形補間拡大法などを適用して、入力画像データを拡大する。また、高速拡大処理部４４０は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行う。

拡大画像生成部４５０は、高画質画像ブロック生成部４３０により拡大された拡大画像ブロックと、高速拡大処理部４４０により拡大された拡大画像とを用いて、原画像に対する拡大画像を生成する。より具体的には、拡大画像生成部４５０は、画像ブロック特徴量算出部４２０により算出された画像特徴量が、基準値以上である画像ブロック（特徴ブロック）についてのみ、高画質画像ブロック生成部４３０により拡大された拡大画像を適用し、算出された画像特徴量が基準値未満である画像ブロック（非特徴ブロック）については、高速拡大処理部４４０により拡大された拡大画像を適用して、１つの拡大画像を生成する。

［画像ブロック特徴量算出部］
次に、画像ブロック特徴量算出部４２０を、より詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
エッジ強度算出部４２２は、画像ブロック設定部４１０により切り出された画像ブロックの中の注目領域のエッジ強度Ｇを、次の式（１）により算出する。

ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・（１）

式（１）において、ａ、ｂ、ｃ及びｄは、図５に例示するように、注目領域にある各画素の画素値である。ｇｘは、主走査方向（図５の左右方向）の画素値の変化量を示し、ｇｙは、副走査方向（図５の上下方向）の画素値の変化量を示す。
なお、エッジ強度は、上記式（１）のみにより算出される値でなく、以下の式（２）などにより算出されてもよい。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・（２）
すなわち、エッジ強度Ｇは、ｇｘの絶対値と、ｇｙの絶対値との和として算出されてもよい。

また、エッジ強度算出部４２２は、算出されたエッジ強度Ｇと基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、判定結果を高画質画像ブロック生成部４３０等に対して出力する。
なお、注目領域のエッジ強度Ｇがしきい値Ｔｈよりも小さい場合は、エッジ方向推定部４２６及びエッジパターン選択部４２８は、この注目領域について処理を行わない。

図３は、エッジ強度算出部４２２において、エッジ強度Ｇと基準値との比較により特徴ブロックと判定された領域を例示する。
図３に例示するように、特徴ブロックは、原画像中のエッジ付近に集中する。
図４は、画像中のエッジ部分、特徴ブロック及びこの特徴ブロックの画素値を例示する図であって、図４（Ａ）は、画像中のエッジ部分を例示する図であり、図４（Ｂ）は、図４（Ａ）に例示された画像中で特徴ブロック（特徴ブロック１、特徴ブロック２及び特徴ブロック３）と判定された画像領域を例示し、図４（Ｃ）は、前記特徴ブロックそれぞれの画素値を例示する図である。

境界ブロック判定部４２４は、エッジ強度算出部４２２において特徴ブロックと判定された画像ブロック（図４（Ｂ）に例示された特徴ブロック１、特徴ブロック２及び特徴ブロック３）に対して、ブロック内の各画素の色要素（例えばＲ、Ｇ、Ｂ）の画素値の大小関係を判定する。より具体的には、境界ブロック判定部４２４は、図４（Ｃ）に例示された各画素のＲ、Ｇ、Ｂそれぞれの画素値の大小関係を判定する。例えば図４（Ｂ）の特徴ブロック１では、各画素のＲ、Ｇ、Ｂの大小関係が全ての画素につきＲ≧Ｇ≧Ｂであるので、境界ブロック判定部４２４は、このような特徴ブロックを同色ブロックと判定する。

それに対して、図４（Ｂ）の特徴ブロック２及び特徴ブロック３では、図４（Ｃ）の枠で囲まれた画素のＲ、Ｇ、Ｂの大小関係が、他の画素と異なる。即ち、特徴ブロック２では、大小関係は、枠で囲まれた画素においては、Ｇ≧Ｒ≧Ｂであるのに対して、他の３画素においては、Ｒ≧Ｇ≧Ｂである。また、特徴ブロック３では、大小関係は、枠で囲まれた画素においては、Ｒ≧Ｇ≧Ｂであるのに対して、他の３画素においては、Ｇ≧Ｒ≧Ｂである。境界ブロック判定部４２４は、前述したようなブロック中に異なるＲＧＢ大小関係を持つ画素が含まれる特徴ブロックを、境界ブロックと判定する。

境界ブロック判定部４２４は、同色ブロック及び境界ブロックの判定結果を、高画質画像ブロック生成部４３０等に出力する。
なお、同色ブロック及び境界ブロックを判定する方法は、上述した方法に限られず、色相変化を算出できる手法であればどのような手法であってもよい。さらに、図４に示した本具体例では、特徴ブロック２及び特徴ブロック３が、境界ブロックとして判定されているが、例えば、「同色ブロックから境界ブロックへと変化する特徴ブロックを境界ブロックと判定する」として、特徴ブロック２を境界ブロックと判定するなどの判定手法が、境界ブロックの判定基準として用いられてもよい。
このようにして、境界ブロック判定部４２４は、入力画像のエッジ部分を検出することができる。

次に、エッジ方向推定部４２６について説明する。
図５は、注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図５（Ａ）は、注目領域及び周辺領域を例示し、図５（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図５（Ａ）に例示するように、注目領域（画像領域）は、２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は、４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形は、それぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。
以下、この図５（Ａ）で例示する注目領域を具体例として、エッジ方向推定部４２６によるエッジ方向推定処理を説明する。

図６は、エッジ方向推定部４２６によるエッジ方向推定処理（Ｓ１０）を示すフローチャートである。
図７は、エッジ方向推定処理（Ｓ１０）のＳ１０２の処理において選択される参照領域を例示する図である。なお、図７におけるハッチングされた部分は、図５に示した注目領域に相当する。
図６に示すように、ステップ１００（Ｓ１００）において、エッジ方向推定部４２６は、図５（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・（３）
図５（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入すると、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図５（Ｂ）に示された破線方向に相当する。

さらに、エッジ方向推定部４２６は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

ステップ１０２（Ｓ１０２）において、エッジ方向推定部４２６は、算出された注目領域のエッジ角度Θに応じて、図５（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部４２６は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部４２６は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図７（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図７（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図７（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図５に示した具体例では、エッジ角度の方向は「方向２」であるので、図７（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図７に例示した領域に限定されず、例えば図７（Ｃ）の場合には、参照領域数は８であったり、それぞれの方向に応じて設定されてもよい。

ステップ１０４（Ｓ１０４）において、エッジ方向推定部４２６は、選択された参照領域それぞれに対して、Ｓ１００の処理と同様に、式（１）及び式（３）に従って、エッジ角度Θを計算する。
ステップ１０６（Ｓ１０６）において、エッジ方向推定部４２６は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部４２６は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ１０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ１１０の処理に移行する。

ステップ１０８（Ｓ１０８）において、エッジ方向推定部４２６は、角度参照数をインクリメントする。すなわち、エッジ方向推定部４２６は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップ１１０（Ｓ１１０）において、エッジ方向推定部４２６は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ１１２の処理に移行し、これ以外の場合には、Ｓ１０４の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップ１１２（Ｓ１１２）において、エッジ方向推定部４２６は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図５に示した具体例では、エッジ角度ΘＵは、上部の参照領域｛８６，２０３，１７１，２１１｝からΘＵ＝−１４９．４°となり、エッジ角度ΘＬは、左部の参照領域｛１０，１５，２０，８６｝からΘＬ＝−１３１．２°となり、エッジ角度ΘＤは、下部の参照領域｛１，１０２，１５，１０４｝からΘＤ＝−１７５．２°となり、エッジ角度ΘＲは、右部の参照領域｛１０４，２１５，２０３，２１９｝からΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度とが比較され、その差分が閾値Θｔｈより小さい参照領域の数が、角度参照数としてカウントされる。

図８は、図５に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって、平均エッジ角度は−１４７．５°と求められる。この場合においても、エッジ方向推定部４２６は、上述の注目領域のエッジ方向と同様に、平均エッジ角度が例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、「方向１」が推定エッジ方向となる。

なお、図８においては、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データにより、上記のエッジ方向推定処理が行われればよい。より具体的には、画像ブロック特徴量算出部４２０は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにして、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下が抑えられることが可能となる。
また、本例では、注目領域及び参照領域について、式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、分類は８方向に限定されず、より精度の高いエッジ方向が必要であれば、分類は、１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域を対象としてなされてもよい。

エッジパターン選択部４２８について説明する。
図９は、エッジパターン選択部４２８により用いられるエッジパターンテーブルを例示する図である。
図９に例示するように、エッジパターン選択部４２８は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、エッジパターンが、注目領域のパターンサイズに対応して、推定エッジ方向（例えば８方向）ごとに１つ以上登録されている。
エッジパターン選択部４２８は、このエッジパターンテーブルを参照して、エッジ方向推定部４２６によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図８に例示するように、注目領域に対する推定エッジ方向が、エッジ方向推定部４２６により「方向１」であると推定されているため、エッジパターン選択部４２８は、この推定エッジ方向（方向１）に従い、図９に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域に対するエッジパターンの候補とする。

エッジパターン選択部４２８は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１０を参照しながら説明する。
図１０は、図９に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１０（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１０（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、エッジパターンは、白部分を０、それ以外を１としてビットパターン化され、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図９に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部４２８は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部４２８は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。

Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・（４）

なお、本例では、図１０（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部４２８は、これらの正負符号を判定して、図１０（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
エッジパターン選択部４２８は、図１０（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１０（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する高画質画像ブロック生成部４３０における拡大画像ブロック生成処理に適用される。

なお、エッジパターンは、図９に示したエッジパターンに限定されず、例えば、エッジパターン選択部４２８は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部４２８は、各角度におけるエッジパターン候補数を増減させてもよい。

［高画質画像ブロック生成部］
次に、高画質画像ブロック生成部４３０をより詳細に説明する。
高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０において、特徴ブロックかつ同色ブロックであると判定された注目領域に対して、画像ブロック特徴量算出部４２０により得られた注目領域に対するエッジパターン及び推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。また、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０において、特徴ブロックかつ境界ブロックと判定された注目領域に対しては、境界ブロック処理部４３２を介して、上述した手法とは異なる手法を適用して、拡大画像ブロックを生成し、生成された画素のうち、所定の画素の画素値を補正する。

以下に、同色ブロックと判定された注目領域に対する拡大画像ブロック生成処理について説明する。
高画質画像ブロック生成部４３０は、まず、拡大処理の拡大倍率に応じたサイズ及び係数の強調カーネルを用いて、画像ブロック設定部４１０により切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。
図１１は、高画質画像ブロック生成部４３０により用いられる強調カーネル４３４（エッジ強調カーネル）を例示する図である。
図１１に例示するように、第１の強調カーネル４３４ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル４３４ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。

第１の強調カーネル４３４ａは、図１１（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル４３４ｂは、第１の強調カーネル４３４ａよりも拡大倍率の大きな画像に対して適用され、図１１（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル４３４ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ’が算出される。
画素値Ｐ’＝１．６０×Ｐ−０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・（５）

このように、強調カーネルは、既になされた拡大処理の拡大倍率に応じて異なるので、画像が、４倍、８倍と順に拡大されると、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部４３０は、図１１に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部４３０は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル４３４ａ（図１１（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル４３４ｂ（図１１（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図１１に示すような上下左右に限られない。例えば、高画質画像ブロック生成部４３０は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、又は、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により得られた注目領域に対するエッジパターン及び推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域との画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。

図１２は、高画質画像ブロック生成部４３０における拡大画像ブロックの生成処理の具体例の説明図である。まず、高画質画像ブロック生成部４３０は、注目領域のエッジパターン及び推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて、３×３画像ブロックに相当する画素値を算出する。図１２（Ａ）は、図５（Ａ）に示した注目領域及び周辺領域の一例を示す。前述したように画像ブロック特徴量算出部４２０において、この注目領域はエッジパターン１０１０に対応し、推定エッジ方向は「方向１」であると求められている。高画質画像ブロック生成部４３０は、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１２（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１２（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。なお、エッジパターンと推定エッジ方向との組み合わせは、「（エッジパターン）−（推定エッジ方向）」と表される。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ

これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。

図１３は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いられる計算式の一例の説明図である。
図１３（Ａ）は、（エッジパターン１０００）−（推定エッジ方向「１」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２

図１３（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２

図１３（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ

図１３（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。

ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２

なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値が計算されることができる。

次に、高画質画像ブロック生成部４３０は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素とを用いて４×４画像ブロックを生成する。

図１４は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１４（Ａ）に示したように、参照画素ｒ０〜ｒ５は、図１４（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択される。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１４（Ｂ）に示したように、参照画素ｒ０〜ｒ５は、左下から上へ３画素と右上から下へ３画素となるように選択される。参照画素ｒ６〜ｒ１３は、推定エッジ方向に拠らず、図１４（Ａ）及び図１４（Ｂ）に示すように、上下それぞれ４画素を選択される。このように、参照画素は、注目領域における推定エッジ方向に基づいて選択される。もちろん、参照画素の選択は、図１４に示すように２パターンからの選択に限定されず、推定エッジ方向に従い、より多くの参照画素選択パターンが用意されてもよい。また、選択する参照画素は、推定エッジ方向に応じて変更されてもよい。

図１５は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１５に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、及び注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次の計算式に従って、４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）が計算されて、４ｘ４拡大画像ブロックが生成される。

ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

このようにして、４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）は、画像ブロック特徴量算出部４２０により特徴ブロックかつ同色ブロックと判断された注目領域に対して生成される。
以上説明したように、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により算出された画像特徴量に従って、拡大画像ブロック生成処理を行うことにより、ジャギーを抑えた高画質な拡大処理をすることができる。

また、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により特徴ブロックかつ境界ブロックと判断された注目領域に対しては、境界ブロック処理部４３２を介して、拡大画像ブロックを生成する。
以下に、境界ブロック処理部４３２について説明する。
境界ブロック処理部４３２は、画像ブロック特徴量算出部４２０において、特徴ブロックであり境界ブロックであると判定された注目領域に対して、図１２及び図１３で示した３×３拡大画像ブロックの算出式とは異なる算出式を用いて、拡大画像ブロックを生成する。さらに、境界ブロック処理部４３２は、図１５で示した算出式を用いて生成された４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）から、注目領域のエッジパターン及び推定エッジ方向に基づいて１つ以上の画素を選択し、その画素値を補正する。

図１６は、境界ブロック処理部４３２における拡大画像ブロックの生成処理と、画素値補正処理の具体例の説明図である。図１６（Ａ）は、図１２で示された、特徴ブロックであるが境界ブロックではない注目領域の（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合における３×３拡大画像ブロックの算出式を示す。図１６（Ｂ）は、注目領域が境界ブロックである場合、図１６（Ａ）と同様の組み合わせ（エッジパターン１０１０）−（推定エッジ方向「１」）における算出式を示す。
図１６（Ｂ）に示すように、境界ブロック処理部４３２は、注目領域が境界ブロックである場合には、図１６（Ａ）に示される算出式とは異なる次の算出式を用いて、ｐ０〜ｐ８の画素値を計算する。なお、図１６（Ｂ）においては、図１６（Ａ）の算出式と異なる算出式は、点線で囲まれて示されている。

ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝ｄ
ｐ６＝ｃ
ｐ７＝ｄ
ｐ８＝ｄ

また、図１６（Ｃ）に示すように、境界ブロック処理部４３２は、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合には、図１５の算出式を用いて生成された４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）から、例えば６つの補正画素（ｓ１、ｓ４、ｓ７、ｓ８、ｓ１１、ｓ１４）を選択し、図１５の算出式を用いて得られた各々の画素値を補正する。
境界ブロック処理部４３２は、以下の算出式を用いて、補正値を計算する。

ｓ１´ ＝ ｓ１−α×ｓ１
ｓ４´ ＝ ｓ４−α×ｓ４
ｓ７´ ＝ ｓ７＋α×ｓ７
ｓ８´ ＝ ｓ８−α×ｓ８
ｓ１１´＝ｓ１１＋α×ｓ１１
ｓ１４´＝ｓ１４＋α×ｓ１４

ここで、αは、拡大画像ブロックのエッジ鮮鋭度を調整するパラメータであり、所望のエッジ鮮鋭度を得るために可変であってもよいし、予め既定値とされてもよい。

上述の具体例では、「（エッジパターン１０１０）−（推定エッジ方向「１」）」の組み合わせの場合について、３×３拡大画像ブロックの算出式の変更、補正画素の選択及び補正値の計算の例を述べたが、例えば図１３に示した他の「（エッジパターン）−（推定エッジ方向）」の場合についても、境界ブロック処理部４３２では、エッジパターン及び推定エッジ方向に基づいて、同色ブロックのための算出式等とは異なる変更算出式、補正画素の選択及び補正値の計算式が、一意に定められている。

以上説明したように、境界ブロック処理部４３２における拡大画像ブロック生成の算出式の変更及び生成画素値の選択並びに補正は、境界ブロックと判定された注目領域に対する拡大画像ブロックの特徴（本例ではエッジ）をより際立たせるようになされる。
従って、上記で説明した算出式の変更方法、補正画素の選択及び補正計算方法は、上述した方法等に限られず、注目領域の特徴量をより際立たせるための、算出式の変更方法、画素の選択、補正計算方法であれば、どのような方法等でもよい。

［拡大画像生成部］
次に、拡大画像生成部４５０をより詳細に説明する。
拡大画像生成部４５０は、高画質画像ブロック生成部４３０により生成された注目領域に対する拡大画像ブロックと、高速拡大処理部４４０から出力された拡大画像とを統合する。
図１７は、高画質画像ブロック生成部４３０により生成された４×４画素の拡大画像ブロックと、高速拡大処理部４４０から出力された拡大画像とを統合する具体例の説明図である。
図１７に示すように、拡大画像生成部４５０は、順次生成された拡大画像ブロック０及び拡大画像ブロック１を、高速拡大処理部４４０から出力された拡大画像上の対応する位置に、順次配置するようにして統合する。このとき、拡大画像生成部４５０は、拡大画像上の各画素値を、拡大ブロックの各画素値（Ｓ０〜Ｓ１５）で置き換えるように配置してもよいし、拡大画像上の各画素値と拡大ブロックの各画素値（Ｓ０〜Ｓ１５）とを重畳するように配置してもよい。

拡大画像ブロック同士（図１７における拡大画像ブロック０及び拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合には、拡大画像生成部４５０は、各拡大画像ブロックのオーバーラップする画素の画素値の平均値を、この画素の画素値とする。また、拡大画像生成部４５０は、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより、各画素値を算出してもよい。

［全体動作］
画像処理装置２の全体動作（画像拡大処理）を説明する。
図１８は、画像処理装置２の全体動作を示すフローチャート（Ｓ２０）である。
図１８に示すように、ステップ２００（Ｓ２００）において、画像ブロック設定部４１０は、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０における処理で必要とされる既定の画像ブロックのサイズをそれぞれ設定し、記憶部４００に記憶されている処理対象画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを、画像ブロック特徴量算出部４２０及び高画質画像ブロック生成部４３０にそれぞれ出力する。

ステップ２０２（Ｓ２０２）において、画像ブロック特徴量算出部４２０は、入力された画像ブロック中の注目領域のエッジ強度Ｇを、式（１）を用いて算出する。
なお、｛ａ，ｂ，ｃ，ｄ｝は、図５に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部４２０は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップ２０４（Ｓ２０４）において、画像ブロック特徴量算出部４２０は、注目領域のエッジ強度Ｇに基づいて、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定する。具体的には、画像ブロック特徴量算出部４２０は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ以上である場合（すなわち、注目領域内の階調変化量が大きい場合）に、この注目領域を特徴ブロックとし、算出されたエッジ強度Ｇが既定の閾値Ｔｈ未満である場合（すなわち、注目領域内の階調変化量が小さい場合）に、この注目領域を非特徴ブロックとする。
画像処理装置２は、注目領域が特徴ブロックであると判定された場合に、この注目領域の画像特徴を保存するような拡大処理行うべくＳ２０６の処理に移行し、注目領域が非特徴ブロックであると判定された場合に、Ｓ２００の処理に戻り、次の画像ブロックを処理する。

ステップ２０６（Ｓ２０６）において、画像ブロック特徴量算出部４２０は、特徴ブロックと判定された注目領域について、ブロック内の各画素の色要素の画素値の大小関係を判定し、特徴ブロックが同色ブロックであるか境界ブロックであるかを判定する。

ステップ２０８（Ｓ２０８）において、画像ブロック特徴量算出部４２０は、注目領域（特徴ブロック）及びその注目領域を含む１乃至複数の周辺領域中の参照領域のエッジ角度Θを、式（３）を用いて計算する。
なお、ｇｘ、ｇｙは、式（１）において各々算出される値である。そして、画像ブロック特徴量算出部４２０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部４２０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップ２１０（Ｓ２１０）において、画像ブロック特徴量算出部４２０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いて、エッジパターンを選択する。エッジパターンは、エッジ方向及び画素分布パターンに応じて、予め用意されたパターンテーブル（図９）の中から選択される。

ステップ２１２（Ｓ２１２）において、高画質画像ブロック生成部４３０は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル４３４（図１１）を用いて、画像ブロック設定部４１０により切り出された画像ブロック中の注目領域（特徴ブロック）及びその周辺領域の画像データに対して、コントラスト強調処理を施す。

ステップ２１４（Ｓ２１４）において、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により判定された同色ブロックについて、画像ブロック特徴量算出部４２０により得られた注目領域のエッジパターン及び前記注目領域の推定エッジ方向θと、Ｓ２１２においてコントラスト強調が施された注目領域及び周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θとに対応する算出式（図１２、図１３）により、３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに、高画質画像ブロック生成部４３０は、生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θとに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１５に示す算出式により、注目領域に対する拡大画像ブロックを生成する。

ステップ２１６（Ｓ２１６）において、高画質画像ブロック生成部４３０は、画像ブロック特徴量算出部４２０により判定された境界ブロックについて、同色ブロックに対する算出式（図１２、図１３）とは異なる算出式（図１６（Ｂ））により、３×３画像ブロックに相当する画素値を生成する。さらに、高画質画像ブロック生成部４３０は、図１５に示す算出式を用いて拡大画像ブロックを生成し、１つ以上の画素の画素値を補正する。

ステップ２１８（Ｓ２１８）において、画像拡大プログラム４は、全ての入力画像データについて、Ｓ２００からＳ２１６までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、Ｓ２００の処理に戻り、次の画素ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、Ｓ２２０の処理に移行する。

ステップ２２０（Ｓ２２０）において、高速拡大処理部４４０は、記憶部４００に記憶されている入力画像データを、画像毎または数ライン毎に入力し、最近傍補間法により拡大処理を行う。
なお、本例においては、高速拡大処理部４４０は、高画質画像ブロック生成部４３０による拡大処理（Ｓ２００〜Ｓ２１６までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成部４３０による拡大処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成部４３０による拡大処理の前に拡大処理を行ってもよい。
ステップ２２２（Ｓ２２２）において、拡大画像生成部４５０は、高画質画像ブロック生成部４３０により生成された拡大画像ブロックと、高速拡大処理部４４０により拡大された拡大画像を統合する。

以上説明したように、本実施形態における画像処理装置２は、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された画像領域の特徴量が所定の条件を満たす場合に、この画像領域内の各画素の色情報に基づいて画像領域を判定し、算出された画像領域の特徴量と、画像領域に対する判定結果とに基づいて、この画像領域に対応する拡大画像領域を生成し、この生成とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、生成された拡大画像領域と、生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する。

このような拡大処理によって、本実施形態における画像処理装置２は、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用するので、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像を高速に得ることができる。また、本実施形態における画像処理装置２は、エッジの鮮鋭度や滑らかさを保持しながら、エッジ部周辺のアンダーシュートやオーバーシュートといった画質欠陥を抑制することができる。

本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。 制御装置２０により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム４の機能構成を示す図である。 エッジ強度算出部４２２において、エッジ強度Ｇと基準値との比較により特徴ブロックと判定された領域を例示する。 画像中のエッジ部分、特徴ブロック及びこの特徴ブロックの画素値を例示する図であって、図４（Ａ）は、画像中のエッジ部分を例示する図であり、図４（Ｂ）は、図４（Ａ）に例示された画像中で特徴ブロック（特徴ブロック１、特徴ブロック２及び特徴ブロック３）と判定された画像領域を例示し、図４（Ｃ）は、前記特徴ブロックそれぞれの画素値を例示する図である。 注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図５（Ａ）は、注目領域及び周辺領域を例示し、図５（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。 エッジ方向推定部４２６によるエッジ方向推定処理（Ｓ１０）を示すフローチャートである。 エッジ方向推定処理（Ｓ１０）のＳ１０２の処理において選択される参照領域を例示する図である。 図５に示した注目領域における推定エッジ方向の一例の説明図である。 エッジパターン選択部４２８により用いられるエッジパターンテーブルを例示する図である。 図９に示した注目領域に対応するエッジパターンの選択方法を説明する図である。 高画質画像ブロック生成部４３０により用いられる強調カーネル４３４（エッジ強調カーネル）を例示する図である。 高画質画像ブロック生成部４３０における拡大画像ブロックの生成処理の具体例の説明図である。 エッジパターンと推定エッジ方向との組み合わせの場合に用いられる計算式の一例の説明図である。 注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。 ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。 境界ブロック処理部４３２における拡大画像ブロックの生成処理と、画素値補正処理の具体例の説明図である。 高画質画像ブロック生成部４３０により生成された４×４画素の拡大画像ブロックと、高速拡大処理部４４０から出力された拡大画像とを統合する具体例の説明図である。 画像処理装置２の全体動作を示すフローチャート（Ｓ２０）である。

符号の説明

２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２６・・・ＵＩ装置
４・・・画像拡大プログラム
４００・・・記憶部
４１０・・・画像ブロック設定部
４２０・・・画像ブロック特徴量算出部
４２２・・・エッジ強度算出部
４２４・・・境界ブロック判定部
４２６・・・エッジ方向推定部
４２８・・・エッジパターン選択部
４３０・・・高画質画像ブロック生成部
４３２・・・境界ブロック処理部
４３４ａ、４３４ｂ・・・強調カーネル
４４０・・・高速拡大処理部
４５０・・・拡大画像生成部

Claims (18)

1. 入力画像の拡大処理を行う画像処理装置であって、
   注目画素を含む所定の大きさの画像領域について算出した特徴量が既定の基準値以上である画像領域について、該画像領域内の各画素が有する色要素間の関係が同じである場合は該画像領域を同色ブロックと判定し、該画像領域内の各画素が有する色要素間の関係が異なる場合は該画像領域を境界ブロックと判定する画像領域判定手段と、
   前記画像領域判定手段により同色ブロックと判定された画像領域について、該画像領域内の階調変化方向および既定の画素値パターンに対応する第1の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第１の拡大画像領域生成手段と、
   前記第１の拡大画像領域生成手段で用いる拡大手法よりも画像領域のエッジを際立たせるように、前記画像領域判定手段により境界ブロックと判定された画像領域について、該画像領域内の階調変化方向及び既定の画素値パターンに応じた画素位置について前記第1の演算式を変更した第2の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第2の拡大画像領域生成手段と
   を有する画像処理装置。
2. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段で用いる拡大手法よりも処理負荷の小さい拡大手法を適用して、入力画像の拡大画像を生成する拡大処理手段と、
   前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域と、前記拡大処理手段により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段と
   をさらに有する請求項１に記載の画像処理装置。
3. 前記画像領域判定手段は、画像領域内の各画素値に基づいて算出された画像領域における階調変化量を画像領域の特徴量として、該特徴量が既定の基準値以上である画像領域を判定の対象とする
   請求項１に記載の画像処理装置。
4. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域内の各画素値から算出された画像領域における階調変化方向に基づいて拡大画像領域を生成する
   請求項１に記載の画像処理装置。
5. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域内の各画素値から算出された画像領域における階調変化に対応する既定の画素値パターンに基づいて拡大画像領域を生成する
   請求項１に記載の画像処理装置。
6. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、色空間における複数の色成分のうち、該色成分それぞれについて算出した特徴量に基づき選択された１つの色成分からさらに算出した特徴量に基づいて拡大画像領域を生成する
   請求項１に記載の画像処理装置。
7. 前記画像領域判定手段は、画像領域内の各画素の色成分値それぞれの大小関係により、画像領域を判定する
   請求項１に記載の画像処理装置。
8. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、画像領域の特徴量と、該画像領域の近傍領域の特徴量と、該近傍領域内の画素値とを用いて、拡大画像領域を生成する
   請求項１に記載の画像処理装置。
9. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、階調変化を強調するエッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する
   請求項１に記載の画像処理装置。
10. 前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段は、階調変化方向に応じて、画像領域の近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する
    請求項４に記載の画像処理装置。
11. 前記第２の拡大画像領域生成手段は、画像領域について算出された特徴量に基づいて、拡大画像領域内の画素を選択し、既定の演算法を用いて、選択された画素の画素値を補正する
    請求項１に記載の画像処理装置。
12. 前記拡大処理手段は、少なくとも最近傍補間法に基づいた拡大手法を適用する
    請求項２に記載の画像処理装置。
13. 前記拡大処理手段は、少なくとも線形補間法に基づいた拡大手法を適用する
    請求項２に記載の画像処理装置。
14. 前記拡大処理手段は、入力画像毎あるいは入力画像中の数ライン毎に、拡大画像を生成する
    請求項２に記載の画像処理装置。
15. 前記拡大画像生成手段は、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を、前記拡大処理手段により生成された拡大画像の対応する位置に配置する
    請求項２に記載の画像処理装置。
16. 前記拡大画像生成手段は、前記拡大処理手段により生成された拡大画像上の各画素値を、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域の各画素値に置換する
    請求項１５に記載の画像処理装置。
17. 前記拡大画像生成手段は、前記第１の拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成される複数の拡大画像領域が互いに重なり合う場合に、これらの拡大画像領域の重畳部分について、同一画素に対応する複数の画素値の平均値を算出する
    請求項２に記載の画像処理装置。
18. コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、
    注目画素を含む所定の大きさの画像領域について算出した特徴量が既定の基準値以上である画像領域について、該画像領域内の各画素が有する色要素間の関係が同じである場合は該画像領域を同色ブロックと判定し、該画像領域内の各画素が有する色要素間の関係が異なる場合は該画像領域を境界ブロックと判定する画像領域判定ステップと、
    同色ブロックと判定された画像領域について、該画像領域内の階調変化方向および既定の画素値パターンに対応する第1の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第１の拡大画像領域生成ステップと、
    前記第１の拡大画像領域生成ステップで用いる拡大手法よりも画像領域のエッジを際立たせるように、境界ブロックと判定された画像領域について、該画像領域内の階調変化方向及び既定の画素値パターンに応じた画素位置について前記第1の演算式を変更した第2の演算式を適用して画素値を算出することにより、該画像領域に対応する拡大画像領域を生成する第２の拡大画像領域生成ステップと
    を前記画像処理装置のコンピュータに実行させるプログラム。

Images