JP5013243B2 - 画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体 - Google Patents

Description

本発明は、画像を拡大する画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体に関するものである。

画像を解析し、解析結果に応じて画像を拡大する画像処理装置が知られている。例えば画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使う方法である。この方法は、演算量が少ないため、高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は、画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には、画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求める方法である。この方法では、最近傍法よりも処理は重いが、演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法では、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく、演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点もある。

これら拡大画像の画質問題を解決する試みとして、例えば、特許文献１は、画像のシャープさを評価し、評価したシャープさに応じて高次補間関数のパラメータを調整して画像データを補間する画像データ補間装置を開示する。また、特許文献２は、画像データの画素の変化度合いに最適な補間処理を複数の補間処理の中から選択して実行する画像データ補間装置を開示する。また、特許文献３は、補間倍率に応じて補間処理を切り替える画像データ補間装置を開示する。また、特許文献４は、肌色領域や空色領域であると判断した注目ブロックに対してはバイリニア法で画素補間し、その他の色調の領域に対してはＭキュービック法で画素補間する画像データ補間方法を開示する。

特許第３２０１３３８号 特開平１１−２９８７２１号公報 特開２０００−０７６４３０号公報 特開２０００−１５１９９０号公報

本発明は、処理負荷を大きくすることなく、画像の特徴を保存した高画質な拡大画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体を提供することを目的とする。

上記目的を達成するため、本発明の第１の特徴とするところは、入力画像から注目画素を含む画像領域を順次選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出する特徴量が所定の条件を満たすか否かを判定する判定手段と、特徴量が所定の条件を満たすと前記判定手段が判定した画像領域に対し、特徴量を保存しつつ画像を拡大する第１の拡大処理手段と、入力画像に対して補正処理を行う補正処理手段と、この補正処理手段が補正処理した入力画像を拡大する第２の拡大処理手段と、この第２の拡大処理手段が拡大した入力画像、及び前記第１の拡大処理手段が拡大した画像に基づいて、入力画像に対する拡大出力画像を生成する拡大出力画像生成手段とを有する画像処理装置にある。即ち、特徴量が所定の条件を満たすと判定手段が判定した画像領域の画像を、第１の拡大処理手段が特徴量を保存しつつ拡大し、補正処理手段が補正処理した入力画像を第２の拡大処理手段が拡大するので、拡大出力画像生成手段は、入力画像に対して画像の特徴を保存した高画質な拡大画像を生成することができる。

好適には、前記拡大出力画像生成手段は、前記第１の拡大処理手段が拡大した画像の特徴量を保存して、入力画像に対する拡大出力画像を生成する。

また、好適には、前記補正処理手段は、入力画像を強調する補正処理を行う。

また、好適には、前記画像領域選択手段は、互いに重なり合う画像領域を順次選択する。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する。

また、好適には、複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす。

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する。

また、好適には、前記補正処理手段は、特徴量が所定の条件を満たすと前記判定手段が判定した画像領域に対し、拡大率に応じたカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて補正処理を行う。

また、好適には、前記補正処理手段は、特徴量が所定の条件を満たさないと前記判定手段が判定した画像領域に対し、所定のカーネル要素及びカーネル要素間距離のエッジ強調カーネルを用いて補正処理を行う。

また、好適には、前記補正処理手段は、所定のカーネル要素及びカーネル要素間距離のエッジ強調カーネルを用いて、入力画像に対して一様に補正処理を行う。

また、好適には、前記第１の拡大処理手段は、特徴量が所定の条件を満たすと前記判定手段が判定した画像領域に対し、前記特徴量算出手段が算出した特徴量とともに、近傍領域の特徴量および画素値を用いて画像を拡大する。

また、好適には、前記第１の拡大処理手段は、前記補正処理手段が補正した画素値を用いて画像を拡大する。

また、好適には、前記第１の拡大処理手段は、特徴量が所定の条件を満たすと前記判定手段が判定した画像領域の近傍領域の画素値を、前記特徴量算出手段が算出した特徴量に応じて選択し、選択した画素値を用いて画像を拡大する。

また、好適には、前記第１の拡大処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、画像を拡大する。

また、好適には、前記第２の拡大処理手段は、線形補間法を用いて画像を拡大する。

また、好適には、前記第２の拡大処理手段は、入力画像毎又は入力画像中の数ライン毎に画像を拡大する。

また、好適には、前記拡大出力画像生成手段は、前記第１の拡大処理手段が拡大した画像を、前記第２の拡大処理手段が拡大した画像上の対応する位置に配置することによって出力画像を生成する。

また、本発明の第２の特徴とするところは、入力画像から注目画素を含む画像領域を順次選択し、選択した画像領域の特徴量を算出し、算出した特徴量が所定の条件を満たすか否かを判定し、特徴量が所定の条件を満たすと判定した画像領域に対して、特徴量を保存しつつ画像を拡大し、入力画像に対して補正処理を行い、補正処理した入力画像を拡大し、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成する画像処理方法にある。

また、本発明の第３の特徴とするところは、入力画像から注目画素を含む画像領域を順次選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量が所定の条件を満たすか否かを判定するステップと、特徴量が所定の条件を満たすと判定した画像領域に対して、特徴量を保存しつつ画像を拡大するステップと、入力画像に対して補正処理を行うステップと、補正処理した入力画像を拡大するステップと、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成するステップとをコンピュータに実行させる画像処理プログラムにある。

また、本発明の第４の特徴とするところは、入力画像から注目画素を含む画像領域を順次選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量が所定の条件を満たすか否かを判定するステップと、特徴量が所定の条件を満たすと判定した画像領域に対して、特徴量を保存しつつ画像を拡大するステップと、入力画像に対して補正処理を行うステップと、補正処理した入力画像を拡大するステップと、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成するステップとをコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体にある。

本発明によれば、処理負荷を大きくすることなく、画像の特徴を保存した高画質な拡大画像を生成することができる。

［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適用される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６を有する。
画像処理装置２は、汎用コンピュータとしての機能を有し、例えば入力画像を拡大するなどの処理を行うプログラムがインストールされている。例えば、画像処理装置２は、フルカラーのプリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。

記録媒体２０４は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラムを格納した記憶媒体の一例である。ここで、記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。記録媒体２０４は、例えば、光磁気ディスク、光ディスク（ＣＤやＤＶＤなどを含む）、磁気ディスク、メモリ（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を用いる画像拡大プログラム４の機能構成を示す図である。
図２に示すように、画像拡大プログラム４は、記憶部４０、画像ブロック設定部４２、特徴量保存拡大処理部４４、画像強調処理部４６、高速拡大処理部４７及び拡大出力画像生成部４８を有する。

記憶部４０は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。

画像ブロック設定部４２は、エッジ強度算出部４２０、ブロック分類部４２２を有し、特徴量保存拡大処理部４４および画像強調処理部４６における処理で必要とされる既定の画像ブロックサイズを設定し、記憶部４０により記憶されている入力画像データから、設定された所定サイズの画像ブロックを順次選択する。さらに、前記選択された画像ブロックを画像特徴量に基づいて切り分け、特徴量保存拡大処理部４４に出力する画像ブロックを抽出するとともに、それ以外の画像ブロックの入力画像データにおける位置情報を画像強調処理部４６に出力する。ここで画像ブロックの切り分けとは、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック設定部４２は、画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。本例では、画像ブロック設定部４２は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いる特徴量は、エッジ強度に限られるものではなく、例えば画像ブロックの各画素値の平均値を求め、その平均値に対する各画素値のばらつきを表すような値（例えば、標準偏差や分散）などの、種々の画像特徴量であってもよい。
なお、画像ブロック設定部４２の詳細については後述する。

特徴量保存拡大処理部４４は、画像ブロック設定部４２から出力された画像ブロック（以後、注目領域と呼ぶ）に対して、前記注目領域の画像特徴を保存した拡大画像ブロックを生成する。なお、画像特徴量としてエッジ強度およびエッジ角度を用いた特徴量保存拡大処理部４４の詳細については後述する。

画像強調処理部４６は、特徴量保存拡大処理部４４で拡大画像ブロックを生成するための注目領域を含む画像ブロック（特徴ブロック）、および記憶部４０に記憶されている入力画像データに対して画像ブロック設定部４２から出力された非特徴ブロックの位置情報に相当する位置の画像データのコントラストを強調する。ここでは、非特徴ブロックの位置情報に基づいた入力画像データのコントラストを強調する処理の詳細を説明する。なお特徴量保存拡大処理部４４における画像ブロックの強調処理の詳細については後述する。

図３は、画像強調処理部４６における画像ブロック設定部４２から出力された非特徴ブロックの位置情報に基づいた入力画像データのコントラストを強調する処理の具体例を示した図である。ここで図３では画像ブロック設定部４２で設定される規定の画像ブロックサイズは注目領域が２×２画素サイズブロック（図３中の太枠で囲まれた領域）であり、注目領域を含む４×４画素サイズブロック（図３中の斜線ハッチングの領域）の画像データをコントラスト強調する場合を具体例として説明する。

画像強調処理部４６は、画像ブロック設定部４２から非特徴ブロックの入力画像データにおける位置情報として、例えば図３に例示したように注目領域の左上画素の座標値（ｉ、ｊ）を入力する。ここで座標値ｉは画像の主走査方向の座標値であり、座標値ｊは画像の副走査方向の座標値である。図３では原点０は入力画像データの左上隅の画素を示す。

次に、画像強調処理部４６は、非特徴ブロックの位置情報である座標値（ｉ、ｊ）に基づき、注目領域を含む画像ブロック（図３中の斜線ハッチングの領域）の画像データ、つまり座標値（ｉ−１、ｊ−１）から座標値（ｉ＋２、ｊ＋２）の画像データのコントラストを強調する。
画像強調処理部４６における非特徴ブロックの位置に相当する入力画像データの強調処理は、例えば図３に例示するサイズおよび係数の強調カーネルＡを用いる。図３に示すように、強調カーネルＡは、重み付け係数「１．８０」及び「−０．２０」を用いて入力画像データのコントラストを強調する。強調カーネルＡは、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．２０）を掛け合わせ、重み付け係数（１．８０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、強調カーネルＡを適用する場合に、以下の式（１）に従って、コントラスト強調後の画素値Ｐ'が算出される。

（画素値Ｐ'）＝１．８０×Ｐ‐０．２０×（ａ＋ｂ＋ｃ＋ｄ）・・・式（１）

上記、式（１）によるコントラスト強調された画素値の算出を座標値（ｉ−１、ｊ−１）から座標値（ｉ＋２、ｊ＋２）の入力画像データに対して行う。
ここで、重み付け係数や参照する画素の位置は、図３に示すような値や上下左右の位置に限られたものではない。例えば、画像強調処理部４６は、斜め方向の画素を参照してコントラスト強調を行ったりなど、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。
さらに上記では、非特徴ブロックの位置情報に基づく入力画像データのコントラスト強調の例を示したが、例えば画像ブロック設定部４２における画像特徴量の基準値の設定や入力画像データの種類などにより非特徴ブロックと判定される画像ブロックが非常に多くなるような場合には、画像強調処理部４６は、非特徴ブロックの位置情報に拠らず入力画像データを一様にコントラスト強調する構成としてもよい。

高速拡大処理部４７（図２）は、記憶部４０に記憶された入力画像データ中の非特徴ブロックの位置情報に基づいた領域をコントラスト強調した画像データに対して線形補間拡大処理を行う。画像強調処理部４６で非特徴ブロックに相当する位置をコントラスト強調した画像データに対して線形補間拡大を行うことにより、線形補間拡大処理に伴うボケよる画像細部の情報の欠落を防止することができる。また、高速拡大処理部４７は、画像ブロック毎の処理ではなく、画像単位又は画像の数ライン単位で拡大処理を行うことができる。

拡大出力画像生成部４８は、特徴量保存拡大処理部４４により生成された拡大画像ブロックと、画像強調処理部４６により非特徴ブロックに相当する位置の画像領域をコントラスト強調された画像データを高速拡大処理部４７で拡大した拡大画像とを用いて原画像に対する拡大画像を生成する。より具体的には、拡大出力画像生成部４８は、画像ブロック設定部４２において抽出した画像特徴量が基準値以上である画像ブロック（特徴ブロック）についてのみ、特徴量保存拡大処理部４４で拡大した拡大画像を適用し、画像特徴量が基準値未満である画像ブロック（非特徴ブロック）については、画像強調処理部４６で前記非特徴ブロックに相当する位置をコントラスト強調した後に高速拡大処理部４７により拡大した拡大画像を適用して、１つの拡大画像を生成する。

上述したように、本発明における画像処理装置および画像処理方法では、画像特徴量が所定の閾値より大きい入力画像データ中の領域は、特徴量保存拡大処理部４４によって特徴量を保存した拡大処理を行うことができる。さらには画像特徴量が所定の閾値より小さく平坦領域として画像特徴量を保存するような拡大処理が成されなかった領域（たとえば画素値の凹凸があまり大きくないような、遠景の木々や、建物の壁面、人物の髪などのテクスチャ領域）においても、画像強調処理部４６でコントラスト強調した入力画像データに対して高速拡大処理部４７で線形補間拡大処理を行うことにより、補間ボケによる細部情報の欠落などが生じず、上記テクスチャ領域の再現性を上げることが可能となる。

［画像ブロック設定部の詳細説明］
次に、画像ブロック設定部４２についてより詳細に説明する。画像ブロック設定部４２は、上述したように、エッジ強度算出部４２０、ブロック分類部４２２で構成される。以降、本例では注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。

エッジ強度算出部４２０は、記憶部４０により記憶されている入力画像データから、画像ブロックを順次（例えばラスタスキャン順に）切り出し、画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図４に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図４の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図４の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。

ブロック分類部４２２は、上述のエッジ強度算出部４２０で算出されたエッジ強度に基づいて、基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、特徴ブロックであると判定された画像ブロックは特徴量保存拡大処理部４４に出力し、非特徴ブロックであると判定された画像ブロックの位置情報を画像強調処理部４６に出力する。

図５は、本例における画像ブロック設定部４２による画像ブロック設定処理のフローチャートである。
図５に示すように、ステップＳ１００において、エッジ強度算出部４２０は、次に処理すべき画像ブロックを所定の順序（例えばラスタスキャン順など）に基づき、記憶部４０に記憶された入力画像データから切出す。

ステップＳ１０２において、エッジ強度算出部４２０は、ステップＳ１００で切出された注目領域のエッジ強度Ｇを式（１）あるいは式（２）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図４に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、エッジ強度算出部４２０は、注目領域に関してＲ，Ｇ，Ｂ各色空間の色成分毎の画像ブロックそれぞれについて、式（１）あるいは式（２）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。

ステップＳ１０４において、ブロック分類部４２２は、ステップＳ１０２においてエッジ強度算出部４２０で算出されたエッジ強度Ｇと所定の基準値Ｔｈとの比較を行う。算出されたエッジ強度Ｇが所定の基準値Ｔｈよりも小さい場合は、注目領域は非特徴ブロック、つまり平坦領域に属する画像ブロックであると判定し、ステップＳ１０６に処理を移す。算出されたエッジ強度Ｇが所定の基準値Ｔｈ以上場合は、注目領域は特徴ブロック、つまりエッジ領域に属する画像ブロックであると判定し、ステップＳ１０８に処理を移す。

ステップＳ１０６において、ブロック分類部４２２は、非特徴ブロックの入力画像データにおける位置情報（たとえば座標値など）を画像強調処理部４６に出力し、処理をステップＳ１００に戻す。

ステップＳ１０８において、ステップＳ１０４において特徴ブロックと判定された注目領域を含む周辺領域（４×４サイズ画像ブロック）を特徴量保存拡大処理部４４へ出力する。

［特徴量保存拡大処理部の詳細説明］
図６は、本実施例の特徴量保存拡大処理部４４の構成及びその周辺を示すブロック図である。
図６に示すように、特徴量保存拡大処理部４４は、画像ブロック特徴量算出部４４０、高画質画像ブロック生成部４４２を有する。なお、記憶部４０は図２に記載のものと同様である。

画像ブロック特徴量算出部４４０は、エッジ方向推定部４４４及びエッジパターン選択部４４６を有し、画像ブロック設定部４２から順次入力される特徴ブロックと判定された画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ角度（階調変化の方向）又はエッジパターン（階調変化のパターン）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部４４０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。

高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部４４２における拡大処理は、注目領域に含まれる特徴を保持するような拡大手法を適用するのが望ましい。
また、高画質画像ブロック生成部４４２は、画像ブロック設定部４２により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。

［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部４４０をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部４４０は、図６に示すように、エッジ方向推定部４４４、エッジパターン選択部４４６を含む。

エッジ方向推定部４４４は、画像ブロック設定部４２から出力された特徴ブロックである画像ブロック中の注目領域のエッジ方向を推定する。
図４（Ａ）は、注目領域及び周辺領域を例示し、図４（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図４（Ａ）に例示するように、注目領域（画像領域）は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図４（Ａ）で例示する注目領域を具体例として、エッジ方向推定部４４４によるエッジ方向推定処理を説明する。

図７は、エッジ方向推定部４４４によるエッジ方向推定処理（Ｓ２０）のフローチャートである。
図８は、Ｓ２１０において選択される参照領域を例示する図である。なお、図８におけるハッチングされた部分は、図４に示した注目領域に相当する。
図７に示すように、ステップ２００（Ｓ２００）において、エッジ方向推定部４４４は、図４（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図４（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図４（Ｂ）に示された破線方向に相当する。

さらに、エッジ方向推定部４４４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。

ステップ２０２（Ｓ２０２）において、エッジ方向推定部４４４は、算出された注目領域のエッジ角度Θに応じて、図４（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部４４４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部４４４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図８（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図８（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図８（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図４に示した具体例では、エッジ角度の方向は「方向２」であるので、図８（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図８に例示したものに限定されるわけではなく、例えば図８（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。

ステップ２０４（Ｓ２０４）において、エッジ方向推定部４４４は、選択された参照領域それぞれに対して、Ｓ２００と同様に、式（１）及び式（３）に従ってエッジ角度Θを計算する。

ステップ２０６（Ｓ２０６）において、エッジ方向推定部４４４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部４４４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ２０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ２１０の処理に移行する。

ステップ２０８（Ｓ２０８）において、エッジ方向推定部４４４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部４４４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。

ステップ２１０（Ｓ２１０）において、エッジ方向推定部４４４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ２１２の処理に移行し、これ以外の場合には、Ｓ２０４の処理に戻って次の参照領域についてエッジ角度を算出する。

ステップ２１２（Ｓ２１２）において、エッジ方向推定部４４４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。

なお、図４に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。

図９は、図４に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部４４４は、上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理を行えばよい。より具体的には、それぞれの色成分についてエッジ強度算出部４２０においてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、画像ブロック特徴量算出部４４０は、選択された色成分についてのみ特徴量を算出する。このようにすることにより、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。

次に、エッジパターン選択部４４６について説明する。
図１０は、エッジパターン選択部４４６で用いるエッジパターンテーブルを例示する図である。
図１０に例示するように、エッジパターン選択部４４６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部４４６は、このエッジパターンテーブルを参照して、エッジ方向推定部４４４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図１０に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部４４４によって「方向１」であると推定されているため、エッジパターン選択部４４６は、この推定エッジ方向（方向１）に従い、図１０に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図１０）に対するエッジパターンの候補とする。

次に、エッジパターン選択部４４６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１１を参照しながら説明する。
図１１は、図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１１（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１１（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１０に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。

エッジパターン選択部４４６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部４４６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（４）
なお、本例では、図１１（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部４４６は、これらの正負符号を判定して、図１１（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部４４６は、図１１（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１１（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大画像ブロック生成部１４における拡大画像ブロック生成処理に適用される。

なお、エッジパターンは、図１０に示したものに限定されるわけではなく、例えば、エッジパターン選択部４４６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部４４６は、各角度におけるエッジパターン候補数を増減させてもよい。

［高画質画像ブロック生成部の詳細説明］
次に、高画質画像ブロック生成部４４２をより詳細に説明する。
高画質画像ブロック生成部４４２は、画像ブロック設定部４２において、特徴ブロックであると判定された画像ブロック中の注目領域に対して、画像ブロック特徴量算出部４４０で得られた注目領域に対するエッジパターンおよび推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
高画質画像ブロック生成部４４２は、まず、拡大処理の拡大倍率に応じたサイズおよび係数の強調カーネルを用いて、画像ブロック設定部４２により出力された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。

図１２は、高画質画像ブロック生成部４４２により用いられる強調カーネル４５０（エッジ強調カーネル）を例示する図である。
図１２に例示するように、第１の強調カーネル４５０ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル４５０ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。

第１の強調カーネル４５０ａは、図１２（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル４５０ｂは、第１の強調カーネル４５０ａよりも拡大倍率の大きな画像に対して適用され、図１２（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル４５０ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ'が算出される。
（画素値Ｐ'）＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（５）

このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部４４２は、図１２に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部４４２は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル４５０ａ（図１２（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル４５０ｂ（図１２（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。

また、参照する画素の位置は、図１２に示すような上下左右に限られたものではない。例えば、高画質画像ブロック生成部４４２は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。

次に高画質画像ブロック生成部４４２は、画像ブロック特徴抽出部１１で得られた注目領域に対するエッジパターンおよび推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域の画素値を用いて、注目領域に対する拡大画像ブロックを生成する。

図１３は、高画質画像ブロック生成部４４２における拡大画像ブロックの生成処理の具体例の説明図である。まず高画質画像ブロック生成部４４２は、注目領域のエッジパターンおよび推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて３×３画像ブロックに相当する画素値を算出する。図１３（Ａ）には図７（Ａ）に示した注目領域及び周辺領域の一例を示している。この注目領域は前述したように画像ブロック特徴量算出部４４０において、エッジパターン１０１０、推定エッジ方向は「方向１」と求められている。高画質画像ブロック生成部４４２では、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１３（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１３（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ

これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。

図１４は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。図１４（Ａ）は（エッジパターン１０００）−（推定エッジ方向「１」）の場合であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画像ブロック相当の画素値を計算する。

図１４（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合であり、この場合は、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値を計算する事ができる。

次に、高画質画像ブロック生成部４４２は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素を用いて４×４画像ブロックを生成する。
図１５は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１５（Ａ）に示したように、参照画素ｒ０〜ｒ５を図１５（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択する。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１５（Ｂ）に示したように、参照画素ｒ０〜ｒ５を左下から上へ３画素と右上から下へ３画素となるように選択する。参照画素ｒ６〜ｒ１３は推定エッジ方向に拠らず、図１５（Ａ）（Ｂ）に示すように、上下それぞれ4画素を選択する。このように、注目領域における推定エッジ方向に基づいて、参照画素を選択する。もちろん、参照画素の選択は図１５に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。

図１６は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１６に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、および注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次のような計算式に従って４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）を計算し、４ｘ４拡大画像ブロックを生成する。
ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３

以上のように処理を行うことにより、画像ブロック特徴量算出部４４０において特徴ブロックと判断された注目領域に対する４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）が生成される。
このように、画像ブロック特徴量算出部４４０で算出された画像特徴量に従って、高画質画像ブロック生成部４４２により拡大画像ブロック生成処理を行うことで、ジャギーを抑えた高画質な拡大処理ができる。

[拡大出力画像生成部の詳細]
次に、拡大出力画像生成部４８をより詳細に説明する。
高画質画像ブロック生成部４４２で生成された注目領に対する拡大画像ブロックと、高速拡大処理部４７から出力された拡大画像とを統合する。図１７は、高画質画像ブロック生成部４４２で生成された４×４画素の拡大画像ブロックと、高速拡大処理部４７から出力された拡大画像とを統合する具体例の説明図である。図１７に示すように、順次生成された拡大画像ブロック０および拡大画像ブロック１は、高速拡大処理部４７から出力された拡大画像上の対応する位置に順次配置するようにして統合される。このとき拡大画像上の各画素値を拡大ブロックの各画素値（ｓ０〜ｓ１５）で置き換えるように配置してもよいし、また拡大画像上の各画素値と拡大ブロックの各画素値（ｓ０〜ｓ１５）を重畳するように配置してもよい。
また拡大画像ブロック同士（図１７における拡大画像ブロック０と拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合は、各拡大画像ブロックのオーバーラップする画素は各々平均をとるようにする。または、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。

［全体動作］
次に、本例の画像処理装置および画像処理方法の全体動作を説明する。
図１８は、本例の画像拡大処理のフローチャートである。
図１８に示すように、ステップＳ３００において、画像ブロック設定部４２は、図５で示したフローチャート（ステップＳ１００〜ステップＳ１１０）に基づく処理により、特徴量保存拡大処理部４４で処理すべき規定のサイズの画像ブロック、つまり特徴ブロックを選択し、特徴量保存拡大処理部４４に出力する。さらに非特徴ブロックの入力画像データにおける位置情報を画像強調処理部４６に出力する。

ステップＳ３０２において、画像ブロック特徴量算出部４４０は、画像ブロック設定部４２から出力された特徴ブロック中の注目領域、及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）あるいは式（２）において各々算出される値である。そして、画像ブロック特徴量算出部４４０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部４４０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。

ステップＳ３０４において、画像ブロック特徴量算出部４４０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブル（図１０）の中から選択される。

ステップＳ３０６において、高画質画像ブロック生成部４４２は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル４５０（図１２）を用いて、画像ブロック設定部４２により出力された特徴ブロック中の注目領域、及びその周辺領域の画像データに対してコントラスト強調処理を施す。

ステップＳ３０８において、高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０で得られた注目領域のエッジパターンおよび前記注目領域の推定エッジ方向θと、ステップＳ３０６においてコントラスト強調が施された注目領域および周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θに対応する算出式（図１３〜図１４）により３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに前記生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１６に示す算出式により注目領域に対する拡大画像ブロックを生成する。

ステップＳ３１０において、画像処理装置は、全ての入力画像データについてステップＳ３００からステップＳ３０８までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、ステップＳ３００の処理に戻って次の画像ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、ステップＳ３１２の処理に移行する。

ステップＳ３１２において、画像強調処理部４６は、画像ブロック設定部４２から入力した非特徴ブロックの位置情報に基づき、記憶部４０に記憶されている入力画像データの相当領域の画像データのコントラストを強調する。

ステップＳ３１４において、高速拡大処理部４７は、画像強調処理部４６で処理された所定領域の画像データをコントラスト強調された入力画像データを画像毎または数ライン毎に入力し、線形補間法により拡大処理を行う。なお、本例の高速拡大処理部４７は、本例による高画質画像ブロック生成処理（ステップＳ３００〜ステップＳ３０８までの処理）が終了した後に拡大処理を行っているが、画像ブロック設定部４２による画像ブロックの分類処理が終了した画像データから順次、拡大処理を行ってもよい。さらに、画像強調処理部４６で入力画像データに対して一様にコントラスト強調処理を施す場合には、高画質画像ブロック生成処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成処理の前に拡大処理を行ってもよい。

ステップＳ３１６において、拡大出力画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像と、高速拡大処理部４７により拡大された拡大画像を統合する。
なお、拡大出力画像生成部４８は、拡大画素の統合方法として、高画質画像ブロック生成部４４２により生成された拡大画像で単純に置き換える方法、又は、高画質画像ブロック生成部４４２により生成された拡大画像と高速拡大処理部４７により生成された拡大画像との平均化処理を行う方法などを適用してもよい。すなわち、拡大出力画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。

以上説明したように、本実施形態における画像処理方法は、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された特徴量が所定の条件を満たす前記画像領域に対して拡大画像領域を生成し、さらには、算出された特徴量が所定の条件を満たさない画像領域に対して強調処理した後に、異なる拡大手法により強調処理された前記画像領域を含む入力画像の拡大画像を生成し、前記拡大画像領域と、異なる拡大手法により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成している。このような拡大処理によって、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用することにより特徴的な部分の特徴量を保存し、また非特徴的な部分については強調処理を施して既存拡大処理を行うことで入力画像の細部のつぶれを抑制することにより、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。

本発明にかかる画像処理方法が適用される画像処理装置のハードウェア構成を、制御装置を中心に例示する図である。 制御装置により実行され、本発明にかかる画像処理方法を用いる画像拡大プログラムの機能構成を示す図である。 画像強調処理部における画像ブロック設定部から出力された非特徴ブロックの位置情報に基づいた入力画像データのコントラストを強調する処理の具体例を示した図である。 注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図４（Ａ）は、注目領域及び周辺領域を例示し、図４（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。 本例における画像ブロック設定部による画像ブロック設定処理のフローチャートである。 本実施例の特徴量保存拡大処理部の構成及びその周辺を示すブロック図である。 エッジ方向推定部によるエッジ方向推定処理（Ｓ２０）のフローチャートである。 図７に示したＳ２１０の処理において選択される参照領域を例示する図である。 図３に示した注目領域における推定エッジ方向の一例の説明図である。 エッジパターン選択部で用いるエッジパターンテーブルを例示する図である。 図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。 高画質画像ブロック生成部により用いられる強調カーネル（エッジ強調カーネル）を例示する図である。 高画質画像ブロック生成部における拡大画像ブロックの生成処理の具体例の説明図である。 他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。 注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。 ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。 高画質画像ブロック生成部で生成された４×４画素の拡大画像ブロックと、高速拡大処理部から出力された拡大画像とを統合する具体例の説明図である。 本例の画像拡大処理のフローチャートである。

符号の説明

２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２４０・・・記録媒体
２６・・・ＵＩ装置
４・・・画像拡大プログラム
４０・・・記憶部
４２・・・画像ブロック設定部
４２０・・・エッジ強度算出部
４２２・・・ブロック分類部
４４・・・特徴量保存拡大処理部
４４０・・・画像ブロック特徴量算出部
４４２・・・高画質画像ブロック生成部
４４４・・・エッジ方向推定部
４４６・・・エッジパターン選択部
４５０ａ、４５０ｂ・・・強調カーネル
４６・・・画像強調処理部
４７・・・高速拡大処理部
４８・・・拡大出力画像生成部

Claims (19)

1. 入力画像から注目画素を含む画像領域を順次選択する画像領域選択手段と、前記画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出する特徴量のうち前記画像領域選択手段が選択した画像領域内の階調変化量が予め定めた基準値以上であるか否かを判定する判定手段と、階調変化量が予め定めた基準値以上であると前記判定手段が判定した画像領域に対し、特徴量を保存しつつ画像を拡大する第１の拡大処理手段と、少なくとも、入力画像のうち、階調変化量が予め定めた基準値未満であると前記判定手段が判定した画像領域に対してコントラストを強調する補正処理を行う補正処理手段と、前記補正処理手段が補正処理した入力画像を拡大する第２の拡大処理手段と、前記第２の拡大処理手段が拡大した入力画像、及び前記第１の拡大処理手段が拡大した画像に基づいて、入力画像に対する拡大出力画像を生成する拡大出力画像生成手段とを有する画像処理装置。
2. 前記拡大出力画像生成手段は、前記第１の拡大処理手段が拡大した画像の特徴量を保存して、入力画像に対する拡大出力画像を生成する請求項１記載の画像処理装置。
3. 前記画像領域選択手段は、互いに重なり合う画像領域を順次選択する請求項２記載の画像処理装置。
4. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する請求項２又は３記載の画像処理装置。
5. 複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす請求項２又は３記載の画像処理装置。
6. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する請求項２又は３記載の画像処理装置。
7. 前記補正処理手段は、階調変化量が予め定めた基準値以上であると前記判定手段が判定した画像領域に対し、拡大率に応じたカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて補正処理を行う請求項２乃至６いずれか記載の画像処理装置。
8. 前記補正処理手段は、階調変化量が予め定めた基準値未満であると前記判定手段が判定した画像領域に対し、予め定めたカーネル要素及びカーネル要素間距離のエッジ強調カーネルを用いて補正処理を行う請求項２乃至６いずれか記載の画像処理装置。
9. 前記補正処理手段は、予め定めたカーネル要素及びカーネル要素間距離のエッジ強調カーネルを用いて、入力画像に対して一様に補正処理を行う請求項２乃至６いずれか記載の画像処理装置。
10. 前記第１の拡大処理手段は、階調変化量が予め定めた基準値以上であると前記判定手段が判定した画像領域に対し、前記特徴量算出手段が算出した特徴量とともに、近傍領域の特徴量および画素値を用いて画像を拡大する請求項１乃至９いずれか記載の画像処理装置。
11. 前記第１の拡大処理手段は、前記補正処理手段が補正した画素値を用いて画像を拡大する請求項１乃至１０いずれか記載の画像処理装置。
12. 前記第１の拡大処理手段は、階調変化量が予め定めた基準値以上であると前記判定手段が判定した画像領域の近傍領域の画素値を、前記特徴量算出手段が算出した特徴量に応じて選択し、選択した画素値を用いて画像を拡大する請求項１乃至１１いずれか記載の画像処理装置。
13. 前記第１の拡大処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、画像を拡大する請求項１乃至１２いずれか記載の画像処理装置。
14. 前記第２の拡大処理手段は、線形補間法を用いて画像を拡大する請求項１乃至１３いずれか記載の画像処理装置。
15. 前記第２の拡大処理手段は、入力画像毎又は入力画像中の数ライン毎に画像を拡大する請求項１乃至１３いずれか記載の画像処理装置。
16. 前記拡大出力画像生成手段は、前記第１の拡大処理手段が拡大した画像を、前記第２の拡大処理手段が拡大した画像上の対応する位置に配置することによって出力画像を生成する請求項１乃至１５いずれか記載の画像処理装置。
17. 入力画像から注目画素を含む画像領域を順次選択し、選択した画像領域の特徴量を算出し、算出した特徴量のうち前記選択した画像領域内の階調変化量が予め定めた基準値以上であるか否かを判定し、階調変化量が予め定めた基準値以上であると判定した画像領域に対して、特徴量を保存しつつ画像を拡大し、少なくとも、入力画像のうち、階調変化量が予め定めた基準値未満であると判定した画像領域に対してコントラストを強調する補正処理を行い、補正処理した入力画像を拡大し、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成する画像処理方法。
18. 入力画像から注目画素を含む画像領域を順次選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量のうち前記選択した画像領域内の階調変化量が予め定めた基準値以上であるか否かを判定するステップと、階調変化量が予め定めた基準値以上であると判定した画像領域に対して、特徴量を保存しつつ画像を拡大するステップと、少なくとも、入力画像のうち、階調変化量が予め定めた基準値未満であると判定した画像領域に対してコントラストを強調する補正処理を行うステップと、補正処理した入力画像を拡大するステップと、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成するステップとをコンピュータに実行させる画像処理プログラム。
19. 入力画像から注目画素を含む画像領域を順次選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量のうち前記選択した画像領域内の階調変化量が予め定めた基準値以上であるか否かを判定するステップと、階調変化量が予め定めた基準値以上であると判定した画像領域に対して、特徴量を保存しつつ画像を拡大するステップと、少なくとも、入力画像のうち、階調変化量が予め定めた基準値未満であると判定した画像領域に対してコントラストを強調する補正処理を行うステップと、補正処理した入力画像を拡大するステップと、補正処理して拡大した入力画像、及び特徴量を保存しつつ拡大した画像に基づいて、入力画像に対する拡大出力画像を生成するステップとをコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images