JP4126541B2 - 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラーを含む多階調で表現された画像の拡大処理を行う画像処理技術に関するものであり、特に入力された画像に対してボケやジャギーなどの画質欠陥をなるべく生じさせること無く、高画質にしかも処理負荷が軽い拡大処理を行う画像処理技術に関するものである。
【０００２】
【従来の技術】
画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。
【０００３】
カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法である。この方法は、演算量が少ないため高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。
【０００４】
線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。この方法では、最近傍法よりも処理は重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。
【０００５】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法は、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したりノイズ成分が強調されてしまうなどの欠点もある。
【０００６】
これらの問題を解決する試みとして、例えば特許文献１、特許文献２、特許文献３や特許文献４などの新規方式が提案されている。特許文献１に記載されている技術では、まず原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を予め用意した２次元パターン（行列データ）と一致判定することにより求め、求められた斜め方向に沿って補間処理をする。またそれ以外の部分は線形補間処理を行っている。しかし、原画像を予め定められた閾値により２値化してから斜め成分の方向判定を行っているので、濃度差の大きいエッジに対しては有効であるが、濃度差の小さいエッジの再現には問題がある。
【０００７】
特許文献２に記載されている技術では、パターンファイルに１対１に対応した整数倍率毎のドット配置ファイル（拡大パターンファイル）と画素ブロックのどの位置の画素値で配置ファイルの画素値を決定するかという画素参照情報により拡大画像ブロックを生成する。さらに一致パターンがないときは単純に現画像ブロックの注目画素で拡大画像ブロックを生成する。しかし特許文献２では、パターンマッチングのみで一意に拡大ブロックを生成しているため、パターンファイルおよびドット配置ファイルの数により拡大画像の画質が決まる、つまり画質向上には予め多くのパターンファイルが必要であり、多くのパターンファイルを予め用意しておくのは現実的ではない。
【０００８】
特許文献３に記載されている技術では、原画像の変化度合いの検出法として、エッジ検出フィルタによるエッジ検出を行い、そのエッジ検出結果に基づいてエッジ画素を定義する。そしてエッジ画素と判断された場合には、キュービック・コンボリューション法の３次関数形状を調整したＭ−キュービック法で拡大を行い、そうでない場合は最近傍法で拡大する。しかし、変化度合いの大きいエッジ部分をＭ−キュービック法で行うので、キュービック・コンボリューション法の画質特徴を踏襲し、ジャギーの発生やノイズ成分が強調されるという欠点がある。
【０００９】
特許文献４に記載されている技術では、画像の性質を予めブロック毎の濃度ヒストグラムで測り、その結果に基づいて第１補間（パターンマッチング法またはニアレストネイバー法（ＮＮ法））と第２補間（キュービック・コンボリューション法あるいはＭ−キュービック法）の結果を重畳する。第１補間処理の１つであるパターンマッチング法では、予め定めた角度パターンに現画像ブロックから生成したパターン（２値化パターン）が一致した場合、現画像ブロックを含む参照ブロックを用いて所定のルールで注目画素に対する補間画素ブロックを生成する。しかし特許文献４においても、Ｍ−キュービック法との重畳であるのでジャギーの発生やノイズ成分が強調される問題がある。
【００１０】
このような従来の拡大手法に対し、高画質な拡大手法として例えば特願２００２−７６８９６号に記載されている手法がある。この手法は、正確なエッジ方向を検出し、そのエッジ方向に応じた画素値から拡大画像を生成するものであり、入力された画像に対してボケやジャギーなどの画質欠陥をなるべく生じさせること無く拡大処理を行うことができる。しかし処理に時間がかかるため、高画質を維持したまま処理負荷を低減し、高速処理によって処理時間を短縮することが望まれていた。
【００１１】
【特許文献１】
特開２０００−２２８７２３号公報
【特許文献２】
特開２００１−１８８９００号公報
【特許文献３】
特開２０００−１８８６８１号公報
【特許文献４】
特開２００２−１６５０８９号公報
【００１２】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点を考慮してなされたものであり、入力された画像に対してボケやジャギーなどの画質欠陥をなるべく生じさせること無く、高画質に、しかも処理負荷が軽く高速に拡大処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とするものである。また、そのような画像処理装置の機能あるいは画像処理方法をコンピュータにより実行するための画像処理プログラムと、そのような画像処理プログラムを格納したコンピュータが読取可能な記憶媒体を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明は、画像の拡大処理を行う画像処理装置及び画像処理方法において、注目画素を含む所定の大きさの画像領域の特徴量を領域特徴量算出手段で算出し、算出された特徴量が所定の条件を満たす前記画像領域に対応する拡大画像領域を拡大画像領域生成手段で生成し、さらに入力画像を前記画像領域の拡大手法とは異なる拡大手法により拡大画像生成手段で拡大して拡大画像を生成し、画像配置手段で拡大画像領域を拡大画像上の対応する位置に配置することを特徴とするものである。
【００１７】
このように、全体としては拡大画像生成手段で処理負荷の軽い拡大手法を用いて拡大処理しておき、エッジ部などの画質にとって重要な部分のみについて拡大画像領域生成手段で高画質の拡大画像領域を生成して配置する。これによって、画像全体に対して高画質の拡大手法を用いて拡大処理を行う場合に比べて処理負荷を軽減することができ、高画質でありながら高速に拡大処理を行うことが可能となる。
【００１８】
領域特徴量算出手段によって算出する特徴量としては、画像領域内の各画素値から画像領域内の凹凸度合いを算出したり、画像領域内の変化方向を算出することができる。また、カラー画像については、色空間におけるそれぞれの色成分毎に特徴量を算出し、算出した１つあるいは複数の特徴量をもとに色空間における１つの色成分のデータを選択し、その１つの色成分のデータにおける画像領域の特徴量をすべての色成分における画像領域の特徴量とすることができる。また拡大画像領域生成手段に設けられる拡大手段としては、例えば、画像領域の特徴量とともに、その画像領域の近傍領域の特徴量および近傍領域内の画素値を用いて拡大画像領域を生成する拡大手段を設けておき、領域特徴量算出手段で算出された特徴量が所定の条件を満たす画像領域、例えばエッジなどを含む高画質の拡大処理が必要な画像領域に対して、この拡大手段を選択して拡大処理を行うことができる。画像全体の拡大処理を行う拡大画像生成手段としては、入力画像毎あるいは入力画像中の数ライン毎に拡大画像を生成するように構成することができる。
【００１９】
画像配置手段による拡大画像領域の配置は、拡大画像を書き換えてしまうほか、拡大画像と重なり合うように順次配置し、重なり合う画素については重なる画素値の総和を算出して重なった数で割るように構成することができる。
【００２０】
さらに本発明は、画像の拡大処理をコンピュータに実行させる画像処理プログラムであって、請求項１ないし請求項１０のいずれか１項に記載の画像処理装置の機能あるいは請求項１１に記載の画像処理方法をコンピュータに実行させることを特徴とするものである。これによって、上述の拡大処理の機能をコンピュータによって実行させることができる。さらに本発明では、このような画像処理プログラムを格納したコンピュータが読取可能な記憶媒体を提供することができる。
【００２１】
【発明の実施の形態】
図１は、本発明の画像処理装置及び画像処理方法の第１の実施の形態を示すブロック図である。図中、１は画像処理部、２は画像データ格納部、１１は画像ブロック設定部、１２は画像ブロック特徴量算出部、１３は拡大画像ブロック生成部、１４は画像ブロック配置部、２１は第１生成部、２２は第２生成部である。
【００２２】
画像データ格納部２は、画像データが画像処理部１で拡大処理されるまで一時的に記憶する機能や、解像度変換または拡大処理された拡大画像データが図示しない出力装置に出力されるまで一時的に記憶する機能などを備えたものである。なお、画像データは画像処理装置で処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、図示しないデジタルカメラやスキャナなどによって取り込まれたり、パーソナルコンピュータ等において作成、編集等を処理するアプリケーションプログラムで作成された画像データ等である。拡大画像データについても、同様の画像フォーマットのデータである。
【００２３】
画像処理部１は、画像ブロック設定部１１と、画像ブロック特徴量算出部１２と、拡大画像ブロック生成部１３と、画像ブロック配置部１４を含んで構成されており、画像データ格納部２との間で、拡大処理の対象となる画像データの読み出しや、拡大処理によって生成された拡大画像データの書き込みなどを行う。
【００２４】
画像ブロック設定部１１は、画像ブロック特徴量算出部１２および拡大画像ブロック生成部１３における処理で必要とされる所定のブロックサイズをそれぞれ設定し、画像データ格納部２に記憶されている入力画像データから注目画素を含むそれぞれのブロックサイズの画像ブロックを順次切り出し、画像ブロック特徴量算出部１２および拡大画像ブロック生成部１３に送信する。
【００２５】
画像ブロック特徴量算出部１２は、画像ブロック設定部１１で順次切り出された画像ブロック中の注目領域における画像特徴量を、注目領域あるいは注目領域の周辺部を含む画像ブロック内の各画素値から算出する。画像特徴量としては、例えば後述するように注目領域のエッジ強度およびエッジ角度を算出することができる。しかしこれに限られるものではなく、例えば注目領域の各画素値の平均値を求め、その平均値に対する注目領域の各画素値のばらつきを表すような値（例えば、標準偏差や分散）を求めるなど、種々の画像特徴量を算出するものであってよい。
【００２６】
拡大画像ブロック生成部１３は、複数の拡大手段、ここでは第１生成部２１及び第２生成部２２を有しており、画像ブロック特徴量算出部１２で算出された画像特徴量に従って複数の拡大手段を切り替えて注目領域に対応する拡大画像ブロックを生成する。例えば画像ブロック特徴量算出部１２においてエッジ強度を数値として算出している場合、特徴量と所定値とを比較し、その比較の結果に応じて第１生成部２１あるいは第２生成部２２のいずれかに切り替えて拡大画像ブロックを生成することができる。なお、ここでは特徴量が所定値よりも大きい場合には第１生成部２１で、所定値以下の場合には第２生成部２２で拡大処理を行うものとする。もちろん、拡大手段の切り替えに用いる特徴量はエッジ強度に限られるものではなく、上述の標準偏差や分散、あるいはそのほかの種々の特徴量を用いることができる。第１生成部２１及び第２生成部２２における拡大手法は任意であるが、上述の例のようにエッジ強度が大きい数値を示す場合に動作する第１生成部２１としては、画質を優先した拡大手法が望ましい。また、この場合の第２生成部２２は、第１生成部２１よりも高速で処理可能な拡大手法が望ましく、これによって全体の処理時間を短縮することができる。
【００２７】
画像ブロック配置部１４は、拡大画像ブロック生成部１３で生成された拡大画像ブロックを順次配置し、解像度変換あるいは拡大された拡大画像データを画像データ格納部２に出力する。なお、拡大画像ブロックの配置方法については後述するが、例えば順次並べてゆく方法の他、拡大画像ブロックを重なり合うように順次配置して重畳させ、重なる画素値の総和を重なった数で割ることにより画素値を算出するように構成することもできる。
【００２８】
図２は、本発明の画像処理装置及び画像処理方法の実施の一形態における動作の一例を示すフローチャートである。ここでは具体例を含めて説明してゆく。Ｓ４１において、画像データ格納部２に記憶された入力画像データに対して、画像ブロック設定部１１で、画像ブロック特徴量算出部１２および拡大画像ブロック生成部１３の処理で必要とされる各々のブロックサイズを設定する。さらに、設定したブロックサイズの画像ブロックを入力画像データから切り出す。図３は、画像ブロック設定部１１で設定及び切り出しを行う画像ブロックの説明図である。中央部の細かい右上がりのハッチングを施した画素が注目領域、その周囲の荒い左上がりのハッチングを施した画素が周辺領域である。ここでは一例として、注目領域を２×２画素サイズ、注目領域を含む周辺領域を４×４画素サイズとしている。この場合、設定されるブロックサイズは２倍拡大の場合は図３（Ａ）に示す６×６画素サイズの画像ブロックが、また４倍拡大の場合は図３（Ｂ）に示す８×８画素サイズの画像ブロックが切り出される。
【００２９】
Ｓ４２において、画像ブロック特徴量算出部１２は、切り出された画像ブロック中の注目領域（図３中の細かい右上がりのハッチングを施した２×２画素の領域）のエッジ強度Ｇを以下の式（１）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像の場合は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂ中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ ・・（１）
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出してもよい。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜ ・・（２）
【００３０】
Ｓ４３において、Ｓ４２で算出した注目領域のエッジ強度Ｇと所定の閾値Ｔｈとの比較を行う。ここで閾値Ｔｈよりエッジ強度Ｇが大きい場合は、注目領域が入力画像中のエッジ部分あるいは変化の大きい部分であるので、そうした注目領域の画像特徴を保存するような拡大画像ブロックの生成処理をＳ４４〜Ｓ４７において行う。また、注目領域のエッジ強度Ｇが閾値Ｔｈよりも小さい場合は、Ｓ４４〜Ｓ４７の処理に比べて処理負荷の小さい拡大画像ブロックの生成処理をＳ４８において行う。
【００３１】
Ｓ４４において、画像ブロック特徴量算出部１２は、閾値Ｔｈよりエッジ強度Ｇが大きいと判断された注目領域およびその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを以下に示す式（３）でそれぞれ計算する。
Θ＝ａｒｃｔａｎ（ｇｙ／ｇｘ） ・・（３）
なお、ｇｘ、ｇｙはＳ４２において各々算出された値である。そして、得られた複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば得られた複数のエッジ角度Θの平均値を取るなどの演算を行い、エッジ方向θを推定することができる。もちろん、エッジ方向θの推定方法は任意である。
【００３２】
Ｓ４５において、画像ブロック特徴量算出部１２は、Ｓ４４で推定されたエッジ方向θおよび注目領域の画素分布パターンを用いて第１および第２エッジパターンを選択する。ここで第１および第２エッジパターンは、後述の図９に示すようにエッジ方向および画素分布パターン毎に予め用意されており、例えば図示しない画像処理部１中の記憶部あるいは画像データ格納部２の一部などにテーブル情報として記憶させておくことができる。なお、詳細は後述する。
【００３３】
Ｓ４６において、拡大画像ブロック生成部１３の第１生成部２１は、拡大率に応じたサイズおよび要素値をもつ所定の強調パターン（以下、強調カーネルと呼ぶ）を用いて、画像ブロック設定部１１で切り出された画像ブロック中の注目領域およびその周辺領域の画像データを強調する。なお、強調カーネル及びその強調カーネルを用いた強調処理については後述する。
【００３４】
Ｓ４７において、拡大画像ブロック生成部１３の第１生成部２１は、画像ブロック特徴量算出部１２で推定された前記注目領域のエッジ方向θと、選択された前記エッジパターンおよびＳ４６において算出された注目領域および周辺領域の強調された画素値を用いて、注目領域に対する拡大画像ブロックを生成する。
【００３５】
このようにして、Ｓ４３において注目領域のエッジ強度Ｇが大きい場合に、そのようなエッジ部分あるいは変化が大きいという特徴を保存するような拡大画像ブロックが生成される。これによって、エッジ部分などについてボケやジャギーの少ない高画質の拡大画像ブロックの生成を行うことができる。
【００３６】
一方、Ｓ４８において、拡大画像ブロック生成部１３の第２生成部２２は、Ｓ４３で画像ブロック特徴量算出部１２において閾値Ｔｈよりエッジ強度Ｇが小さいと判断された注目領域に対する拡大画像ブロックを生成する。第２生成部２２における拡大画像ブロック生成処理は、Ｓ４４〜Ｓ４７における拡大画像ブロックの生成処理とは異なり、例えば最近傍補間などの処理負荷の小さい拡大処理でよい。すなわち、エッジ強度Ｇが小さい場合には、上述のような複雑で処理時間を要する処理を行わなくても、もっと処理負荷の小さい拡大画像ブロックの生成処理でも十分な画質を得ることが可能である。従って、エッジ強度Ｇが小さい場合には拡大画像ブロック生成部１３の第２生成部２２を選択して処理負荷の小さい拡大画像ブロックの生成処理を行い、全体としての処理時間の短縮を図っている。
【００３７】
Ｓ４９において、画像ブロック配置部１４は、拡大画像ブロック生成部１３で生成された前記注目領域に対する拡大画像ブロック（Ｓ４４〜Ｓ４７の処理で生成された拡大画像ブロック及びＳ４８の処理で生成された拡大画像ブロック）を、後述する所定の方法で順次配置し、配置を終えた画像ブロックを出力すべき拡大画像データの一部として画像データ格納部２に格納する。
【００３８】
Ｓ５０において、入力画像データに対して出力すべき拡大画像データの生成が完了したかを判断し、完了していない場合は、Ｓ４１に処理を戻し、次の画像ブロックを切り出し、上述の処理を繰り返す。完了した場合は、拡大画像データを出力して拡大処理を終了する。
【００３９】
以上、本発明の画像処理装置及び画像処理方法の実施の一形態における動作の一例について説明した。次に、主要部である画像ブロック特徴量算出部１２、拡大画像ブロック生成部１３および画像ブロック配置部１５の詳細について説明する。
【００４０】
まず、画像ブロック特徴量算出部１２の詳細について説明する。ここでも上述の図３に示したように、注目領域を２×２画素サイズブロック、注目領域を含む周辺領域を４×４画素サイズブロックとする。図４は、画像ブロック特徴量算出部１２の一構成例を示すブロック図である。図中、３１はエッジ強度算出部、３２はエッジ方向推定部、３３はエッジパターン選択部である。図４に示した例では、画像ブロック特徴量算出部１２は、エッジ強度算出部３１、エッジ方向推定部３２、エッジパターン選択部３３を有している。
【００４１】
エッジ強度算出部３１は、上述したように、画像ブロック設定部１１で切り出された画像ブロック中の注目領域のエッジ強度Ｇを上記の式（１）で算出し、算出されたエッジ強度Ｇと所定の閾値Ｔｈとの比較を行い、注目領域の拡大処理手法を選択する。なお、注目領域のエッジ強度Ｇが閾値Ｔｈよりも小さい場合は、エッジ方向推定部３２及びエッジパターン選択部３３における処理を行わずに、拡大画像ブロック生成部１３の第２生成部２２における拡大処理が行われる。
【００４２】
以下にエッジ方向推定部３２およびエッジパターン選択部３３の処理の詳細を説明する。図５は、注目領域および周辺領域の具体例と注目領域のエッジ方向の一例の説明図である。図５（Ａ）は注目領域および周辺領域の一例を示している。各矩形がそれぞれ画素であり、各数字はそれぞれの画素値を示している。注目領域は太線枠で囲まれた画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。この図５に示す例を用いて、エッジ方向推定部３２におけるエッジ方向推定処理の流れについて説明する。
【００４３】
図６は、エッジ方向推定部３２におけるエッジ方向推定処理の一例を示すフローチャートである。Ｓ６１において、図５（Ａ）中の太線枠で囲まれた注目領域のエッジ角度Θを、上述した式（３）で計算する。例えば具体的に図５（Ａ）に示すような注目領域｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝の場合、ｇｘ、ｇｙはそれぞれ式（１）よりｇｘ＝−１０３、ｇｙ＝−８５となる。従って、図５（Ａ）に示す注目領域におけるエッジ角度ΘはΘ＝−１４０．５°となる。このエッジ角度Θの方向を図５（Ｂ）においては破線の矢線によって示している。
【００４４】
さらに図５（Ｂ）に示すように角度方向を設定し、得られたエッジ角度Θを２２．５°（８方向）の角度範囲のいずれに含まれるかを調べる。この場合、エッジ角度Θが０°あるいは±１８０°を方向０、２２．５°あるいは−１５７．５°の方向を方向１、４５°あるいは−１３５°の方向を方向２、６７．５°あるいは−１１２．５°の方向を方向３、９０°あるいは−９０°の方向を方向４、１１２．５°あるいは−６７．５°の方向を方向５、１３５°あるいは−４５°の方向を方向６、１５７．５°あるいは−２２．５°の方向を方向７とし、これらの角度の±１１．２５°の範囲をそれぞれの方向であるものとしている。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は方向２となる。
【００４５】
Ｓ６１では、さらに後述するＳ６６における注目領域のエッジ方向推定に用いるエッジ角度の参照数をカウントするための変数である角度参照数を１にセットする。
【００４６】
Ｓ６２において、Ｓ６１で計算された注目領域のエッジ角度Θに応じて、図５（Ａ）に示した周辺領域（太線枠外の領域）中からエッジ方向の推定に用いる参照領域を選択する。図７は、エッジ方向の推定に用いる参照領域の一例の説明図である。図中の太線枠で示した２×２画素が参照領域である。図７（Ａ）はＳ６１で求めたエッジ角度の方向が０の場合を示し、図７（Ｂ）は方向が４の場合、図７（Ｃ）はそれ以外の方向の場合を示している。なお、図７（Ａ）及び（Ｂ）に示す方向０及び方向４の場合の参照領域の数は２であり、図７（Ｃ）に示す方向０，４以外の方向の場合の参照領域の数は４である。図５に示した具体例では、エッジ角度の方向は方向２であるので、図７（Ｃ）に示した４つの参照領域が選択の候補となる。なお、参照領域の選択は図７に示したものに限定されるわけではなく、例えば図７（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。
【００４７】
Ｓ６３において、Ｓ６２で選択された参照領域の１つに対して、Ｓ６１と同様に式（３）に従って、エッジ角度Θを計算する。Ｓ６４において、Ｓ６３で計算された参照領域のエッジ角度と、Ｓ６１で計算された注目領域のエッジ角度とを比較する。両エッジ角度の差が予め設定されている閾値Θｔｈよりも小さい場合には、Ｓ６５において角度参照数を１増やし、Ｓ６６に処理を移す。両エッジ方向の差が予め設定されている閾値Θｔｈよりも大きい場合には、エッジ方向推定には適さない参照領域と判断し、そのままＳ６６に処理を移す。Ｓ６６において、全ての選択可能な参照領域のエッジ角度計算が終了したか否かを判断する。終了していればＳ６７に処理を移し、まだ終了していない参照領域がある場合には、Ｓ６３からＳ６５の処理を繰り返す。
【００４８】
図５に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。
【００４９】
Ｓ６７において、注目領域のエッジ角度と、Ｓ６４においてエッジ方向推定に適したと判断された参照領域のエッジ角度との総和を計算し、前記エッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。図８は、図５に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに正規化するとすれば、−１４７．５°は方向１となる。これを推定エッジ方向とする。
【００５０】
なお上述の説明では、入力画像データがグレースケール画像である場合について説明を行っているが、勿論これに限定されるわけではない。例えばＲＧＢ色空間のカラー画像の場合には、先に図２のフローチャートのＳ３２でも説明したように、各々の色成分のデータにおけるエッジ角度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記の処理を行えばよい。このようにすることで、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
【００５１】
また、上述の説明では注目領域および参照領域における式（１）を用いたエッジ角度計算後に８方向のいずれかに正規化したが、勿論これに限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の方向に正規化しても良い。
【００５２】
次に、エッジパターン選択部３３の動作の詳細について説明する。図９は、エッジパターンテーブルの一例の説明図である。エッジパターン選択部３３は、例えば図９に示すようなエッジパターンテーブルを用いて、エッジパターンの変換を行う。図９に示したように、エッジパターンテーブルには注目領域のパターンサイズに対応する第１エッジパターンがそれぞれのエッジ方向（ここでは８方向）ごとに１ないし数パターンが登録されており、それぞれのパターンに対応して、第１エッジパターンのパターンサイズよりも大きなパターンサイズのパターンが第２エッジパターンとして登録されている。
【００５３】
エッジパターン選択部３３では、例えば図９に示すようなエッジパターンテーブルを用いて、エッジ方向推定部３２で推定された注目領域のエッジ方向に相当する第１エッジパターンを選択し、選択された第１エッジパターンに対応する第２エッジパターンを決定する。
【００５４】
具体的に図５（Ａ）に示す太線枠で囲まれた注目領域およびその周辺領域の場合、注目領域に対する推定エッジ方向は、エッジ方向推定部１１によって、上述のようにすべての参照領域について注目領域のエッジ角度との差が閾値Θｔｈより小さいとした場合には方向１であると求められている。注目領域の推定エッジ方向（方向１）に従い、図９に示すエッジパターンテーブル内から注目領域のエッジパターンに相当するパターン候補が選択される。この場合、方向１の第１エッジパターンであるパターン０からパターン３の４つのパターンが選択され、図５（Ａ）に示す注目領域に対する第１エッジパターンの候補となる。
【００５５】
次に、エッジパターン選択部３３では、以下に説明するように、パターン０からパターン３のいずれか１つを注目領域に対する第１エッジパターンとして選択する。図１０は、図５に示す注目領域に対応する第１エッジパターンの選択方法の具体例の説明図である。この具体例では、推定エッジ方向が方向１であったことにより、図５に示した注目領域に対するエッジパターンとして、図９に示すエッジパターンテーブルから第１エッジパターン中の４つのエッジパターンの候補が選択された。選択されたエッジパターンの候補を図１０（Ａ）として示している。
【００５６】
このようなエッジパターンの候補のそれぞれについて、図１０（Ｂ）に示すようにビットパターン化する。ここでは白部分を０、それ以外を１としてビットパターン化している。ただし、図９に示すエッジパターンテーブルを予めビットテーブル化して登録しておいても良く、その場合は、このビットパターン化の処理は省略できる。
【００５７】
次に式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ ・・（４）
図５（Ａ）に示す例の場合ではＭｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１であり、その符号を画素値パターンとすると図１０（Ｃ）に示すようになる。さらに画素値パターンを図１０（Ｄ）に示すようにビットパターン化する。
【００５８】
次に、図１０（Ｂ）に示した各エッジパターン候補のビットパターンと、図１０（Ｄ）に示した注目領域のビットパターンとのパターンマッチングを行い、注目領域に対する第１エッジパターン中のエッジパターンを１つ選択する。この場合はパターン２が注目領域に対する第１エッジパターンとして選択される（図１０（Ｅ））。
【００５９】
最後に、第１エッジパターンが選択されると、それに１対１に対応するように予め用意された第２エッジパターンを決定する。この場合は図９に示したエッジパターンテーブルから、第１エッジパターンにおける方向１のパターン２に対応する第２エッジパターン（方向１、パターン２）が選択される（図１０（Ｆ））。第２エッジパターンは、後述する拡大画像ブロック生成部２における注目領域に対する拡大画像ブロック生成の際に使用される。
【００６０】
なお、第１および第２エッジパターンは図９に示したものに限定されるわけではなく、例えば、入力画像データの種類に応じて図９とは異なったエッジパターンを用いてもよく、また各角度における第１および第２エッジパターン候補数を増減させてもよい。もちろん、テーブルとして構成する必要もなく、特定された第１エッジパターンから第２エッジパターンが導出できればよい。
【００６１】
次に拡大画像ブロック生成部１３について詳細に説明する。最初に、拡大画像ブロック生成部１３の第１生成部２１における拡大画像領域の生成処理の詳細について説明する。拡大画像ブロック生成部１３の第１生成部２１では、まず、画像ブロック設定部１１で設定された拡大倍率に応じたサイズおよび要素の強調カーネルを用いて、上述の図３に示したような画像ブロック設定部１１で切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。
【００６２】
図１１は、拡大画像ブロック生成部１３の第１生成部２１で用いる強調カーネルの具体例の説明図である。また図１２は、図１１に示す強調カーネルで画素Ｐを強調する場合の説明図である。図１１（Ａ）に示す強調カーネル（カーネル０）は倍率が２倍の時に、図１１（Ｂ）に示す強調カーネル（カーネル１）は倍率が４倍の時に、図１１（Ｃ）に示す強調カーネル（カーネル２）は倍率が８倍の時に、それぞれ用いるものである。図中、中心の画素値とその画素の上下左右に配置されたハッチングを施した画素を使用し、下部に記載した重みを用いて強調処理を行うことを示している。
【００６３】
拡大処理を行う場合、４倍、８倍の処理を行うと、原画像の特徴を有している画素は２画素、４画像離れた位置の画素となる。そのため、図１１に示すように倍率が高いほど離れた画素を選択して強調処理に用いている。もちろん、１６倍以降の倍率においても同様である。また、参照する画素の位置は、図１１に示すような上下左右に限られたものではない。例えば、斜め方向の画素を含めたり、さらに離れた画素をも参照するように構成したり、入力画像データの種類およびサイズなどにより用いるカーネルを変更するなど、カーネルの要素（参照する画素）および要素間の距離が図１１に示した強調カーネルと異なったものを用いてもよい。
【００６４】
例えば図１１（Ａ）に示すような強調カーネルを用いる場合、図１２（Ａ）に示すように、例えば中心の参照画素Ｐの強調処理を行う場合には、その上下左右に存在する画素ａ，ｂ，ｃ，ｄを参照し、また重みとして中心の注目画素については１．６を、周辺の参照画素に対しては０．１５をそれぞれ用いる。これらにより、画素Ｐの画素値Ｐ’は次の式（５）に従って計算することができる。
注目画素値Ｐ’＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・（５）
【００６５】
なお、例えば図１１（Ｂ）に示すような強調カーネルを用いる場合にも、同様に図１２（Ｂ）に示すように参照画素Ｐの強調処理を行う場合には、その上下左右に１画素おいて存在する画素ａ，ｂ，ｃ，ｄを参照し、また重みとして中心の注目画素については１．２を、周辺の参照画素に対しては０．０５をそれぞれ用いて式（５）と同様にして画素Ｐの画素値Ｐ’を計算すればよい。
【００６６】
図１３は、入力画像データを８倍拡大する場合の強調カーネルによるコントラスト強調処理の説明図である。後述するように第１生成部２１による拡大処理の手法は２倍ごとに行うため、８倍の拡大を行う場合には、まず２倍の拡大を行い、２倍に拡大された画像データに対してさらに２倍の拡大を行って４倍に拡大された画像データを生成し、さらにその４倍に拡大された画像データに対して２倍の拡大を行って、最終的に８倍に拡大された画像データを得る。上述の強調カーネルによる強調処理は、それぞれの２倍拡大の前に行う。
【００６７】
すなわち、図１３（Ａ）に示す入力画像データを２倍拡大する場合に、図１１（Ａ）に示すカーネル０を用いて入力画像データのコントラスト強調を行い、後述する処理によって２倍に拡大して図１３（Ｂ）に示す２倍拡大データを生成する。次に、図１３（Ｂ）に示す２倍拡大された画像データを２倍拡大する場合に、２倍拡大画像データに対して図１１（Ｂ）に示すカーネル１を用いてコントラスト強調を行い、その後２倍に拡大して図１３（Ｃ）に示す４倍拡大データを生成する。さらに、図１３（Ｃ）に示す４倍拡大データに対して図１１（Ｃ）に示すカーネル２を用いてコントラスト強調を行い、その後２倍に拡大して図１３（Ｄ）に示す８倍拡大データを生成する。図１１に示した強調カーネルは、このようにして用いられ、それぞれの拡大の段階でのデータに対して強調処理を施す。
【００６８】
次に拡大画像ブロック生成部１３の第１生成部２１は、実際に拡大画像ブロックを生成する。この拡大画像ブロックの生成処理の詳細について説明する。拡大画像ブロック生成部１３の第１生成部２１では、画像ブロック特徴量算出部１２のエッジパターン選択部３３で得られた第２エッジパターンと、上述の画像強調処理においてコントラスト強調された画素値を用いて、注目領域に対する拡大画像ブロックを生成する。
【００６９】
図１４は、拡大画像ブロック生成部１３の第１生成部２１における拡大画像ブロック生成処理の一例を示すフローチャートである。Ｓ７１において、画像強調処理によりコントラスト強調された注目領域、および、画像ブロック特徴量算出部１２のエッジパターン選択部３３で選択された第２エッジパターンを用いて、まず３×３画素の拡大画像ブロックを生成する。図１５は、３×３画素の拡大画像ブロックの生成処理の具体例の説明図である。図１５（Ａ）には図５（Ａ）に示した注目領域及び周辺領域の一例を示している。また、この注目領域に対応して、例えば図１０において説明したようにして求められた第２エッジパターン（図９における方向１のパターン２）を図１５（Ｂ）に示している。図１５（Ｂ）においては、それぞれの画素をｐ０〜ｐ８としている。図１５（Ａ）に示した注目領域｛ａ，ｂ，ｃ，ｄ｝をもとに、画素ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｃ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｄ）／２
ｐ８＝ｄ
このような計算を行うことによって、図１５（Ｃ）に示すように３×３画素の拡大画像ブロックを生成することができる。
【００７０】
図１６は、第２エッジパターンと３×３画素の拡大画像ブロックを生成する際に用いる計算式の一例の説明図である。上述のように図１５（Ｂ）に示したような第２エッジパターンが選択されている場合には、上述の式によって３×３画素の拡大画像ブロックを生成することができるが、この時用いる計算式は、選択された第２エッジパターン毎に決まっている。図１６（Ａ）に示した第２エッジパターンは図９に示す方向１のパターン０であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝２×ｐ４−ｐ７
によって３×３画素の拡大画像ブロックを生成することができる。
【００７１】
図１６（Ｂ）に示した第２エッジパターンは図９に示す方向５のパターン１であり、この場合は
ｐ０＝ａ
ｐ１＝（ａ＋ｃ）／２
ｐ２＝ｂ
ｐ３＝（ｃ＋ｄ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ａ＋ｂ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画素の拡大画像ブロックを生成することができる。
【００７２】
図１６（Ｃ）に示した第２エッジパターンは図９に示す方向２のパターン０であり、この場合は
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画素の拡大画像ブロックを生成することができる。
【００７３】
図１６（Ｄ）に示した第２エッジパターンは図９に示す方向０のパターン０であり、この場合は
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ４＝（ｐ１＋ｐ７）／２
によって３×３画素の拡大画像ブロックを生成することができる。なお、他の第２エッジパターンの場合にも、同様にそれぞれの第２エッジパターンに対応した計算式に従って計算を行うことによって、３×３画素の拡大画像ブロックを生成することができる。
【００７４】
図１４に戻り、Ｓ７２において、画像ブロック特徴量算出部１２のエッジ方向推定部３２で推定された注目領域の推定エッジ方向を判断し、推定エッジ方向が方向１〜方向３および方向５〜方向７の場合はＳ７３に、推定エッジ方向が方向０および方向４（すなわちエッジ方向が垂直あるいは水平方向）の場合はＳ７４に処理を移す。
【００７５】
Ｓ７３において、注目領域の推定エッジ方向が方向１〜方向３および方向５〜方向７の場合、すなわちエッジ方向が垂直あるいは水平方向以外の場合に、Ｓ７１で生成された３×３画素の拡大画像ブロックから４×４画素の拡大画像ブロックを生成する。ここでは、３×３画素の拡大画像ブロックと、コントラスト強調された注目領域及びその周辺領域から、まず３×４画素の拡大画像ブロックを生成し、その後、生成した３×４画素の拡大画像ブロックとコントラスト強調された注目領域及びその周辺領域から４×４画素の拡大画像ブロックを生成する。
【００７６】
図１７は、３×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１７（Ａ）には一例として図５（Ａ）に示した注目領域及び周辺領域の例を示している。また、図１７（Ｂ）におけるｐ０〜ｐ８は、図１５（Ｃ）に示した３×３画素の拡大画像ブロックを中央部に示している。
【００７７】
まず図１７（Ｂ）の中央部に示す３×３画素の拡大画像ブロックとともに、図１７（Ａ）において太線枠で示した、コントラスト強調された周辺領域中の参照画素（ｒ０〜ｒ５）を用いて、図１７（Ｃ）に示す３×４画素の拡大画像ブロック（ｑ０〜ｑ１１）を生成する。３×４画素の拡大画像ブロックの各画素値ｑ０〜ｑ１１は、次のような計算式により決定される。
ｑ０＝０．２×ｒ０＋０．８×ｐ０
ｑ１＝０．４×ｐ０＋０．６×ｐ１
ｑ２＝０．６×ｐ１＋０．４×ｐ２
ｑ３＝０．８×ｐ２＋０．２×ｒ１
ｑ４＝０．２×ｒ２＋０．８×ｐ３
ｑ５＝０．４×ｐ３＋０．６×ｐ４
ｑ６＝０．６×ｐ４＋０．４×ｐ５
ｑ７＝０．８×ｐ５＋０．２×ｒ３
ｑ８＝０．２×ｒ４＋０．８×ｐ６
ｑ９＝０．４×ｐ６＋０．６×ｐ７
ｑ１０＝０．６×ｐ７＋０．４×ｐ８
ｑ１１＝０．８×ｐ８＋０．２×ｒ５
【００７８】
図１８は、推定エッジ方向による参照画素の選択方法の説明図である。図１７に示した例では、図５（Ａ）に示した注目領域及び周辺領域から画像ブロック特徴量算出部１２で求めた推定エッジ方向が方向１であった場合を想定して、参照画素の位置を図１７（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素とした。この参照画素の例を図１８（Ａ）に示しているが、このような位置の画素を参照画素とするのは、注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合である。注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１８（Ｂ）に太線枠で囲んで示すように、左下から上へ３画素と右上から下へ３画素とするとよい。このように、注目領域における推定エッジ方向に従って、参照画素を選択する。もちろん、参照画素の選択は図１８に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。
【００７９】
図１９は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。上述のようにして生成された３×４画素の拡大画像ブロック、および、コントラスト強調された周辺領域中の参照画素（ｒ０〜ｒ７）を用いて、４×４画素の拡大画像ブロックを生成する。コントラスト強調された注目領域及び参照領域を図１９（Ａ）に示し、生成された３×４画素の拡大画像ブロックを図１９（Ｂ）の中央部に示している。ここでは参照画素ｒ０〜ｒ７として、図１９（Ａ）において太線枠で示したように、コントラスト強調された参照領域の下部４画素と上部４画素を用いる。そして、次のような計算式に従って、図１９（Ｃ）に示す４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）を生成する。
ｓ０＝０．２×ｒ０＋０．８×ｑ０
ｓ１＝０．２×ｒ１＋０．８×ｑ１
ｓ２＝０．２×ｒ２＋０．８×ｑ２
ｓ３＝０．２×ｒ３＋０．８×ｑ３
ｓ４＝０．４×ｑ０＋０．６×ｑ４
ｓ５＝０．４×ｑ１＋０．６×ｑ５
ｓ６＝０．４×ｑ２＋０．６×ｑ６
ｓ７＝０．４×ｑ３＋０．６×ｑ７
ｓ８＝０．６×ｑ４＋０．４×ｑ８
ｓ９＝０．６×ｑ５＋０．４×ｑ９
ｓ１０＝０．６×ｑ６＋０．４×ｑ１０
ｓ１１＝０．６×ｑ７＋０．４×ｑ１１
ｓ１２＝０．８×ｑ８＋０．２×ｒ４
ｓ１３＝０．８×ｑ９＋０．２×ｒ５
ｓ１４＝０．８×ｑ１０＋０．２×ｒ６
ｓ１５＝０．８×ｑ１１＋０．２×ｒ７
【００８０】
なお、上記で説明した図１４のＳ７３における４×４画素の拡大画像ブロックの生成処理において、ここでは３×３画素ブロック→３×４画素ブロック→４×４画素ブロックという処理の流れによって拡大処理を行う例を示したが、３×３画素ブロック→４×３画素ブロック→４×４画素ブロックの処理の流れでもよいし、３×３画素ブロックから４×４画素ブロックを生成してもよい。もちろん、これらの場合の参照画素の選択は適宜変更されることになる。
【００８１】
図１４に戻り、Ｓ７４では、注目領域の推定エッジ方向が方向０および方向４の場合（すなわち垂直方向あるいは水平方向の場合）に、Ｓ７１で生成された３×３画素の拡大画像ブロックから４×４画素の拡大画像ブロックを生成する。図２０は、推定エッジ方向が方向０および方向４の場合における４×４画素の拡大画像ブロックの生成処理の一例の説明図である。注目領域の推定エッジ方向が方向０および方向４の場合は、図２０（Ａ）に示すコントラスト強調された周辺領域中の画素（Ａ，Ｂ，Ｃ，Ｄ）を用い、図２０（Ｂ）において左右に示す参照画素ｒ０〜ｒ５を次のような式を用いて算出する。
ｒ０＝Ａ
ｒ１＝Ｂ
ｒ２＝０．５×Ａ＋０．５×Ｃ
ｒ３＝０．５×Ｂ＋０．５×Ｄ
ｒ４＝Ｃ
ｒ５＝Ｄ
なお、図２０（Ｂ）の中央部には、図１４のＳ７１で生成された３×３画素の拡大画像ブロックｐ０〜ｐ８を示している。
【００８２】
このようにして３×３画素の拡大画像ブロックと、参照画素ｒ０〜ｒ５が得られたら、これらを用いて上述の図１７で説明した計算方法によって３×４画素の拡大画像ブロックｑ０〜ｑ１１を生成する。これを図２０（Ｃ）に示している。さらに、このようにして生成した３×４画素の拡大画像ブロックｑ０〜ｑ１１と、図２０（Ａ）に示すコントラスト強調された周辺領域の上下４画素ずつを参照画素とし、上述の図１９に示した計算方法によって図２０（Ｄ）に示す４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）を生成する。
【００８３】
以上のように、図１４に示したＳ７１からＳ７４の処理を行うことにより、画像ブロック特徴量算出部１２において閾値Ｔｈよりエッジ強度Ｇが大きいと判断された注目領域に対する４×４画素の拡大画像ブロック（例えば図１９（Ｃ）または図２０（Ｄ）に示すｓ０〜ｓ１５）が生成される。
【００８４】
次に、画像ブロック特徴量算出部１２において閾値Ｔｈよりエッジ強度Ｇが小さいと判断された注目領域に対しては、拡大画像ブロック生成部１３の第２生成部２２において、上述したような注目領域の画像特徴を保存する拡大画像ブロック生成部１３の第１生成部２１における拡大処理ではなく、処理負荷を軽減した、より簡便な拡大画像ブロックの生成処理を行う。例えばその一例として、２×２画素の注目領域から最近傍補間により４×４画素の拡大画像ブロックを生成することができる。もちろん、この第２生成部２２において用いる拡大手法は任意であり、第１生成部２１よりも処理負荷の軽い手法であればどのような手法を用いてもよい。
【００８５】
以上説明したように、画像ブロック特徴量算出部１２で算出された画像特徴量に従って、拡大画像ブロック生成部１３において行う拡大処理を選択することにより、入力画像データを高画質に拡大でき、さらには処理負荷も削減することが可能となる。具体的には、第２生成部２２において第１生成部２１よりも処理負荷の軽い拡大手法を用いることによって、拡大処理全体の処理負荷を軽減し、処理時間を短縮して高速な拡大処理を実現することができる。なお、ここでは拡大画像ブロック生成部１３が２つの拡大手法を有しているものとし、いずれかを選択的に用いることとしたが、さらに複数の拡大手法を設けておき、画像ブロック特徴量算出部１２で算出された種々の画像特徴量に従って複数の拡大手法の中からいずれかを選択して拡大処理を行うように構成することもできる。
【００８６】
次に、画像ブロック配置部１４について説明する。画像ブロック配置部１４では、拡大画像ブロック生成部１３で生成された注目領域に対する拡大画像ブロックを所定の方法により順次配置する。図２１は、拡大画像ブロック生成部１３で生成された４×４画素の拡大画像ブロックを配置する具体例の説明図である。図２１に示す例では、順次生成された拡大画像ブロック０および拡大画像ブロック１をオーバーラップさせるように配置している。オーバーラップする画素は各々前画素値との平均をとるようにして配置する。または、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。この場合、注目画素は例えば１画素づつずらしながら選択し、拡大処理を行ってゆくことになる。あるいは、オーバーラップさせずに並べてゆくこともできる。この場合、注目領域を重ならないように選択してゆけばよい。
【００８７】
なお、４×４画素の拡大画像ブロックは、拡大画像ブロック生成部１３中の第１生成部２１と第２生成部２２のいずれかで生成されるため、拡大方式の違いによる画質劣化が懸念されるが、上述のようにオーバーラップさせて平均化することによって、そのような画質劣化の発生を抑えることができる。
【００８８】
図２２は、本発明の画像処理装置及び画像処理方法の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付し、重複する説明を省略する。１３’は拡大画像ブロック生成部、１４’は画像ブロック配置部、１５は拡大画像生成部である。この第２の実施の形態においては、画像処理部１は、画像ブロック設定部１１、画像ブロック特徴量算出部１２、拡大画像ブロック生成部１３’、画像ブロック配置部１４’とともに、拡大画像生成部１５を含んで構成されている。なお、画像ブロック設定部１１及び画像ブロック特徴量算出部１２は、上述の第１の実施の形態における機能と同様である。また、拡大画像ブロック生成部１３’及び画像ブロック配置部１４’は、上述の第１の実施の形態における拡大画像ブロック生成部１３及び画像ブロック配置部１４に対応する構成である。このうち、拡大画像ブロック生成部１３’は、上述の第１の実施の形態における拡大画像ブロック生成部１３の第１生成部２１の機能と同様であり、ここでは説明を省略する。
【００８９】
画像ブロック配置部１４’は、画像ブロック特徴量算出部１２において閾値Ｔｈよりエッジ強度Ｇが大きいと判断された注目領域に対し、拡大画像ブロック生成部１３’で拡大処理された拡大画像ブロックを、後述する拡大画像生成部１５から出力された拡大画像上の対応する位置に順次配置し、解像度変換または拡大された画像データを画像データ格納部２に出力する。拡大画像ブロックを拡大画像生成部１５から出力された拡大画像上の対応する位置に順次配置する際には、拡大画像ブロックの各画素値で置き換えるように配置してもよいし、または拡大画像生成部１５から出力された拡大画像の対応する位置の各画素値と重畳するように配置してもよい。なお、拡大画像ブロック同士はオーバーラップするように配置される場合、オーバーラップする画素の総和を計算し、画素値の総和をオーバーラップした数で割ることにより各画素値を算出する。
【００９０】
拡大画像生成部１５は、画像データ格納部２に記憶されている入力画像データを拡大し、画像ブロック配置部１４’にその拡大画像を出力する。拡大画像生成部１５における拡大処理は、拡大画像ブロック生成部１３’における拡大処理とは異なり、より処理負荷の小さい拡大処理、例えば最近傍補間拡大や線形補間拡大処理などを行うことができる。さらに、画像ブロック毎の処理ではなく、入力画像単位あるいは入力画像数ライン単位で処理することができる。
【００９１】
図２３は、本発明の画像処理装置及び画像処理方法の第２の実施の形態における動作の一例を示すフローチャートである。なお、Ｓ８１、Ｓ８２、およびＳ８４からＳ８７までの処理は、図２に示した第１の実施の形態の処理の一例におけるＳ４１、Ｓ４２、およびＳ４４からＳ４７までの処理と同様なので説明を省略する。
【００９２】
Ｓ８３において、画像ブロック特徴量算出部１２は、Ｓ８２で算出した注目領域の特徴量を算出する。ここでは上述の例と同様にエッジ強度Ｇを算出し、所定の閾値Ｔｈとの比較を行うこととする。もちろん、この第２の実施の形態においても、画像ブロック特徴量算出部１２で算出する特徴量はエッジ強度に限らないことは上述の第１の実施の形態と同様である。
【００９３】
ここで閾値Ｔｈよりエッジ強度Ｇが大きい場合は、注目領域が入力画像中のエッジ部分あるいは変化の大きい部分であるので、そのような注目領域の画像特徴を保存する拡大処理をＳ８４〜Ｓ８７において行い、拡大画像ブロックを生成する。なお、上述のようにこのＳ８４〜Ｓ８７における拡大処理については説明を省略する。
【００９４】
注目領域のエッジ強度Ｇが閾値Ｔｈよりも小さい場合は、Ｓ８４〜Ｓ８７の処理を行わず、処理をＳ８１に移し、次の画像ブロックを設定する。すなわち当該注目領域については拡大画像ブロック生成部１３’による拡大画像ブロックの生成を行わない。
【００９５】
一方、このような処理と並行して、あるいは前後して、拡大画像生成部１５による拡大画像の生成処理が行われる。すなわちＳ８８において、拡大画像生成部１５は、画像データ格納部２に記憶されている入力画像データを画像毎または数ライン毎に入力し、最近傍補間拡大処理を行い、画像ブロック配置部１４’に出力する。もちろんＳ８８で行う拡大処理は、最近傍補間拡大処理に限ったものではなく、拡大画像ブロック生成部１３’における拡大手法よりも処理負荷の軽い種々の手法、例えば線形補間拡大処理などを、処理速度要求や出力画像データに要求される画質などを勘案して適用することもできる。
【００９６】
Ｓ８９において、画像ブロック配置部１４’は、拡大画像ブロック生成部１３’で生成された注目領域に対する拡大画像ブロックを、拡大画像生成部１５で生成した拡大画像上の対応する位置に順次配置する。拡大画像ブロックがオーバーラップして配置される場合には、上述のような平均化の処理を行う。これらの処理をすべて終えた拡大画像ブロックあるいはライン単位の拡大画像は、画像データ格納部２に出力され、格納される。
【００９７】
Ｓ９０において、入力画像データに対して出力すべき拡大画像データの生成が完了したか否かを判断し、完了していない場合はＳ８１に処理を戻し、次の画像ブロックを切り出して上述のＳ８１からＳ９０までの処理を繰り返す。完了した場合は、拡大画像データを所定の出力先に出力して拡大処理を終了する。
【００９８】
このような処理によって、入力画像データは処理負荷の軽い拡大手法によって拡大画像生成部１５により高速に拡大処理が施される。しかしこのままではエッジ部などにボケやジャギーなどが発生することがある。これに対して本発明の第２の実施の形態では、エッジ部分あるいは変化の大きい部分については部分的に拡大画像ブロック生成部１３’によって画像特徴を保存する拡大処理を行うことによって、高画質の拡大画像を得ている。従って、全体として高速であるとともに高画質の拡大画像を得ることが可能となる。
【００９９】
図２４は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【０１００】
上述の本発明の各実施の形態で説明した画像処理部１の機能は、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２（ＣＤやＤＶＤなどを含む）、磁気ディスク１１３，メモリ１１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【０１０１】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。なお、画像データ格納部２は、コンピュータ１０２内のメモリあるいは付属の磁気ディスク装置やその他の記憶媒体を適用することができる。もちろん、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。
【０１０２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された特徴量に従って注目画素を含む所定の大きさの画像領域を拡大する複数の拡大手法を切り替えて拡大画像領域を生成し、得られた拡大画像領域を所定の方法で配置して、拡大された出力画像を生成している。このような拡大処理によって、例えば、入力画像中の特徴的な部分に関しては、その特徴量を保存する拡大手法を適用し、入力画像中の平坦な部分（空や肌などの画像部分）などの特徴的でない部分に関しては処理負荷の小さい拡大手法を適用することによって、特徴的部分のボケやジャギーの画質欠陥を抑制した高画質な拡大処理を行うとともに、処理負荷が小さく高速に拡大処理を行うことができる。
【０１０３】
さらに、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された特徴量に従って、特定の注目画素を含む所定の大きさの画像領域を拡大して拡大画像領域を生成し、さらに入力画像を特徴量と関係なく、拡大画像領域の生成処理とは異なる拡大手法で拡大して拡大画像を生成し、拡大画像領域を拡大画像上の対応する位置に所定の方法で配置することにより、拡大された出力画像を生成することができる。このような拡大処理によって、処理負荷の重い画像領域毎の拡大処理を特徴的な部分だけに限定することができ、高画質な拡大画像が得られるとともに、処理負荷が小さく高速な拡大処理を実現することができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の画像処理装置及び画像処理方法の第１の実施の形態を示すブロック図である。
【図２】 本発明の画像処理装置及び画像処理方法の実施の一形態における動作の一例を示すフローチャートである。
【図３】 画像ブロック設定部１１で設定及び切り出しを行う画像ブロックの説明図である。
【図４】 画像ブロック特徴量算出部１２の一構成例を示すブロック図である。
【図５】 注目領域および周辺領域の具体例と注目領域のエッジ方向の一例の説明図である。
【図６】 エッジ方向推定部３２におけるエッジ方向推定処理の一例を示すフローチャートである。
【図７】 エッジ方向の推定に用いる参照領域の一例の説明図である。
【図８】 図５に示した注目領域における推定エッジ方向の一例の説明図である。
【図９】 エッジパターンテーブルの一例の説明図である。
【図１０】 図５に示す注目領域に対応する第１エッジパターンの選択方法の具体例の説明図である。
【図１１】 拡大画像ブロック生成部１３の第１生成部２１で用いる強調カーネルの具体例の説明図である。
【図１２】 図１１に示す強調カーネルで画素Ｐを強調する場合の説明図である。
【図１３】 入力画像データを８倍拡大する場合の強調カーネルによるコントラスト強調処理の説明図である。
【図１４】 拡大画像ブロック生成部１３の第１生成部２１における拡大画像ブロック生成処理の一例を示すフローチャートである。
【図１５】 ３×３画素の拡大画像ブロックの生成処理の具体例の説明図である。
【図１６】 第２エッジパターンと３×３画素の拡大画像ブロックを生成する際に用いる計算式の一例の説明図である。
【図１７】 ３×４画素の拡大画像ブロックの生成処理の具体例の説明図である。
【図１８】 推定エッジ方向による参照画素の選択方法の説明図である。
【図１９】 ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。
【図２０】 推定エッジ方向が方向０および方向４の場合における４×４画素の拡大画像ブロックの生成処理の一例の説明図である。
【図２１】 拡大画像ブロック生成部１３で生成された４×４画素の拡大画像ブロックを配置する具体例の説明図である。
【図２２】 本発明の画像処理装置及び画像処理方法の第２の実施の形態を示すブロック図である。
【図２３】 本発明の画像処理装置及び画像処理方法の第２の実施の形態における動作の一例を示すフローチャートである。
【図２４】 本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１…画像処理部、２…画像データ格納部、１１…画像ブロック設定部、１２…画像ブロック特徴量算出部、１３，１３’…拡大画像ブロック生成部、１４，１４’…画像ブロック配置部、１５…拡大画像生成部、２１…第１生成部、２２…第２生成部、３１…エッジ強度算出部、３２…エッジ方向推定部、３３…エッジパターン選択部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。

Claims (13)

1. 画像の拡大処理を行う画像処理装置において、注目画素を含む所定の大きさの画像領域の特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段により算出された前記特徴量が所定の条件を満たす前記画像領域に対して拡大画像領域を生成する拡大画像領域生成手段と、入力画像を前記拡大画像領域生成手段とは異なる拡大手法で拡大して拡大画像を生成する拡大画像生成手段と、前記拡大画像領域生成手段で得られた前記拡大画像領域を前記拡大画像生成手段で得られた前記拡大画像上の対応する位置に配置する画像配置手段を有することを特徴とする画像処理装置。
2. 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の凹凸度合いを前記特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域特徴量算出手段は、前記画像領域内の各画素値から前記画像領域内の変化方向を前記特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に前記特徴量を算出し、算出した１つあるいは複数の前記特徴量をもとに前記色空間における１つの色成分のデータを選択し、該色成分のデータにおける前記画像領域の特徴量を前記画像領域の特徴量とすることを特徴とする請求項１に記載の画像処理装置。
5. 前記拡大画像領域生成手段は、前記領域特徴量算出手段で算出された前記特徴量が所定の条件を満たす画像領域に対して前記画像領域の特徴量とともに該画像領域の近傍領域の特徴量および近傍領域内の画素値を用いて前記拡大画像領域を生成することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
6. 前記拡大画像生成手段は、前記拡大画像領域生成手段における拡大手法に比べて処理負荷が軽い拡大手法により前記拡大画像を生成することを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. 前記拡大画像生成手段は、入力画像毎あるいは入力画像中の数ライン毎に拡大画像を生成することを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像処理装置。
8. 前記画像配置手段は、前記拡大画像領域生成手段で順次生成される拡大画像領域をそれぞれが重なり合うように順次配置してゆくことを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理装置。
9. 前記画像配置手段は、順次生成される前記拡大画像領域の重なり合う画素に対して、重なる画素値の総和を算出し、前記画素値の総和を重なった数で割ることにより前記拡大画像領域の画素値を算出することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像配置手段は、前記拡大画像領域生成手段で生成された前記拡大画像領域を、前記拡大画像生成手段で得られた拡大画像上の対応する位置に配置する際に、前記拡大画像上の各画素値を前記拡大画像領域の各画素値で置き換えることを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理装置。
11. 画像の拡大処理を行う画像処理方法において、注目画素を含む所定の大きさの画像領域の特徴量を算出し、算出された前記特徴量が所定の条件を満たす前記画像領域に対応する拡大画像領域を生成し、さらに入力画像を前記画像領域の拡大手法とは異なる拡大手法で拡大して拡大画像を生成し、前記拡大画像領域を前記拡大画像上の対応する位置に配置することを特徴とする画像処理方法。
12. 画像の拡大処理をコンピュータに実行させる画像処理プログラムであって、請求項１ないし請求項１０のいずれか１項に記載の画像処理装置の機能あるいは請求項１１に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
13. 画像の拡大処理をコンピュータに実行させるプログラムを格納したコンピュータ読取可能な記憶媒体において、請求項１ないし請求項１０のいずれか１項に記載の画像処理装置の機能あるいは請求項１１に記載の画像処理方法をコンピュータに実行させるプログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。

Images