JP3759310B2

JP3759310B2 - Image processing apparatus and image composition apparatus

Info

Publication number: JP3759310B2
Application number: JP07862998A
Authority: JP
Inventors: 渡伊藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1998-03-26
Filing date: 1998-03-26
Publication date: 2006-03-22
Anticipated expiration: 2018-03-26
Also published as: JPH11275343A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データに対して画像処理を施す画像処理装置および複数の画像を合成する画像合成装置に関するものである。
【０００２】
【従来の技術】
画像を表す画像データを得、この画像データに適切な画像処理を施した後、画像を再生することが種々の分野で行われている。このような画像を再生する出力装置は、システムとして接続された入力装置の特性と出力装置の特性とに応じて、画像データを補正するなどの画像処理を施して画像を再生している。ここで、出力装置に入力装置が１台のみしか接続されていない場合は、出力装置において行われる画像処理はその入力装置の特性に対応したもののみを行えばよく、出力装置に複数の入力装置が接続されている場合は、各入力装置の特性に応じた画像処理を画像データに対して施せばよい。
【０００３】
しかしながら、複数の入力装置と出力装置とを接続した場合、入力装置は種々変更される場合があり、また、出力装置に入力される画像データはいずれの入力装置において得られたものであるかが特定できないため、入力装置の特性と画像処理の内容とを対応させて最適な画像処理を行うことは困難である。このため、例えば特許第2660170号においては、入力装置から入力された画像データについては全て汎用的な階調となるように画像データを変換し、出力装置においては自らの出力特性のみを補正して適正な再生画像を得るようにした画像処理装置が提案されている。
【０００４】
また、入力装置において得られる画像は、その装置に応じて粒状特性（ノイズ成分の状態）や鮮鋭度も種々異なるものとなっている。このため、得られた画像データに対して入力装置の粒状特性および／または鮮鋭度特性に応じてスムージング処理、鮮鋭度強調処理などの画像処理を施して、より高画質の画像を再生することが行われている。また、画像データを補間することにより画像を拡大、縮小して再生する場合もあり、この場合も入力装置の粒状特性、鮮鋭度特性に応じて、鮮鋭度を重視した補間演算（例えばCubicスプライン補間演算）、滑らかさを重視した補間演算（例えばＢスプライン補間演算）を施している。
【０００５】
一方、上述した画像データを処理するための方法として、画像を複数の周波数帯域毎の多重解像度画像に変換し、各周波数帯域の画像に対して所定の処理を行って、再度これを逆多重解像度変換することにより、最終的な処理済み画像を得るための多重解像度変換なる方法が提案されている。この場合の所定の処理としては、具体的には、ノイズ除去のための高周波の分離、さらにはノイズの多い周波数帯域のデータを削減することによる圧縮処理などが挙げられる。この多重解像度変換の方法としてはウェーブレット変換、ラプラシアンピラミッドあるいはフーリエ変換等の方法が知られている。とくに、ウェーブレット変換は、信号の周波数解析方法の１つであるが、同じく周波数解析方法として広く用いられているフーリエ変換に比べ、信号の局所的な変化情報を検出しやすいという点で優れていることから、近年あらゆる信号処理の分野で脚光を浴びている（OLIVIER RIOUL and MARTIN VETTERLI;Wavelets and Signal Processing,IEEE SP MAGAZINE,P.14-38,OCTOBER 1991、Stephane Mallat;Zero-Crossings of a Wavelet Transform,IEEE TRANSACTIONS ON INFORMATION THEORY,VOL.37,NO.4,P.1019-1033,JULY 1991 、特開平6-350989号、同6-350990号、同7-23228号、同7-23229号、同7-79350号、特願平8-14510号など）。
【０００６】
【発明が解決しようとする課題】
ところで、近年のコンピュータネットワークの進歩により、画像の出力装置には種々の入力装置が接続され、さらにネットワーク上を様々な処理が施された画像データが転送されている。このため、出力装置に入力される画像データはいずれの入力装置において得られたものであるか、さらにその画像データの粒状あるいは鮮鋭度、階調について画像処理が施されているのか否かが全く分からない状態でデータがやり取りされている。このような場合、上記特許第2660170号に記載された画像処理装置を用いれば、入力装置の種類に拘わらず汎用的な階調となるように画像データに対して画像処理を施すことができる。
【０００７】
しかしながら、画像データにより表される画像の粒状（ノイズ成分）あるいは鮮鋭度については、画像データがいずれの入力装置により得られたものであるかが不明であると、その入力装置の特性に最適なスムージング処理、鮮鋭度強調処理、補間演算などの画像処理を行うことができない。この場合、適当に定めた１つの手法により全ての画像データに対して同一の粒状、鮮鋭度に関する画像処理を施すことが考えられるが、画像によってはその画像処理が最適ではなく、例えば粒状が多いにも拘わらず鮮鋭度が強調されてしまうおそれがある。また、鮮鋭度強調の程度が不足したぼけた画像となったり、元々鮮鋭度が高いにも拘わらずさらに鮮鋭度が強調されてオーバーシュート、アンダーシュートなどのアーチファクトが発生した画像となるおそれがある。とくに、複数の画像を合成して再生する場合にこの手法を用いると、合成に用いる画像データがそれぞれ異なる粒状特性、鮮鋭度特性を有するものであっても同一の画像処理が施されてしまうため、合成された画像は、部分毎に粒状や鮮鋭度のバランスが異なって見た目に違和感のあるものとなってしまう。また、一旦画像を再生し、オペレータがその画像を観察しながら人為的に画像データを修正することも考えられるが、非常に手間がかかり、オペレータの負担が大きい。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像の粒状および／または鮮鋭度に拘わらずその画像に最適な画像処理を施すことができる画像処理装置および画像合成装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明による第１の画像処理方法は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データから前記原画像の粒状が多いか少ないかを推定する推定手段と、
前記粒状が少ない場合に鮮鋭度を重視した補間演算を、前記粒状が多い場合に滑らかさを重視した補間演算を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１０】
本発明による第２の画像処理装置は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データから前記原画像の粒状が多いか少ないかを推定する推定手段と、
前記粒状が多い場合に粒状を低減する処理を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１１】
本発明による第３の画像処理装置は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、該複数の周波数帯域のうち所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データ、ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データ、該ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれに対応する第１から第３の閾値と比較し、前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値未満となり、前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値未満となり、かつ前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの画素値が前記第３の閾値未満となる画素を抽出し、前記複数の画像データのうち前記所定周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの前記抽出された画素に対応する画素の画素値の分散値を算出し、該分散値を第４の閾値と比較することにより前記原画像の粒状が多いか少ないかを推定する粒状推定手段と、
前記粒状が少ない場合に鮮鋭度を重視した補間演算を、前記粒状が多い場合に滑らかさを重視した補間演算を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１２】
本発明による第４の画像処理装置は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、該複数の周波数帯域のうち所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データ、ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データ、該ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれに対応する第１から第３の閾値と比較し、前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値未満となり、前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値未満となり、かつ前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの画素値が前記第３の閾値未満となる画素を抽出し、前記複数の画像データのうち前記所定周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの前記抽出された画素に対応する画素の画素値の分散値を算出し、該分散値を第４の閾値と比較することにより前記原画像の粒状が多いか少ないかを推定する粒状推定手段と、
前記粒状が多い場合に粒状を低減する処理を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１３】
本発明による第５の画像処理装置は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、前記複数の周波数帯域のうち所定周波数帯域の次に低周波の周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データおよびｘ方向低周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データおよび該ｘ方向低周波ｙ方向高周波画像データのそれぞれに対応する第１および第２の閾値と比較し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値を越え、かつ前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値を越える画素を抽出し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データの前記抽出された画素の画素値の比および前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向低周波ｙ方向高周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向低周波ｙ方向高周波画像データの前記抽出された画素の画素値の比のいずれか大きい方の比を算出し、該比に応じて前記原画像の鮮鋭度が高いか低いかを推定する鮮鋭度推定手段と、
前記鮮鋭度が低い場合に鮮鋭度を重視した補間演算を、前記鮮鋭度が高い場合に滑らかさを重視した補間演算を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１４】
本発明による第６の画像処理装置は、原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、前記複数の周波数帯域のうち所定周波数帯域の次に低周波の周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データおよびｘ方向低周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データおよび該ｘ方向低周波ｙ方向高周波画像データのそれぞれに対応する第１および第２の閾値と比較し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値を越え、かつ前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値を越える画素を抽出し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データの前記抽出された画素の画素値の比および前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向低周波ｙ方向高周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向低周波ｙ方向高周波画像データの前記抽出された画素の画素値の比のいずれか大きい方の比を算出し、該比に応じて前記原画像の鮮鋭度を推定する鮮鋭度推定手段と、
前記鮮鋭度が低いほど鮮鋭度を強調する処理を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１５】
ここで、「鮮鋭度を重視した補間演算」としては、例えば Cubic スプライン補間演算を、「滑らかさ重視の補間演算」としては、例えばＢスプライン補間演算を用いることができる。
【００１６】
本発明による画像合成装置は、複数の原画像を表す原画像データを合成して合成画像データを得る画像合成装置において、
本発明による第１から第６の画像処理装置により前記各原画像データに対して画像処理を施して処理済み画像データを得る手段と、
該各処理済み画像データを合成して前記合成画像データを得る合成手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による画像処理装置および画像合成装置において行われる処理を画像処理方法および画像合成方法として提供してもよい。
【００１８】
【発明の効果】
本発明による画像処理装置は、原画像データに基づいて原画像の粒状および／または鮮鋭度を推定し、推定された粒状および／または鮮鋭度に応じて、原画像データに対して異なる画像処理を施すようにしたものである。このため、粒状および／または鮮鋭度の推定結果を用いて、原画像の粒状量、鮮鋭度に応じたスムージング処理、鮮鋭度強調処理、補間演算などを原画像データに対して施すことができる。例えば、粒状が多いと推定された場合は、原画像データに対して粒状を低減するためのスムージング処理や、補間を行う場合は滑らかさを重視したＢスプライン補間演算を施し、粒状が少ないと推定された場合は、原画像データに対してスムージング処理を施さないか、補間を行う場合は鮮鋭度を重視したCubicスプライン補間演算を施すことができる。一方、原画像における鮮鋭度が高いと推定された部分にはそれほど鮮鋭度を強調せず、鮮鋭度が低いと推定された部分には鮮鋭度をより強調するように鮮鋭度強調処理を施すことができる。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubicスプライン補間演算を行うことができる。そしてこれにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な粒状および／または鮮鋭度に関する画像処理を施すことができる。
【００１９】
また、本発明の画像合成方法および装置は、複数の原画像データに対して本発明の画像処理方法および装置により画像処理を施して処理済み画像データを得、この処理済み画像データを合成して合成画像データを得るようにしたものである。したがって、原画像の粒状および／または鮮鋭度に応じて最適な画像処理が施された処理済み画像データに基づいて合成画像データを得ることができるため、合成画像データを再生することにより、全ての原画像データに対して同一の画像処理を施した場合に生じる、部分毎の粒状バランス、鮮鋭度バランスの崩れをなくすことができ、これにより見た目に違和感のない画像を得ることができる。
【００２０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２１】
図１は本発明の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように本実施形態による画像処理装置１は、画像入力手段２から入力された原画像データＳにより表される画像の粒状量を推定する粒状推定手段３と、画像入力手段２から入力された原画像データＳにより表される画像の鮮鋭度を推定する鮮鋭度推定手段７と、粒状推定手段３および鮮鋭度推定手段７において推定された粒状量および／または鮮鋭度に基づいて、画像処理手段５における画像処理方法の選択および／または画像処理のパラメータの設定を行う画像処理方法選択および／またはパラメータ設定手段４と、画像処理方法選択および／またはパラメータ設定手段４において設定された画像処理方法および／またはパラメータにしたがって、原画像データＳに対して画像処理を施して処理済み画像データＳ′を得る画像処理手段５と、処理済み画像データＳ′をプリンタ、ＣＲＴあるいはネットワーク上に出力する画像出力手段６とを備えてなる。
【００２２】
図２は粒状推定手段３の構成を示す概略ブロック図である。図２に示すように粒状推定手段３は、原画像データＳに対してウェーブレット変換を施して、原画像データＳにより表される原画像を多重解像度変換し、複数の周波数帯域毎の画像を表す画像データを得るウェーブレット変換手段１０と、ウェーブレット変換手段１０において得られた画像データＨＬ０，ＬＨ０，ＨＨ１（詳細は後述する）をそれぞれ所定の閾値と比較する比較手段１１と、比較手段１１による比較結果に基づいて、画像データＨＨ０の各画素の分散値Ｂを算出する分散値算出手段１２と、算出された分散値Ｂに基づいて原画像データＳの粒状量を推定する推定手段１３とを備える。
【００２３】
ウェーブレット変換手段１０においては、以下のようにして原画像データＳに対してウェーブレット変換が施される。図３は原画像データＳをウェーブレット変換する状態を模式的に示す図である。なお、本実施形態においては、図３に示すように紙面に対する横方向をｘ方向、縦方向をｙ方向として説明する。本実施形態のウェーブレット変換においては、下記に示すHaar-Wavelet基底を使用するとともに、ウェーブレット変換において通常行われている画素の間引き（サブサンプリング）を実施せず、ウェーブレット変換により得られる多重解像度画像の解像度を原画像と同一とする。
【００２４】
Haar-Wavelet：h(x)=-1,1
g(x)=1/2,1/2
ここで、h(x)はｘ方向について高周波成分を抽出するウェーブレット基底であり、g(x)はｘ方向について低周波成分を抽出するウェーブレット基底である。
【００２５】
まず、原画像データＳに対してｘ方向にh(x)を畳み込み演算し、画像データＨ０を得る。
【００２６】
Ｈ０(x,y)＝h(x)＊Ｓ(x,y)（(x,y)は画素の位置）
なお、通常のウェーブレット変換においては、ここで画像データＨ０のｘ方向について画素数を１／２に間引くが、本実施形態においては間引かないものとする。
【００２７】
次に画像データＨ０に対してｙ方向にh(y)を畳み込み演算してｘ方向ｙ方向ともに最高周波数帯域の画像を表す画像データＨＨ０を得る。
【００２８】
ＨＨ０(x,y)＝h(y)＊Ｈ０(x,y)
以下、同様にして下記の演算により、画像データＨ０にg(y)を畳み込み演算した画像データＨＬ０、原画像データＳにg(x)を畳み込み演算した画像データＬ０にh(y)を畳み込み演算した画像データＬＨ０、および画像データＬ０にg(y)を畳み込み演算した画像データＬＬ１を求める。
【００２９】
ＨＬ０(x,y)＝g(y)＊Ｈ０(x,y)
Ｌ０(x,y)＝g(x)＊Ｓ(x,y)
ＬＨ０(x,y)＝h(y)＊Ｌ０(x,y)
ＬＬ１(x,y)＝g(y)＊Ｌ０(x,y)
さらに、次の階層のHaar-Wavelet基底であるh(x)′=-1,0,1を使用し、画像データＬＬ１に、h(x)′およびh(y)′を畳み込み演算して画像データＨＨ１を求める。ここで、画像データＬＬ１を求める際に画素を間引いていれば、ウェーブレット基底として上述したh(x)=-1,1を用いればよいが、本実施形態においては画素を間引いていないため、間引きに相当する数の値０を挿入したものである。
【００３０】
ＨＨ１(x,y)＝h(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
なお、この後ウェーブレット変換を繰り返すことにより、さらに低周波数帯域の画像データを求めることができるが、粒状推定手段３においては画像データＨＨ０，ＨＬ０，ＬＨ０，ＨＨ１のみを用いるため、ここで演算を終了する。なお、本実施形態においては、ウェーブレット変換を行う際に画素を間引いていないため、画像データＨＨ０，ＨＬ０，ＬＨ０，ＬＬ１，ＨＨ１により表される画像は図３に示すように原画像と同一の解像度を有するものとなる。また、画像データＨＨ０、画像データＨＬ０、画像データＬＨ０および画像データＬＬ１は、それぞれ原画像の最高周波数帯域におけるｘ方向ｙ方向ともに高周波画像、ｘ方向高周波ｙ方向低周波画像、ｘ方向低周波ｙ方向高周波画像およびｘ方向ｙ方向ともに低周波画像を表すものとなる。
【００３１】
比較手段１１においては、画像データＨＬ０，ＬＨ０，ＨＨ１の画素値が閾値Ｔｈ１，Ｔｈ２，Ｔｈ３と比較され、ＨＬ０(x,y)＜Ｔｈ１かつＬＨ０(x,y)＜Ｔｈ２かつＨＨ１(x,y)＜Ｔｈ３の３条件を満たす画素(x,y)が抽出される。
【００３２】
分散値算出手段１２は、比較手段１１において抽出された画素(x,y)に対応する画像データＨＨ０の画素のみを用いて下記の式により画素値の分散値Ｂを算出する。なお、本実施形態においては、図３に示すように各画像データＨＨ０，ＨＬ０，ＬＨ０，ＬＬ０，ＨＨ１の解像度は同一であるため、画素(x,y)の対応付けを正確かつ簡易に行うことができる。
【００３３】
Ｂ＝Σ｛ＨＨ０(x,y)｝²／Ｍ（Ｍ：抽出された画素数）
ここで、原画像に含まれるエッジなどの境界線は、画素値として高い値を有するが、最高周波数帯域画像を表す画像データＨＨ０および低周波数帯域画像を表す画像データＨＬ０，ＬＨ０，ＨＨ１のいずれにおいても高い値を有する。一方、原画像に含まれる粒状（ノイズ成分）も境界線と同様に画素値として高い値を有するため、画像データＨＨ０においても同様に高い値を有する。しかしながら、画像データＨＬ０，ＬＨ０，ＨＨ１においては原画像において高周波成分をなす粒状は除去されてしまうため、粒状に対応する画素の画素値はそれほど大きなものとはならない。したがって、画像データＨＬ０，ＬＨ０，ＨＨ１の画素値と閾値Ｔｈ１，Ｔｈ２，Ｔｈ３との比較の結果により、閾値Ｔｈ１，Ｔｈ２，Ｔｈ３よりも値が小さい画素に対応する最高周波数帯域画像の画素を、粒状が含まれる可能性がある画素と見なして、この画素について画素値の分散値Ｂを算出するものである。ここで、平坦な画像部分（すなわち信号値が略一定）に粒状が含まれている場合は分散値Ｂの値は大きくなり、粒状がそれほど含まれていない場合は分散値Ｂの値は小さくなる。
【００３４】
したがって、推定手段１３は分散値算出手段１２において算出された分散値Ｂを閾値ａと比較し、Ｂ≧ａのとき原画像には粒状が多いと推定し、Ｂ＜ａのとき原画像には粒状は少ないと推定する。そして、この推定結果を画像処理方法選択および／またはパラメータ設定手段４に出力する。
【００３５】
図４は鮮鋭度推定手段７の構成を示す概略ブロック図である。図４に示すように鮮鋭度推定手段７は、粒状推定手段３のウェーブレット変換手段１０と同様に、原画像データＳに対してウェーブレット変換を施して、原画像データＳにより表される原画像を多重解像度変換し、複数の周波数帯域毎の画像を表す画像データを得るウェーブレット変換手段３０と、ウェーブレット変換手段３０において得られた画像データＨＬ１，ＬＨ１（詳細は後述する）をそれぞれ所定の閾値と比較する比較手段３１と、比較手段３１による比較結果に基づいて、画像データＨＬ１，ＬＨ１と画像データＨＬ０，ＬＨ０とにおける画素の画素値の比Ｃを算出する比算出手段３２と、算出された比Ｃに基づいて原画像データＳの鮮鋭度を推定する推定手段３３とを備える。
【００３６】
ウェーブレット変換手段３０においては、粒状推定手段３のウェーブレット変換手段１０と同様にして原画像データＳに対してウェーブレット変換が施されるが、画像データＬＬ１に対してさらに下記のようにしてウェーブレット変換を施すものである。
【００３７】
すなわち、上述したHaar-Wavelet基底h(x)=-1,1およびg(x)＝1/2,1/2の次の階層のHaar-Wavelet基底であるh(x)′=-1,0,1およびg(x)′＝1/2,0,1/2を使用し、画像データＬＬ１にh(x)′およびh(y)′を畳み込み演算した画像データＨＨ１、画像データＬＬ１にh(x)′およびg(y)′を畳み込み演算した画像データＨＬ１、画像データＬＬ１にg(x)′およびh(y)′を畳み込み演算した画像データＬＨ１を下記の演算により求める。ここで、画像データＬＬ１を求める際に画素を間引いていれば、ウェーブレット基底として上述したh(x)=-1,1およびg(x)=1/2,1/2を用いればよいが、本実施形態においては画素を間引いていないため、間引きに相当する数の値０を挿入したものである。
【００３８】
ＨＨ１(x,y)＝h(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＨＬ１(x,y)＝g(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＬＨ１(x,y)＝h(y)′＊｛g(x)′＊ＬＬ１(x,y)｝
ここで、画像データＨＨ１、画像データＨＬ１および画像データＬＨ１は、それぞれ原画像の最高周波数帯域の次の周波数帯域におけるｘ方向ｙ方向ともに高周波画像、ｘ方向高周波ｙ方向低周波画像およびｘ方向低周波ｙ方向高周波画像を表すものとなる。
【００３９】
なお、この後ウェーブレット変換を繰り返すことにより、さらに低周波数帯域の画像データを求めることができるが、鮮鋭度推定手段７においては画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１のみを用いるため、ここで演算を終了する。また、本実施形態においては、ウェーブレット変換を行う際に画素を間引いていないため、画像データＨＨ０，ＨＬ０，ＬＨ０，ＬＬ０，ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ２により表される画像は図３に示すように原画像と同一の解像度を有するものとなる。ここで、ＬＬ２は画像データＬＬ１にg(x)′およびg(y)′を畳み込み演算した画像データである。
【００４０】
比較手段３１においては、画像データＨＬ１，ＬＨ１の画素値が閾値Ｔｈ４，Ｔｈ５と比較され、ＨＬ１(x,y)＞Ｔｈ４かつＬＨ１(x,y)＞Ｔｈ５の２条件を満たす画素(x,y)が抽出される。
【００４１】
比算出手段３２は、比較手段３１において抽出された画素(x,y)の画素値と、この画素(x,y)に対応する画像データＨＬ０，ＬＨ０の画素値との比のうちいずれか大きい方の比Ｃを下記の式（１）により算出する。なお、本実施形態においては、図３に示すように各画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１の解像度は同一であるため、画素(x,y)の対応付けを正確かつ簡易に行うことができる。
【００４２】
Ｃ(x,y)＝ｍａｘ（ＨＬ０／ＨＬ１，ＬＨ０／ＬＨ１）（１）
ここで、原画像に含まれるエッジなど、原画像の鮮鋭度推定の基準となる部分は画素値として比較的高い値を有し、低周波数帯域画像を表す画像データＨＬ１，ＬＨ１においても高い値を有する。逆に低周波数帯域画像を表す画像データＨＬ１，ＬＨ１において画素値の値が低ければそこにエッジなどの鮮鋭度推定の基準となるものが存在しないと考えることができる。したがって、低周波数帯域画像における画素値と閾値Ｔｈ４，Ｔｈ５との比較の結果により、閾値Ｔｈ４，Ｔｈ５よりも値が大きい画素を鮮鋭度推定の基準となる画素と見なし、この画素の画素値とこの画素に対応する最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０の画素の画素値との比を求める。
【００４３】
ここで、最高周波数帯域画像は、原画像における最高周波成分を担持することから比較的狭い範囲の信号の変化量を表し、低周波数帯域画像は最高周波数帯域画像よりも低周波成分を担持することから広い範囲の信号の変化量を表すものとなる。例えば、図５（ａ）に示すように、非常に急峻なエッジにおいては、狭い範囲Ａにおいても広い範囲Ｂにおいても、その信号の変化量ΔＡ，ΔＢは同一となる。これに対し、図５（ｂ）に示すように、なだらかに信号が変化している部分においては、周波数成分としては急峻なエッジよりも低い周波数帯域のものとなるため、狭い範囲Ａにおける信号の変化量ΔＡよりも広い範囲Ｂにおける信号の変化量ΔＢの方が大きくなる。したがって、図５（ａ）に示す急峻なエッジにおいては、エッジ部分に対応する画素の画素値は最高周波数帯域画像と低周波数帯域画像とにおいて略同一の値となり、図５（ｂ）に示すなだらかに信号が変化している部分においては、信号変化位置に対応する画素の画素値は、最高周波数帯域画像よりも低周波数帯域画像の方が大きな値となる。
【００４４】
このため、上記式（１）により求められる低周波数帯域画像の画素の画素値に対する最高周波数帯域画像の画素の画素値の比Ｃは、急峻なエッジすなわち鮮鋭度が高い部分ほどその値は１に近くなり、信号の変化が滑らかな部分すなわち鮮鋭度が低い部分ほどその値は１よりも小さくなる。
【００４５】
したがって、推定手段３３は比算出手段３２において算出された比Ｃを１と比較し、Ｃ＝１のとき（または１に近いとき）その部分は鮮鋭度が高いと推定し、Ｃ＜＜１のときその部分は鮮鋭度が低いと推定する。そして、この推定結果を画像処理方法選択および／またはパラメータ設定手段４に出力する。
【００４６】
画像処理方法選択および／またはパラメータ設定手段４は、粒状推定手段３および／または鮮鋭度推定手段７による原画像の粒状量および／または鮮鋭度の推定結果に基づいて、画像処理方法の選択および／またはパラメータの設定を行う。具体的には、粒状量については、粒状が多い場合は、粒状を低減させるスムージング処理を選択し、あるいは原画像を拡大、縮小する場合には、滑らかさを重視したＢスプライン補間演算を選択するとともにこれのパラメータを決定する。また、粒状が少ない場合は、スムージング処理は実行しないか、あるいは原画像を拡大、縮小する場合は、鮮鋭度重視のCubicスプライン補間演算を選択する。
【００４７】
ここで、Cubicスプライン補間演算およびＢスプライン補間演算について説明する。本実施形態において使用される原画像データＳは、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘ_k-2，Ｘ_k-1，Ｘ_k，Ｘ_k+1，Ｘ_k-2…に対応したデジタル画像データ（Ｓ_k-2，Ｓ_k-1，Ｓ_k，Ｓ_k+1Ｓ_k+2…）であるとする。
【００４８】
Cubicスプライン補間演算は、オリジナルのサンプリング点（画素）Ｘ_k〜Ｘ_k+1間に設けられた補間点Ｘ_pの補間データＹ′を表す３次のCubicスプライン補間演算式（２）における補間データＹ_k-1，Ｙ_k，Ｙ_k+1，Ｙ_k+2にそれぞれ対応する補間係数ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2を、下記にそれぞれ示す演算により求めるものである。
【００４９】
Ｙ′＝ｃ_k-1Ｙ_k-1＋ｃ_kＹ_k＋ｃ_k+1Ｙ_k+1＋ｃ_k+2Ｙ_k+2 （２）
ｃ_k-1＝（−ｔ³＋２ｔ²−ｔ）／２
ｃ_k＝（３ｔ³−５ｔ²＋２）／２
ｃ_k+1＝（−３ｔ³＋４ｔ²＋ｔ）／２
ｃ_k+2＝（ｔ³−ｔ²）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）
Ｂスプライン補間演算は、オリジナルのサンプリング点Ｘ_k〜Ｘ_k+1間に設けられた補間点Ｘ_pの補間データＹ′を表す３次のＢスプライン補間演算式（３）における補間データＹ_k-1、Ｙ_k、Ｙ_k+1、Ｙ_k+2にそれぞれ対応する補間係数ｂ_k-1，ｂ_k，ｂ_k+1，ｂ_k+2を、下記にそれぞれ示す演算により求めるものである。
【００５０】
Ｙ′＝ｂ_k-1Ｙ_k-1＋ｂ_kＹ_k＋ｂ_k+1Ｙ_k+1＋ｂ_k+2Ｙ_k+2 （３）
ｂ_k-1＝（−ｔ³＋３ｔ²−３ｔ＋１）／６
ｂ_k＝（３ｔ³−６ｔ²＋４）／６
ｂ_k+1＝（−３ｔ³＋３ｔ²＋３ｔ＋１）／６
ｂ_k+2＝ｔ³／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）そして、画像処理選択および／またはパラメータ設定手段４においては、ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2あるいはｂ_k-1，ｂ_k，ｂ_k+1，ｂ_k+2がパラメータとして設定される。
【００５１】
一方、鮮鋭度については、鮮鋭度推定手段７による原画像の鮮鋭度の推定結果、すなわち鮮鋭度の高さに基づいて、下記の式（４）に示すアンシャープマスキング処理の強調係数Sk(x,y)の値をパラメータとして設定する。
【００５２】
Ｓ′(x,y)＝Ｓ(x,y)＋Sk(x,y)×｛Ｓ(x,y)−Ｓus(x,y)｝（４）
Ｓ′(x,y)：処理済み画像データ
Ｓus(x,y)：画像データＳ(x,y)を５×５のマスクにてぼかした画像データ
ここで、図６に示すように、Ｃ(x,y)＝１のときは０、Ｃ(x,y)＝０．５のときは１、Ｃ(x,y)＝０のときは３の値を採るような関数ｆ（Ｃ）を設定し、Sk(x,y)＝ｆ（Ｃ）としてシャープネスの強調係数Sk(x,y)を求める。なお、上記閾値Ｔｈ１，Ｔｈ２との比較において抽出されなかった画素(x,y)は、鮮鋭度推定の基準となり得ない平坦な領域（信号値が一定）であり、シャープネス強調は不要であるため、その部分についてはSk(x,y)＝０とすればよい。
【００５３】
なお、この際、上記閾値Ｔｈ４，Ｔｈ５との比較において抽出された画素の領域（以下抽出領域とする）と抽出されなかった画素の領域（以下非抽出領域とする）とにおいて画像が不連続となることを防止するために、非抽出領域であっても、その領域からあらかじめ設定した距離δ内に抽出領域が存在する場合は、最も近い位置にある抽出領域における強調係数Sk(x1,y1)および非抽出領域と抽出領域との距離Δに基づいて、下記の式（５）に示すように強調係数Sk(x,y)を設定することが好ましい。
【００５４】
Sk(x,y)＝Sk(x1,y1)×｛（δ−Δ）／δ｝（５）
また、画像処理方法選択および／またはパラメータ設定手段４は、原画像を拡大、縮小する場合においては、鮮鋭度が高いと推定された場合には、滑らかさを重視したＢスプライン補間演算を選択するとともにこれのパラメータを決定する。一方、鮮鋭度が低いと推定された場合には、鮮鋭度重視のCubicスプライン補間演算を選択する。
【００５５】
画像処理手段５は、画像処理選択および／またはパラメータ設定手段４において選択された画像処理および／またはパラメータに基づいて、画像処理および／または補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。
【００５６】
次いで、本実施形態の動作について説明する。画像入力手段２から入力された原画像データＳは、粒状推定手段３および／または鮮鋭度推定手段７に入力される。粒状推定手段３においては、ウェーブレット変換により原画像データＳが複数の周波数帯域毎の画像を表す画像データに分解され、上述したようにして最高周波数帯域画像を表す画像データＨＨ０の分散値Ｂが算出され、原画像の粒状量が推定される。一方、鮮鋭度推定手段７においては、粒状推定手段３と同様に、ウェーブレット変換により原画像データＳが複数の周波数帯域毎の画像を表す画像データに分解され、上述した式（１）により比Ｃが算出され、原画像の鮮鋭度が推定される。
【００５７】
画像処理方法選択および／またはパラメータ設定手段４は、粒状推定手段３において推定された粒状量に基づいて画像処理手段５において原画像データＳに施す画像処理を選択する、あるいは原画像を拡大、縮小する場合は、補間演算の種類を選択するとともに補間演算のパラメータを設定する。また、鮮鋭度推定手段７において推定された鮮鋭度に基づいて、画像処理手段５において原画像データＳに施すアンシャープマスキング処理の強調係数Sk(x,y)を設定する、あるいは原画像を拡大、縮小する場合は、補間演算の種類を選択するとともに補間演算のパラメータを設定する。
【００５８】
画像処理手段５は、画像処理方法選択および／またはパラメータ設定手段４において選択された画像処理および／または補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。処理済み画像データＳ′は画像出力手段６よりプリンタ、ＣＲＴに出力されて可視像として再生されるか、またはネットワーク上に転送される。
【００５９】
このように、本実施形態においては、原画像を表す原画像データＳから原画像の粒状量および／または鮮鋭度を推定しているため、この推定結果を用いて画像処理手段５においてその粒状量および／または鮮鋭度に応じたスムージング処理、アンシャープマスキング処理などの画像処理および／または補間演算などを原画像データＳに対して施すことができる。これにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な粒状および／または鮮鋭度に関する画像処理を施すことができる。
【００６０】
次いで、本発明の他の実施形態について説明する。
【００６１】
図７は図１に示す画像処理装置１を適用した画像合成装置の構成を示すブロック図である。図７に示すように本発明の他の実施形態は、複数の原画像データＳを上記画像処理装置１に入力し、原画像データＳのそれぞれについて上記実施形態と同様に最適な画像処理を施し、編集指示入力手段２１から入力された指示に基づいて、画像合成手段２０において処理が施された原画像データＳ′を合成して合成画像データＧを得、この合成画像データＧを画像出力手段６からプリンタなどに出力するものである。
【００６２】
このように、複数の原画像を合成する場合に、本実施形態による画像処理装置により各原画像データＳの粒状量および／または鮮鋭度を推定し、推定された粒状量および／または鮮鋭度に基づいて各原画像データＳに対して上記実施形態と同様に画像処理を施すことにより、それぞれ粒状および／または鮮鋭度に関する最適な画像処理が施された処理済み画像データＳ′を得ることができる。ここで、画像処理装置１に入力される各原画像データＳにより表される原画像の粒状が多い場合にはその粒状を低減するようなスムージング処理などの画像処理が施され、あるいは原画像を拡大、縮小する場合には上記Ｂスプライン補間演算が施される。また、粒状が少ない場合にはスムージング処理が施されないか、原画像を拡大、縮小する場合には上記Cubicスプライン補間演算が施される。一方、画像処理装置１に入力される各原画像データＳにより表される原画像の鮮鋭度が高いと推定された部分にはその鮮鋭度をそれほど強調しないような処理が施され、鮮鋭度が低いと推定された部分には鮮鋭度が強調される処理が施される。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubicスプライン補間演算を行うことができる。
【００６３】
したがって、処理済み画像データＳ′により表される各画像は、いずれの画像においても粒状および／または鮮鋭度が最適に補正されたものとなる。このため、画像合成手段２０において処理済み画像データＳ′を合成して得られる合成画像データＧを再生することにより、全ての原画像データＳに対して同一の画像処理を施した場合に生じる、部分毎の粒状バランス、鮮鋭度バランスの崩れをなくすことができ、これにより見た目に違和感のない画像を得ることができる。
【００６４】
なお、上記画像合成装置の実施形態においては、編集指示入力手段２１からの指示を画像合成手段２０に入力しているが、画像処理装置１にも入力し、指示された領域についてのみ画像処理を施すようにしてもよい。
【００６５】
また、上記各実施形態においては、原画像データＳの全画素についてウェーブレット変換を施しているが、主要な被写体が含まれる可能性の高い原画像の中央部分のみ、あるいは任意に選択された領域についてのみウェーブレット変換を施して、演算時間を短縮するようにしてもよい。
【００６６】
また、上記各実施形態においては、ウェーブレット変換を施す際に画素を間引いていないが、画素を間引いて低周波数帯域ほど縮小された画像となるようにウェーブレット変換を施すようにしてもよい。
【００６７】
さらに、上記各実施形態においては、ウェーブレット変換を用いて原画像を多重解像度空間に変換しているが、ラプラシアンピラミッドあるいはフーリエ変換を用いてもよい。
【００６８】
さらにまた、上記各実施形態においては、比較手段１１において、最高周波数帯域画像を表す画像データＨＨ０よりも１段階低周波数帯域の画像データＨＬ０，ＬＨ０，ＬＬ０と閾値Ｔｈ１，Ｔｈ２，Ｔｈ３とを比較しているが、ウェーブレット変換手段１０においてさらに低周波数帯域の画像を表す画像データを求め、この画像データと閾値Ｔｈ１，Ｔｈ２，Ｔｈ３とを比較するようにしてもよい。
【００６９】
また、上記各実施形態においては、比較手段３１において、最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０よりも１段階低周波数帯域の画像データＨＬ１，ＬＨ１と閾値Ｔｈ４，Ｔｈ５とを比較しているが、ウェーブレット変換手段３０においてさらに低周波数帯域の画像を表す画像データを求め、この画像データと閾値Ｔｈ４，Ｔｈ５とを比較するようにしてもよい。
【００７０】
さらに、上記実施形態においては、粒状推定手段３および鮮鋭度推定手段７の各々にウェーブレット変換手段１０，３０を設けているが、ウェーブレット変換手段を１つのみ設け、単一のウェーブレット変換手段の出力を粒状推定手段３および鮮鋭度推定手段７の双方にて用いるようにしてもよい。
【００７１】
さらにまた、上記実施形態の粒状推定手段３および鮮鋭度推定手段７において行われる粒状の推定および鮮鋭度の推定は、上記ウェーブレット変換を用いた手法に限定されるものではなく、種々の手法を用いることができるものである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】本発明の実施形態による粒状推定手段の構成を示す概略ブロック図
【図３】ウェーブレット変換の状態を示す図
【図４】本発明の実施形態による鮮鋭度推定手段の構成を示す概略ブロック図
【図５】高周波数帯域画像と低周波数帯域画像とにおける信号値の大小を説明するための図
【図６】強調係数Skを設定するための関数を示すグラフ
【図７】本発明の他の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
１画像処理装置
２画像入力手段
３粒状推定手段
４画像処理方法選択および／またはパラメータ設定手段
５画像処理手段
６画像出力手段
７鮮鋭度推定手段
１０ウェーブレット変換手段
１１比較手段
１２分散値算出手段
１３推定手段
２０画像合成手段
２１編集指示入力手段
３０ウェーブレット変換手段
３１比較手段
３２比算出手段
３３推定手段[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image processing apparatus that performs image processing on image data and an image composition apparatus that synthesizes a plurality of images.
[0002]
[Prior art]
  In various fields, image data representing an image is obtained, the image is subjected to appropriate image processing, and then the image is reproduced. Such an output device that reproduces an image reproduces an image by performing image processing such as correcting image data in accordance with the characteristics of an input device connected as a system and the characteristics of the output device. Here, when only one input device is connected to the output device, the image processing performed in the output device only needs to correspond to the characteristics of the input device, and a plurality of input devices are included in the output device. Are connected, image processing corresponding to the characteristics of each input device may be performed on the image data.
[0003]
  However, when a plurality of input devices and output devices are connected, the input devices may be variously changed, and in which input device the image data input to the output device is obtained. Since it cannot be specified, it is difficult to perform optimum image processing in correspondence with the characteristics of the input device and the content of the image processing. For this reason, for example, in Japanese Patent No. 2660170, image data input from the input device is converted so that all of the image data has a general-purpose gradation, and the output device corrects only its own output characteristics. There has been proposed an image processing apparatus capable of obtaining an appropriate reproduced image.
[0004]
  Further, the image obtained by the input device has various granular characteristics (noise component state) and sharpness depending on the device. For this reason, the obtained image data can be subjected to image processing such as smoothing processing and sharpness enhancement processing in accordance with the granularity characteristics and / or sharpness characteristics of the input device to reproduce higher quality images. Has been done. In some cases, the image data is enlarged and reduced by interpolating the image data to reproduce the image. In this case as well, an interpolation operation that emphasizes the sharpness according to the granularity and sharpness characteristics of the input device (for example, Cubic spline interpolation) Calculation) and interpolation calculation (for example, B-spline interpolation calculation) that emphasizes smoothness.
[0005]
  On the other hand, as a method for processing the above-described image data, the image is converted into a multi-resolution image for each of a plurality of frequency bands, a predetermined process is performed on the image of each frequency band, and this is again subjected to inverse multi-resolution. A method of multi-resolution conversion has been proposed for obtaining a final processed image by conversion. Specific examples of the predetermined processing in this case include high-frequency separation for noise removal, and compression processing by reducing data in a frequency band with a lot of noise. As this multi-resolution conversion method, a wavelet transform, a Laplacian pyramid, a Fourier transform, or the like is known. In particular, the wavelet transform is one of the signal frequency analysis methods, but is superior in that it is easy to detect local change information of the signal as compared to the Fourier transform widely used as the frequency analysis method. In recent years, it has been in the spotlight in all signal processing fields (OLIVIER RIOUL and MARTIN VETTERLI; Wavelets and Signal Processing, IEEE SP MAGAZINE, P.14-38, OCTOBER 1991, Stephane Mallat; Zero-Crossings of a Wavelet Transform , IEEE TRANSACTIONS ON INFORMATION THEORY, VOL.37, NO.4, P.1019-1033, JULY 1991, JP-A-6-350989, 6-350990, 7-23228, 7-23229, 7-79350, Japanese Patent Application No. 8-14510).
[0006]
[Problems to be solved by the invention]
  By the way, with recent advances in computer networks, various input devices are connected to an image output device, and image data subjected to various processes is transferred over the network. For this reason, the image data input to the output device is obtained from which input device, and whether or not the image processing is performed for the granularity, sharpness, and gradation of the image data. Data is being exchanged in an unknown state. In such a case, if the image processing apparatus described in the above-mentioned Japanese Patent No. 2660170 is used, it is possible to perform image processing on the image data so as to obtain a general gradation regardless of the type of the input apparatus.
[0007]
  However, with regard to the granularity (noise component) or sharpness of the image represented by the image data, if it is unclear from which input device the image data was obtained, it is optimal for the characteristics of the input device. Image processing such as smoothing processing, sharpness enhancement processing, and interpolation calculation cannot be performed. In this case, it is conceivable to perform image processing relating to the same graininess and sharpness on all image data by one method determined appropriately. However, depending on the image, the image processing is not optimal, for example, there are many graininesses. Nevertheless, the sharpness may be emphasized. Moreover, there is a possibility that the image may be blurred with insufficient degree of sharpness enhancement, or may be an image with artifacts such as overshoot and undershoot due to further enhancement of sharpness even though the sharpness is originally high. . In particular, if this method is used when a plurality of images are combined and reproduced, the same image processing is performed even if the image data used for the combination has different granular characteristics and sharpness characteristics. The synthesized image is uncomfortable to the eye because the balance of graininess and sharpness is different for each part. It is also conceivable that the image is reproduced once and the operator manually corrects the image data while observing the image. However, it takes a lot of time and burden on the operator.
[0008]
  The present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus and an image composition apparatus that can perform optimal image processing on an image regardless of the granularity and / or sharpness of the image. To do.
[0009]
[Means for Solving the Problems]
  According to a first image processing method of the present invention, in an image processing apparatus that performs image processing on original image data representing an original image,
  The original image from the original image dataWhether the grain size is large or smallEstimating means for estimating
Interpolation calculation that emphasizes sharpness when the graininess is small, and interpolation calculation that emphasizes smoothness when the graininess is largeAnd image processing means for obtaining processed image data by applying to the original image data.
[0010]
A second image processing apparatus according to the present invention is an image processing apparatus that performs image processing on original image data representing an original image.
Estimating means for estimating from the original image data whether the granularity of the original image is large or small;
And image processing means for obtaining processed image data by performing processing for reducing the granularity on the original image data when the granularity is large..
[0011]
A third image processing apparatus according to the present invention is an image processing apparatus that performs image processing on original image data representing an original image.
The original image data is subjected to multi-resolution conversion to obtain image data representing an image for each of a plurality of frequency bands from the original image data, and the x direction high frequency y direction of the original image in a predetermined frequency band among the plurality of frequency bands The pixel values of the low-frequency image data, the x-direction low-frequency y-direction high-frequency image data, and the x-direction high-frequency y-direction high-frequency image data in the low-frequency band next to the predetermined frequency band Comparison with the first to third threshold values corresponding to the frequency image data, the x direction low frequency y direction high frequency image data, and the x direction high frequency y direction high frequency image data in the frequency band next to the predetermined frequency band The pixel value of the x direction high frequency y direction low frequency image data is less than the first threshold value, and the x direction low frequency y direction high frequency image data Extracting a pixel whose pixel value is less than the second threshold and whose pixel value of the x-direction high-frequency y-direction high-frequency image data in the low frequency band next to the predetermined frequency band is less than the third threshold; A variance value of pixel values of pixels corresponding to the extracted pixels of the x direction high frequency y direction high frequency image data in the predetermined frequency band among the plurality of image data is calculated, and the variance value is compared with a fourth threshold value A granularity estimating means for estimating whether the original image has more or less granularity,
Image processing means for obtaining processed image data by performing an interpolation operation focusing on sharpness when the graininess is small and performing an interpolation calculation focusing on smoothness when the graininess is large on the original image data It is characterized by.
[0012]
A fourth image processing apparatus according to the present invention is an image processing apparatus that performs image processing on original image data representing an original image.
The original image data is subjected to multi-resolution conversion to obtain image data representing an image for each of a plurality of frequency bands from the original image data, and the x direction high frequency y direction of the original image in a predetermined frequency band among the plurality of frequency bands The pixel values of the low-frequency image data, the x-direction low-frequency y-direction high-frequency image data, and the x-direction high-frequency y-direction high-frequency image data in the low-frequency band next to the predetermined frequency band Comparison with the first to third threshold values corresponding to the frequency image data, the x direction low frequency y direction high frequency image data, and the x direction high frequency y direction high frequency image data in the frequency band next to the predetermined frequency band The pixel value of the x direction high frequency y direction low frequency image data is less than the first threshold value, and the x direction low frequency y direction high frequency image data Extracting a pixel whose pixel value is less than the second threshold and whose pixel value of the x-direction high-frequency y-direction high-frequency image data in the low frequency band next to the predetermined frequency band is less than the third threshold; A variance value of pixel values of pixels corresponding to the extracted pixels of the x direction high frequency y direction high frequency image data in the predetermined frequency band among the plurality of image data is calculated, and the variance value is compared with a fourth threshold value A granularity estimating means for estimating whether the original image has more or less granularity,
And image processing means for obtaining processed image data by performing processing for reducing the granularity on the original image data when the granularity is large..
[0013]
A fifth image processing apparatus according to the present invention is an image processing apparatus that performs image processing on original image data representing an original image.
The original image data is subjected to multi-resolution conversion, image data representing an image for each of a plurality of frequency bands is obtained from the original image data, and the frequency band in the low frequency band next to a predetermined frequency band among the plurality of frequency bands Respective pixel values of the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data of the original image are used as the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data. And a pixel value of the x-direction high-frequency y-direction low-frequency image data in the low-frequency band next to the predetermined frequency band exceeds the first threshold. In addition, a pixel whose pixel value of the x-direction low frequency y-direction high-frequency image data exceeds the second threshold is extracted, and the pixel in the low frequency band next to the predetermined frequency band is extracted. A ratio of pixel values of the extracted pixels of the x-direction high-frequency y-direction low-frequency image data of the original image in the predetermined frequency band with respect to the x-direction high-frequency y-direction low-frequency image data and the next low frequency after the predetermined frequency band The ratio of the pixel values of the extracted pixels in the x-direction low frequency y-direction high-frequency image data of the original image in the predetermined frequency band to the x-direction low frequency y-direction high-frequency image data in the frequency band of A sharpness estimation means for calculating a ratio and estimating whether the original image has high or low sharpness according to the ratio;
Image processing means for obtaining processed image data by performing interpolation calculation with importance on sharpness when the sharpness is low, and performing interpolation calculation with importance on smoothness when the sharpness is high on the original image data; It is characterized by having.
[0014]
A sixth image processing apparatus according to the present invention is an image processing apparatus that performs image processing on original image data representing an original image.
The original image data is subjected to multi-resolution conversion, image data representing an image for each of a plurality of frequency bands is obtained from the original image data, and the frequency band in the low frequency band next to a predetermined frequency band among the plurality of frequency bands Respective pixel values of the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data of the original image are converted into the x-direction high-frequency y-direction low-frequency image data. And the x-direction high-frequency y-direction low-frequency image data in the low-frequency band next to the predetermined frequency band in comparison with the first and second threshold values corresponding to the x-direction low-frequency y-direction high-frequency image data, respectively. A pixel having a pixel value exceeding the first threshold and a pixel value of the x-direction low frequency y-direction high-frequency image data exceeding the second threshold is extracted, and a frequency of a low frequency next to the predetermined frequency band is extracted. Next to the ratio of the pixel value of the extracted pixel of the x-direction high frequency y-direction low frequency image data of the original image in the predetermined frequency band to the x-direction high frequency y-direction low frequency image data in the band and the predetermined frequency band The x direction low frequency y direction high frequency image of the original image in the predetermined frequency band for the x direction low frequency y direction high frequency image data in the low frequency band. Calculates a larger one ratio of the ratio of the extracted pixel values of the pixel data, and sharpness estimation means for estimating the sharpness of the original image in response to the ratio,
Image processing means for obtaining processed image data by performing processing for emphasizing the sharpness as the sharpness is lower with respect to the original image data..
[0015]
Here, as an “interpolation calculation that emphasizes sharpness”, for example, Cubic As the spline interpolation calculation, for example, B-spline interpolation calculation can be used as “smoothness-oriented interpolation calculation”..
[0016]
  An image composition apparatus according to the present invention is an image composition apparatus that obtains composite image data by combining original image data representing a plurality of original images.
  1st to 2nd according to the present invention6Means for performing image processing on each of the original image data by the image processing apparatus to obtain processed image data;
  The image processing apparatus includes a combining unit that combines the processed image data to obtain the combined image data.
[0017]
  Note that the processing performed in the image processing apparatus and the image composition apparatus according to the present invention may be provided as an image processing method and an image composition method.
[0018]
【The invention's effect】
  The image processing apparatus according to the present invention estimates the granularity and / or sharpness of an original image based on the original image data, and performs different image processing on the original image data according to the estimated granularity and / or sharpness. It is something to be applied. For this reason, using the estimation result of the granularity and / or sharpness, it is possible to perform smoothing processing, sharpness enhancement processing, interpolation calculation, and the like according to the granularity of the original image and the sharpness on the original image data. For example, if it is estimated that there is a lot of granularity, smoothing processing for reducing the granularity is performed on the original image data, and if interpolation is performed, a B-spline interpolation operation that emphasizes smoothness is performed, and it is estimated that the granularity is small In such a case, smoothing processing is not performed on the original image data, or Cubic spline interpolation calculation with emphasis on sharpness can be performed when interpolation is performed. On the other hand, sharpness enhancement processing is performed so that the sharpness is not emphasized so much in the original image where the sharpness is estimated to be high, and the sharpness is emphasized more in the portion where the sharpness is estimated to be low Can do. In addition, when the original image has a high sharpness, the B-spline interpolation calculation that emphasizes smoothness is performed when the original image is enlarged or reduced, and the Cubic spline interpolation calculation that emphasizes the sharpness is performed when the sharpness is low. it can. Thus, even if it is unclear whether the original image is input from which input device, or has already been subjected to image processing, the most suitable granularity and / or Image processing relating to sharpness can be performed.
[0019]
  Further, the image composition method and apparatus of the present invention obtains processed image data by performing image processing on a plurality of original image data by the image processing method and apparatus of the present invention, and combines the processed image data. The composite image data is obtained. Accordingly, since the composite image data can be obtained based on the processed image data that has been subjected to the optimal image processing according to the granularity and / or sharpness of the original image, all the image data can be reproduced by reproducing the composite image data. It is possible to eliminate the collapse of the granular balance and sharpness balance for each part, which occurs when the same image processing is performed on the original image data, thereby obtaining an image that does not feel strange to the eye.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
  Embodiments of the present invention will be described below with reference to the drawings.
[0021]
  FIG. 1 is a schematic block diagram showing the configuration of an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, the image processing apparatus 1 according to the present embodiment includes a granularity estimation unit 3 that estimates the granularity of an image represented by the original image data S input from the image input unit 2, and an image input unit 2. Based on the sharpness estimation means 7 for estimating the sharpness of the image represented by the input original image data S, and the granularity and / or sharpness estimated by the granularity estimation means 3 and the sharpness estimation means 7, Image processing method selection and / or parameter setting means 4 for selecting an image processing method and / or setting of image processing parameters in the image processing means 5, and an image set in the image processing method selection and / or parameter setting means 4 According to the processing method and / or parameters, image processing is performed on the original image data S to obtain processed image data S ′. And means 5, comprising an image output unit 6 for outputting the processed image data S 'printers, on the CRT or the network.
[0022]
  FIG. 2 is a schematic block diagram showing the configuration of the granularity estimating means 3. As shown in FIG. 2, the granularity estimating means 3 performs wavelet transform on the original image data S, multi-resolution converts the original image represented by the original image data S, and represents an image for each of a plurality of frequency bands. Wavelet transform means 10 for obtaining image data, comparison means 11 for comparing image data HL0, LH0, and HH1 (details will be described later) obtained by the wavelet transform means 10 with predetermined threshold values, and comparison results by the comparison means 11 The variance value calculation means 12 for calculating the variance value B of each pixel of the image data HH0 and the estimation means 13 for estimating the granular amount of the original image data S based on the calculated variance value B are provided.
[0023]
  In the wavelet transform unit 10, wavelet transform is performed on the original image data S as follows. FIG. 3 is a diagram schematically showing a state where the original image data S is subjected to wavelet transform. In the present embodiment, as shown in FIG. 3, the horizontal direction with respect to the paper surface is described as the x direction, and the vertical direction is described as the y direction. In the wavelet transform of the present embodiment, the Haar-Wavelet base shown below is used, and the pixel decimation (subsampling) normally performed in the wavelet transform is not performed, and the multiresolution image obtained by the wavelet transform is not performed. The resolution is the same as the original image.
[0024]
  Haar-Wavelet: h (x) =-1,1
                g (x) = 1 / 2,1 / 2
Here, h (x) is a wavelet basis for extracting a high frequency component in the x direction, and g (x) is a wavelet basis for extracting a low frequency component in the x direction.
[0025]
  First, h (x) is convolved with the original image data S in the x direction to obtain image data H0.
[0026]
  H0 (x, y) = h (x) * S (x, y) ((x, y) is the pixel position)
In the normal wavelet transform, the number of pixels is thinned out to ½ in the x direction of the image data H0. However, in this embodiment, it is not thinned out.
[0027]
  Next, h (y) is convolved with the image data H0 in the y direction to obtain image data HH0 representing an image in the highest frequency band in both the x and y directions.
[0028]
  HH0 (x, y) = h (y) * H0 (x, y)
  In the same manner, the image data HL0 obtained by convolving g (y) with the image data H0 and the image data L0 obtained by convolving g (x) with the original image data S are convolved with the image data H0 by the following operation. The obtained image data LH0 and the image data LL1 obtained by convolving g (y) with the image data L0 are obtained.
[0029]
  HL0 (x, y) = g (y) * H0 (x, y)
  L0 (x, y) = g (x) * S (x, y)
  LH0 (x, y) = h (y) * L0 (x, y)
  LL1 (x, y) = g (y) * L0 (x, y)
  Further, h (x) ′ = − 1,0,1 which is the Haar-Wavelet base of the next hierarchy is used, and h (x) ′ and h (y) ′ are convolved with the image data LL1 to generate an image. Data HH1 is obtained. Here, if pixels are thinned out when obtaining the image data LL1, h (x) =-1,1 may be used as the wavelet base. However, in this embodiment, since pixels are not thinned out, thinning is performed. Is inserted with a value 0 corresponding to.
[0030]
  HH1 (x, y) = h (y) '* {h (x)' * LL1 (x, y)}
  Note that image data in a further lower frequency band can be obtained by repeating the wavelet transform thereafter. However, since the granularity estimation means 3 uses only the image data HH0, HL0, LH0, and HH1, the calculation ends here. To do. In this embodiment, since pixels are not thinned out when performing wavelet transform, the image represented by the image data HH0, HL0, LH0, LL1, and HH1 has the same resolution as the original image as shown in FIG. It will have. The image data HH0, image data HL0, image data LH0, and image data LL1 are respectively a high-frequency image, an x-direction high-frequency y-direction low-frequency image, and an x-direction low-frequency y-direction in the maximum frequency band of the original image. Both the high-frequency image and the x-direction y-direction represent a low-frequency image.
[0031]
  In the comparison unit 11, the pixel values of the image data HL0, LH0, HH1 are compared with the threshold values Th1, Th2, Th3, and HL0 (x, y) <Th1 and LH0 (x, y) <Th2 and HH1 (x, y ) <Pixel (x, y) that satisfies the three conditions of Th3 is extracted.
[0032]
  The variance value calculation means 12 calculates the variance value B of the pixel value by the following formula using only the pixels of the image data HH0 corresponding to the pixel (x, y) extracted by the comparison means 11. In the present embodiment, as shown in FIG. 3, since the resolutions of the image data HH0, HL0, LH0, LL0, and HH1 are the same, the pixel (x, y) is associated accurately and easily. Can do.
[0033]
  B = Σ {HH0 (x, y)}²/ M (M: number of extracted pixels)
  Here, a boundary line such as an edge included in the original image has a high pixel value, but in any of image data HH0 representing the highest frequency band image and image data HL0, LH0 and HH1 representing the low frequency band image. Also has a high value. On the other hand, the granularity (noise component) included in the original image also has a high value as the pixel value in the same manner as the boundary line, and therefore has a high value in the image data HH0 as well. However, in the image data HL0, LH0, and HH1, the granularity that forms a high-frequency component in the original image is removed, so the pixel value of the pixel corresponding to the granularity is not so large. Therefore, as a result of comparison between the pixel values of the image data HL0, LH0, and HH1 and the threshold values Th1, Th2, and Th3, the pixels of the highest frequency band image corresponding to the pixels that are smaller than the threshold values Th1, Th2, and Th3 The variance value B of the pixel value is calculated for this pixel. Here, when the flat image portion (that is, the signal value is substantially constant) includes graininess, the value of the variance value B is large, and when the granularity is not so much, the value of the variance value B is small. .
[0034]
  Therefore, the estimation unit 13 compares the variance value B calculated by the variance value calculation unit 12 with the threshold value a, and estimates that the original image has a lot of granularity when B ≧ a, and the original image when B <a. It is estimated that there is little granularity. Then, the estimation result is output to the image processing method selection and / or parameter setting means 4.
[0035]
  FIG. 4 is a schematic block diagram showing the configuration of the sharpness estimation means 7. As shown in FIG. 4, the sharpness estimation means 7 performs wavelet transformation on the original image data S to obtain the original image represented by the original image data S, similarly to the wavelet transformation means 10 of the granularity estimation means 3. Wavelet transform means 30 that obtains image data representing images for each of a plurality of frequency bands by performing multi-resolution conversion, and image data HL1 and LH1 (details will be described later) obtained by the wavelet transform means 30 are respectively compared with predetermined threshold values. Based on the comparison result by the comparison means 31, the ratio calculation means 32 for calculating the ratio C of the pixel values of the pixels in the image data HL1, LH1 and the image data HL0, LH0, and the calculated ratio C And estimating means 33 for estimating the sharpness of the original image data S.
[0036]
  In the wavelet transform unit 30, the wavelet transform is performed on the original image data S in the same manner as the wavelet transform unit 10 in the granularity estimation unit 3, but the wavelet transform is further performed on the image data LL1 as follows. It is something to apply.
[0037]
  That is, the Haar-Wavelet bases h (x) =-1,1 and g (x) = 1/2, 1/2, which are the Haar-Wavelet bases of the next layer, h (x) '=-1, Using 0,1 and g (x) ′ = 1 / 2,0,1 / 2, h (x) ′ and h (y) ′ are convolved with image data LL1, and image data HH1 and image data LL1 Image data HL1 obtained by convolving h (x) ′ and g (y) ′ and image data LH1 obtained by convolving g (x) ′ and h (y) ′ with image data LL1 are obtained by the following calculation. Here, if pixels are thinned out when obtaining the image data LL1, h (x) =-1,1 and g (x) = 1 / 2,1 / 2 may be used as the wavelet base. In the present embodiment, since pixels are not thinned, a value 0 corresponding to the number of thinnings is inserted.
[0038]
  HH1 (x, y) = h (y) '* {h (x)' * LL1 (x, y)}
  HL1 (x, y) = g (y) '* {h (x)' * LL1 (x, y)}
  LH1 (x, y) = h (y) '* {g (x)' * LL1 (x, y)}
Here, the image data HH1, the image data HL1, and the image data LH1 are respectively a high frequency image, an x direction high frequency y direction low frequency image, and an x direction low frequency in the x direction y direction in the frequency band next to the highest frequency band of the original image. It represents a y-direction high frequency image.
[0039]
  Note that image data in a further lower frequency band can be obtained by repeating the wavelet transform thereafter. However, since the sharpness estimation means 7 uses only the image data HL0, LH0, HL1, and LH1, the calculation is performed here. finish. In the present embodiment, since pixels are not thinned out when performing wavelet transform, the images represented by the image data HH0, HL0, LH0, LL0, HH1, HL1, LH1, and LL2 are as shown in FIG. It has the same resolution as the original image. Here, LL2 is image data obtained by convolving g (x) ′ and g (y) ′ with the image data LL1.
[0040]
  In the comparison means 31, the pixel values of the image data HL1 and LH1 are compared with threshold values Th4 and Th5, and pixels (x, y) satisfying the two conditions of HL1 (x, y)> Th4 and LH1 (x, y)> Th5. ) Is extracted.
[0041]
  The ratio calculating unit 32 is larger of the ratio between the pixel value of the pixel (x, y) extracted by the comparing unit 31 and the pixel value of the image data HL0 and LH0 corresponding to the pixel (x, y). The ratio C is calculated by the following equation (1). In the present embodiment, as shown in FIG. 3, the resolution of the image data HL0, LH0, HL1, and LH1 is the same, so that the pixel (x, y) can be associated accurately and easily. .
[0042]
  C (x, y) = max (HL0 / HL1, LH0 / LH1) (1)
  Here, a portion that is a reference for the sharpness estimation of the original image such as an edge included in the original image has a relatively high value as a pixel value, and the image data HL1 and LH1 representing the low frequency band image also have a high value. Have. Conversely, in the image data HL1 and LH1 representing the low frequency band image, if the value of the pixel value is low, it can be considered that there is no standard for sharpness estimation such as an edge. Therefore, as a result of the comparison between the pixel value in the low-frequency band image and the threshold values Th4 and Th5, a pixel having a value larger than the threshold values Th4 and Th5 is regarded as a pixel serving as a reference for sharpness estimation. A ratio of the pixel values of the image data HL0 and LH0 representing the highest frequency band image corresponding to the pixel is obtained.
[0043]
  Here, since the highest frequency band image carries the highest frequency component in the original image, it represents a change amount of the signal in a relatively narrow range, and the low frequency band image carries the lower frequency component than the highest frequency band image. It represents the amount of change in a wide range of signals. For example, as shown in FIG. 5A, at very steep edges, the signal variations ΔA and ΔB are the same in both the narrow range A and the wide range B. On the other hand, as shown in FIG. 5B, in the portion where the signal is gently changing, the frequency component is in a frequency band lower than the steep edge, so that the signal in the narrow range A The change amount ΔB of the signal in a wider range B is larger than the change amount ΔA. Therefore, in the steep edge shown in FIG. 5A, the pixel values of the pixels corresponding to the edge portion are substantially the same in the highest frequency band image and the low frequency band image, and the gentle values shown in FIG. In the portion where the signal is changed, the pixel value of the pixel corresponding to the signal change position is larger in the low frequency band image than in the highest frequency band image.
[0044]
  For this reason, the ratio C of the pixel value of the pixel of the highest frequency band image to the pixel value of the pixel of the low frequency band image obtained by the above formula (1) is set to 1 as the sharp edge, that is, the sharpness portion is higher. The value is smaller than 1 in a portion where the signal changes more smoothly, that is, in a portion where the sharpness is lower, that is, a portion where the sharpness is lower.
[0045]
  Therefore, the estimating means 33 compares the ratio C calculated by the ratio calculating means 32 with 1, and when C = 1 (or close to 1), it is estimated that the sharpness is high, and C << 1 Sometimes that part is estimated to have low sharpness. Then, the estimation result is output to the image processing method selection and / or parameter setting means 4.
[0046]
  The image processing method selection and / or parameter setting means 4 selects and / or selects an image processing method based on the granularity and / or sharpness estimation results of the original image by the granularity estimation means 3 and / or the sharpness estimation means 7. Or set the parameters. Specifically, for the granular amount, when there are many granularities, a smoothing process that reduces the granularity is selected, or when the original image is enlarged or reduced, a B-spline interpolation operation that emphasizes smoothness is selected. And determine the parameters of this. Further, when the granularity is small, the smoothing process is not executed, or when the original image is enlarged or reduced, Cubic spline interpolation calculation that emphasizes sharpness is selected.
[0047]
  Here, the Cubic spline interpolation calculation and the B spline interpolation calculation will be described. The original image data S used in the present embodiment has sampling points (pixels) X arranged in one direction sampled at equal intervals._k-2, X_k-1, X_k, X_{k + 1}, X_k-2Digital image data (S_k-2, S_k-1, S_k, S_{k + 1}S_{k + 2}...).
[0048]
  Cubic spline interpolation operation is the original sampling point (pixel) X_k~ X_{k + 1}Interpolation point X provided between_pInterpolation data Y in the cubic Cubic spline interpolation equation (2) representing the interpolation data Y ′_k-1, Y_k, Y_{k + 1}, Y_{k + 2}Interpolation coefficient c corresponding to each_k-1, C_k, C_{k + 1}, C_{k + 2}Are obtained by the operations shown below.
[0049]
    Y '= c_k-1Y_k-1+ C_kY_k+ C_{k + 1}Y_{k + 1}+ C_{k + 2}Y_{k + 2}  (2)
    c_k-1= (-T^Three+ 2t²-T) / 2
    c_k= (3t^Three-5t²+2) / 2
    c_{k + 1}= (-3t^Three+ 4t²+ T) / 2
    c_{k + 2}= (T^Three-T²) / 2
(However, t (0 ≦ t ≦ 1) is set to 1 for the lattice interval and the pixel X_kInterpolation point X with reference to_pPixel X_{k + 1}Indicates the position in the direction. )
  The B-spline interpolation operation uses the original sampling point X_k~ X_{k + 1}Interpolation point X provided between_pInterpolation data Y in the cubic B-spline interpolation equation (3) representing the interpolation data Y ′_k-1, Y_k, Y_{k + 1}, Y_{k + 2}Interpolation coefficient b respectively corresponding to_k-1, B_k, B_{k + 1}, B_{k + 2}Are obtained by the operations shown below.
[0050]
    Y '= b_k-1Y_k-1+ B_kY_k+ B_{k + 1}Y_{k + 1}+ B_{k + 2}Y_{k + 2}  (3)
    b_k-1= (-T^Three+ 3t²-3t + 1) / 6
    b_k= (3t^Three-6t²+4) / 6
    b_{k + 1}= (-3t^Three+ 3t²+ 3t + 1) / 6
    b_{k + 2}= T^Three/ 6
(However, t (0 ≦ t ≦ 1) is set to 1 for the lattice interval,_kInterpolation point X with reference to_pPixel X_{k + 1}Indicates the position in the direction. In the image processing selection and / or parameter setting means 4, c_k-1, C_k, C_{k + 1}, C_{k + 2}Or b_k-1, B_k, B_{k + 1}, B_{k + 2}Is set as a parameter.
[0051]
  On the other hand, with regard to the sharpness, based on the estimation result of the sharpness of the original image by the sharpness estimation means 7, that is, the height of the sharpness, the unsharp masking processing enhancement coefficient Sk (x , y) is set as a parameter.
[0052]
  S ′ (x, y) = S (x, y) + Sk (x, y) × {S (x, y) −Sus (x, y)} (4)
  S ′ (x, y): Processed image data
  Sus (x, y): Image data obtained by blurring image data S (x, y) with a 5 × 5 mask
Here, as shown in FIG. 6, 0 when C (x, y) = 1, 1 when C (x, y) = 0.5, and 3 when C (x, y) = 0. A function f (C) that takes the above value is set, and the sharpness enhancement coefficient Sk (x, y) is obtained as Sk (x, y) = f (C). Note that the pixel (x, y) that has not been extracted in the comparison with the threshold values Th1 and Th2 is a flat region (signal value is constant) that cannot serve as a reference for sharpness estimation, and sharpness enhancement is unnecessary. For that portion, Sk (x, y) = 0 may be set.
[0053]
  At this time, the image is discontinuous in the pixel region extracted in the comparison with the threshold values Th4 and Th5 (hereinafter referred to as an extraction region) and the pixel region not extracted (hereinafter referred to as a non-extraction region). In order to prevent this, even if it is a non-extraction region, if the extraction region exists within a preset distance δ from that region, the enhancement coefficient Sk (x1, y1) in the nearest extraction region Based on the distance Δ between the non-extraction region and the extraction region, it is preferable to set the enhancement coefficient Sk (x, y) as shown in the following equation (5).
[0054]
  Sk (x, y) = Sk (x1, y1) × {(δ−Δ) / δ} (5)
  The image processing method selection and / or parameter setting means 4 selects a B-spline interpolation calculation that emphasizes smoothness when the sharpness is estimated to be high when the original image is enlarged or reduced. Along with the parameters of this. On the other hand, when it is estimated that the sharpness is low, the Cubic spline interpolation calculation that emphasizes the sharpness is selected.
[0055]
  The image processing means 5 performs image processing and / or interpolation operation on the original image data S based on the image processing and / or parameters selected by the image processing selection and / or parameter setting means 4, and has processed the image. Data S ′ is obtained.
[0056]
  Next, the operation of this embodiment will be described. The original image data S input from the image input unit 2 is input to the granularity estimation unit 3 and / or the sharpness estimation unit 7. In the granularity estimating means 3, the original image data S is decomposed into image data representing an image for each of a plurality of frequency bands by wavelet transform, and the variance value B of the image data HH0 representing the highest frequency band image is calculated as described above. The granular amount of the original image is estimated. On the other hand, in the sharpness estimation means 7, as in the granularity estimation means 3, the original image data S is decomposed into image data representing an image for each of a plurality of frequency bands by wavelet transform, and the ratio C Is calculated, and the sharpness of the original image is estimated.
[0057]
  The image processing method selection and / or parameter setting means 4 selects image processing to be applied to the original image data S in the image processing means 5 based on the granularity estimated in the granularity estimation means 3, or enlarges or reduces the original image. To do so, select the type of interpolation calculation and set parameters for the interpolation calculation. Further, based on the sharpness estimated by the sharpness estimation means 7, the image processing means 5 sets an unsharp masking processing enhancement coefficient Sk (x, y) to be applied to the original image data S, or enlarges the original image. In the case of reduction, the type of interpolation calculation is selected and parameters for the interpolation calculation are set.
[0058]
  The image processing means 5 performs the image processing and / or interpolation operation selected by the image processing method selection and / or parameter setting means 4 on the original image data S to obtain processed image data S ′. The processed image data S ′ is output from the image output means 6 to a printer or CRT and reproduced as a visible image or transferred over a network.
[0059]
  As described above, in the present embodiment, since the granular amount and / or sharpness of the original image is estimated from the original image data S representing the original image, the granularity amount is obtained in the image processing means 5 using this estimation result. Image processing such as smoothing processing and / or unsharp masking processing according to sharpness and / or interpolation calculation can be performed on the original image data S. As a result, even if it is not clear from which input device the original image is input or has already been subjected to image processing, the optimum granularity and / or sharpness for the original image is obtained. Image processing regarding the degree can be performed.
[0060]
  Next, another embodiment of the present invention will be described.
[0061]
  FIG. 7 is a block diagram showing a configuration of an image composition apparatus to which the image processing apparatus 1 shown in FIG. 1 is applied. As shown in FIG. 7, in another embodiment of the present invention, a plurality of original image data S is input to the image processing apparatus 1 and optimum image processing is performed on each of the original image data S in the same manner as in the above embodiment. Based on the instruction input from the editing instruction input means 21, the original image data S 'processed in the image synthesizing means 20 is synthesized to obtain synthesized image data G. The synthesized image data G is obtained as image output means. 6 is output to a printer or the like.
[0062]
  As described above, when a plurality of original images are synthesized, the image processing apparatus according to the present embodiment estimates the granular amount and / or sharpness of each original image data S, and the estimated granular amount and / or sharpness is obtained. On the basis of this, image processing is performed on each original image data S in the same manner as in the above-described embodiment, so that processed image data S ′ that has been subjected to optimum image processing relating to graininess and / or sharpness can be obtained. . Here, when the granularity of the original image represented by each original image data S input to the image processing apparatus 1 is large, image processing such as smoothing processing is performed to reduce the granularity, or the original image is processed. When enlarging or reducing, the B-spline interpolation calculation is performed. Further, when the granularity is small, the smoothing process is not performed, or when the original image is enlarged or reduced, the Cubic spline interpolation calculation is performed. On the other hand, a process in which the sharpness of the original image represented by each original image data S input to the image processing apparatus 1 is estimated to be high is performed so as not to enhance the sharpness. The portion that is estimated to be low is subjected to processing for enhancing sharpness. In addition, when the original image has a high sharpness, the B-spline interpolation calculation that emphasizes smoothness is performed when the original image is enlarged or reduced, and the Cubic spline interpolation calculation that emphasizes the sharpness is performed when the sharpness is low. it can.
[0063]
  Accordingly, each image represented by the processed image data S ′ has an optimum corrected graininess and / or sharpness in any image. For this reason, it occurs when the same image processing is performed on all the original image data S by reproducing the synthesized image data G obtained by synthesizing the processed image data S ′ in the image synthesizing unit 20. It is possible to eliminate the collapse of the granular balance and sharpness balance for each part, thereby obtaining an image that does not feel uncomfortable.
[0064]
  In the embodiment of the image composition apparatus, the instruction from the editing instruction input means 21 is input to the image composition means 20, but is also input to the image processing apparatus 1, and image processing is performed only for the designated area. You may make it give.
[0065]
  In each of the above embodiments, wavelet transformation is performed on all pixels of the original image data S. However, only the central portion of the original image that is likely to include the main subject or an arbitrarily selected region. Only the wavelet transform may be applied to shorten the calculation time.
[0066]
  Further, in each of the above embodiments, pixels are not thinned out when performing wavelet transformation, but wavelet transformation may be performed so as to obtain an image that is thinned out and reduced in the low frequency band.
[0067]
  Further, in each of the above embodiments, the original image is converted into a multi-resolution space using wavelet transform, but a Laplacian pyramid or Fourier transform may be used.
[0068]
  Furthermore, in each of the above-described embodiments, the comparison unit 11 compares the image data HL0, LH0, LL0 in one step lower frequency band than the image data HH0 representing the highest frequency band image with the threshold values Th1, Th2, Th3. However, the wavelet transform unit 10 may obtain image data representing an image in a lower frequency band, and compare the image data with the threshold values Th1, Th2, and Th3.
[0069]
  In each of the above embodiments, the comparison unit 31 compares the image data HL1 and LH1 of the one-step lower frequency band with the threshold values Th4 and Th5 than the image data HL0 and LH0 representing the highest frequency band image. The wavelet transform unit 30 may obtain image data representing an image in a lower frequency band, and compare the image data with the threshold values Th4 and Th5.
[0070]
  Furthermore, in the above embodiment, each of the granularity estimation means 3 and the sharpness estimation means 7 is provided with the wavelet transform means 10 and 30, but only one wavelet transform means is provided, and the output of a single wavelet transform means is provided. May be used in both the granularity estimating means 3 and the sharpness estimating means 7.
[0071]
  Furthermore, the granularity estimation and sharpness estimation performed in the granularity estimation means 3 and the sharpness estimation means 7 of the above embodiment are not limited to the technique using the wavelet transform, and various techniques are used. It is something that can be done.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic block diagram showing the configuration of granularity estimation means according to an embodiment of the present invention.
FIG. 3 is a diagram showing the state of wavelet transform
FIG. 4 is a schematic block diagram showing a configuration of sharpness estimation means according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining the magnitude of signal values in a high frequency band image and a low frequency band image;
FIG. 6 is a graph showing a function for setting the enhancement coefficient Sk.
FIG. 7 is a schematic block diagram showing the configuration of an image processing apparatus according to another embodiment of the present invention.
[Explanation of symbols]
      1 Image processing device
      2 Image input means
      3 Granularity estimation means
      4 Image processing method selection and / or parameter setting means
      5 Image processing means
      6 Image output means
      7 Sharpness estimation means
      10 Wavelet transform means
      11 Comparison means
      12 Dispersion value calculation means
      13 Estimating means
      20 Image composition means
      21 Editing instruction input means
      30 Wavelet transform means
      31 Comparison means
      32 Ratio calculation means
      33 Estimation means

Claims

原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、該複数の周波数帯域のうち所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データ、ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データ、該ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれに対応する第１から第３の閾値と比較し、前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値未満となり、前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値未満となり、かつ前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの画素値が前記第３の閾値未満となる画素を抽出し、前記複数の画像データのうち前記所定周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの前記抽出された画素に対応する画素の画素値の分散値を算出し、該分散値を第４の閾値と比較することにより前記原画像の粒状が多いか少ないかを推定する粒状推定手段と、
前記粒状が少ない場合に鮮鋭度を重視した補間演算を、前記粒状が多い場合に滑らかさを重視した補間演算を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理装置。In an image processing apparatus that performs image processing on original image data representing an original image,
The original image data is subjected to multi-resolution conversion to obtain image data representing an image for each of a plurality of frequency bands from the original image data, and the x direction high frequency y direction of the original image in a predetermined frequency band among the plurality of frequency bands The pixel values of the low-frequency image data, the x-direction low-frequency y-direction high-frequency image data, and the x-direction high-frequency y-direction high-frequency image data in the low-frequency band next to the predetermined frequency band Comparison with the first to third threshold values corresponding to the frequency image data, the x direction low frequency y direction high frequency image data, and the x direction high frequency y direction high frequency image data in the frequency band next to the predetermined frequency band And the pixel value of the x direction high frequency y direction low frequency image data becomes less than the first threshold value, and the x direction low frequency y direction high frequency image data Extracting a pixel whose pixel value is less than the second threshold and whose pixel value of the x-direction high-frequency y-direction high-frequency image data in the low frequency band next to the predetermined frequency band is less than the third threshold; A variance value of pixel values of pixels corresponding to the extracted pixels of the x direction high frequency y direction high frequency image data in the predetermined frequency band among the plurality of image data is calculated, and the variance value is compared with a fourth threshold value A granularity estimating means for estimating whether the original image has more or less granularity,
Image processing means for obtaining processed image data by performing an interpolation operation focusing on sharpness when the graininess is small and performing an interpolation calculation focusing on smoothness when the graininess is large on the original image data An image processing apparatus characterized by that.

原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、該複数の周波数帯域のうち所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データ、ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データ、該ｘ方向低周波ｙ方向高周波画像データおよび前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データのそれぞれに対応する第１から第３の閾値と比較し、前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値未満となり、前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値未満となり、かつ前記所定周波数帯域の次に低周波の周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの画素値が前記第３の閾値未満となる画素を抽出し、前記複数の画像データのうち前記所定周波数帯域におけるｘ方向高周波ｙ方向高周波画像データの前記抽出された画素に対応する画素の画素値の分散値を算出し、該分散値を第４の閾値と比較することにより前記原画像の粒状が多いか少ないかを推定する粒状推定手段と、
前記粒状が多い場合に粒状を低減する処理を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理装置。In an image processing apparatus that performs image processing on original image data representing an original image,
The original image data is subjected to multi-resolution conversion to obtain image data representing an image for each of a plurality of frequency bands from the original image data, and the x direction high frequency y direction of the original image in a predetermined frequency band among the plurality of frequency bands The pixel values of the low-frequency image data, the x-direction low-frequency y-direction high-frequency image data, and the x-direction high-frequency y-direction high-frequency image data in the low-frequency band next to the predetermined frequency band Comparison with the first to third threshold values corresponding to the frequency image data, the x direction low frequency y direction high frequency image data, and the x direction high frequency y direction high frequency image data in the frequency band next to the predetermined frequency band And the pixel value of the x direction high frequency y direction low frequency image data becomes less than the first threshold value, and the x direction low frequency y direction high frequency image data Extracting a pixel whose pixel value is less than the second threshold and whose pixel value of the x-direction high-frequency y-direction high-frequency image data in the low frequency band next to the predetermined frequency band is less than the third threshold; A variance value of pixel values of pixels corresponding to the extracted pixels of the x direction high frequency y direction high frequency image data in the predetermined frequency band among the plurality of image data is calculated, and the variance value is compared with a fourth threshold value A granularity estimating means for estimating whether the original image has more or less granularity,
An image processing apparatus comprising: an image processing unit that obtains processed image data by performing a process for reducing the granularity on the original image data when the granularity is large.

原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、前記複数の周波数帯域のうち所定周波数帯域の次に低周波の周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データおよびｘ方向低周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データおよび該ｘ方向低周波ｙ方向高周波画像データのそれぞれに対応する第１および第２の閾値と比較し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値を越え、かつ前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値を越える画素を抽出し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データの前記抽出された画素の画素値の比および前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向低周波ｙ方向高周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向低周波ｙ方向高周波画像データの前記抽出された画素の画素値の比のいずれか大きい方の比を算出し、該比に応じて前記原画像の鮮鋭度が高いか低いかを推定する鮮鋭度推定手段と、
前記鮮鋭度が低い場合に鮮鋭度を重視した補間演算を、前記鮮鋭度が高い場合に滑らかさを重視した補間演算を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理装置。In an image processing apparatus that performs image processing on original image data representing an original image,
The original image data is subjected to multi-resolution conversion, image data representing an image for each of a plurality of frequency bands is obtained from the original image data, and the frequency band in the low frequency band next to a predetermined frequency band among the plurality of frequency bands Respective pixel values of the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data of the original image are used as the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data. And a pixel value of the x-direction high-frequency y-direction low-frequency image data in the low-frequency band next to the predetermined frequency band exceeds the first threshold. In addition, a pixel whose pixel value of the x-direction low frequency y-direction high-frequency image data exceeds the second threshold is extracted, and the pixel in the low frequency band next to the predetermined frequency band is extracted. A ratio of pixel values of the extracted pixels of the x-direction high-frequency y-direction low-frequency image data of the original image in the predetermined frequency band with respect to the x-direction high-frequency y-direction low-frequency image data and the next low frequency after the predetermined frequency band The ratio of the pixel values of the extracted pixels in the x-direction low frequency y-direction high-frequency image data of the original image in the predetermined frequency band to the x-direction low frequency y-direction high-frequency image data in the frequency band of A sharpness estimation means for calculating a ratio and estimating whether the original image has high or low sharpness according to the ratio;
Image processing means for obtaining processed image data by performing interpolation calculation with importance on sharpness when the sharpness is low, and performing interpolation calculation with importance on smoothness when the sharpness is high on the original image data; An image processing apparatus comprising:

原画像を表す原画像データに対して画像処理を施す画像処理装置において、
前記原画像データを多重解像度変換して、該原画像データから複数の周波数帯域毎の画像を表す画像データを得、前記複数の周波数帯域のうち所定周波数帯域の次に低周波の周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データおよびｘ方向低周波ｙ方向高周波画像データのそれぞれの画素値を、該ｘ方向高周波ｙ方向低周波画像データおよび該ｘ方向低周波ｙ方向高周波画像データのそれぞれに対応する第１および第２の閾値と比較し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データの画素値が前記第１の閾値を越え、かつ前記ｘ方向低周波ｙ方向高周波画像データの画素値が前記第２の閾値を越える画素を抽出し、前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向高周波ｙ方向低周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向高周波ｙ方向低周波画像データの前記抽出された画素の画素値の比および前記所定周波数帯域の次に低周波の周波数帯域における前記ｘ方向低周波ｙ方向高周波画像データに対する前記所定周波数帯域における前記原画像のｘ方向低周波ｙ方向高周波画像データの前記抽出された画素の画素値の比のいずれか大きい方の比を算出し、該比に応じて前記原画像の鮮鋭度を推定する鮮鋭度推定手段と、
前記鮮鋭度が低いほど鮮鋭度を強調する処理を前記原画像データに対して施して処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理装置。In an image processing apparatus that performs image processing on original image data representing an original image,
The original image data is subjected to multi-resolution conversion, image data representing an image for each of a plurality of frequency bands is obtained from the original image data, and the frequency band in the low frequency band next to a predetermined frequency band among the plurality of frequency bands Respective pixel values of the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data of the original image are used as the x-direction high-frequency y-direction low-frequency image data and the x-direction low-frequency y-direction high-frequency image data. And a pixel value of the x-direction high-frequency y-direction low-frequency image data in the low-frequency band next to the predetermined frequency band exceeds the first threshold. In addition, a pixel whose pixel value of the x-direction low frequency y-direction high-frequency image data exceeds the second threshold is extracted, and the pixel in the low frequency band next to the predetermined frequency band is extracted. A ratio of pixel values of the extracted pixels of the x-direction high-frequency y-direction low-frequency image data of the original image in the predetermined frequency band with respect to the x-direction high-frequency y-direction low-frequency image data and the next low frequency after the predetermined frequency band The ratio of the pixel values of the extracted pixels in the x-direction low frequency y-direction high-frequency image data of the original image in the predetermined frequency band to the x-direction low frequency y-direction high-frequency image data in the frequency band of A sharpness estimation means for calculating a ratio and estimating the sharpness of the original image according to the ratio;
An image processing apparatus comprising: an image processing unit that obtains processed image data by performing a process for enhancing the sharpness as the sharpness is lower on the original image data.

複数の原画像を表す原画像データを合成して合成画像データを得る画像合成装置において、
請求項１から４のいずれか１項記載の画像処理装置により前記各原画像データに対して画像処理を施して処理済み画像データを得る手段と、
該各処理済み画像データを合成して前記合成画像データを得る合成手段とを備えたことを特徴とする画像合成装置。In an image composition apparatus that obtains composite image data by combining original image data representing a plurality of original images,
Means for performing image processing on each of the original image data by the image processing apparatus according to any one of claims 1 to 4 to obtain processed image data;
An image synthesizing apparatus comprising: synthesizing means for synthesizing the processed image data to obtain the synthesized image data.