JP4133029B2 - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP4133029B2 JP4133029B2 JP2002184447A JP2002184447A JP4133029B2 JP 4133029 B2 JP4133029 B2 JP 4133029B2 JP 2002184447 A JP2002184447 A JP 2002184447A JP 2002184447 A JP2002184447 A JP 2002184447A JP 4133029 B2 JP4133029 B2 JP 4133029B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- processing
- correction
- frequency component
- low frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims description 140
- 238000000034 method Methods 0.000 claims description 60
- 238000000926 separation method Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像データを復元することにより得られる復元画像データに対して画質補正処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
近年、デジタル画像データ（以下略して画像データという）に対してサービスを提供する様々なシステムが出現している。例えば、ネガフィルムをスキャナでスキャンして得たもの、デジタルカメラにより撮影して得たものなどの画像データの保存、管理を行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
【０００３】
一方、コンピュータなどの端末装置の低価格化およびネットワーク技術の進歩に伴って、インターネットが急激に普及する背景において、上述した様々なシステムの殆どはネットワークを介してサービスを提供している。
【０００４】
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせる構成や、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すＵＲＬなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせる構成などはあるが、サーバ装置と端末装置との間、サーバ装置とプリントアウトを行うプリンタとの間の画像データの受渡しは、ネットワークを介して行われている。
【０００５】
また、移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正処理、シャープネス補正処理などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すＵＲＬなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置も、ネットワークを介して携帯端末と画像データの受渡しを行うものである。
【０００６】
一方、ネットワークを介して画像データを受渡しする際に、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データを圧縮することが行われている。特に携帯電話機などの携帯端末の場合、撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるから、容量制限が厳しく、高圧縮されてから携帯電話機の記憶部に保存されるようになっている。
【０００７】
上述した背景および画像データを記憶する記録媒体の容量制限などの理由から、デジタルカメラによって被写体を撮像することによって得られた画像データや、フィルムをスキャナなどによって読み取ることにより得られた画像データは、通常、圧縮されて記録媒体に記録される。
【０００８】
すなわち、画像データに対して画質補正処理を行う画像処理装置に入力される画像データは、殆ど圧縮されており、画像処理装置は、圧縮された画像データに対して復元（伸長）処理を行ってから画質補正処理を施すようになっている。また、画質補正処理としては、階調補正処理、ホワイトバランス補正処理、濃度補正処理などがあり、そのうちの階調補正処理においては、階調を立てて硬調化することが通常行われている。
【０００９】
また、画像データを圧縮する形式としては、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等種々の形式が存在するが、近年、ＪＰＥＧ（ＪＰＥＧをベースとした、動画像の圧縮方式であるＭＰＥＧを含む。以下同じ）は、世界レベルでの標準方式として広く普及し、特にコンピュータやテレビジョンあるいはデジタルカメラなど画像を扱うあらゆるメディアで共通の方式として認められつつある。ＪＰＥＧ圧縮は、画像データのブロック毎の離散コサイン変換、量子化、符号化などの処理から構成される圧縮方式であるが、概していえば、画像データの周波数特性に基づいて、低周波成分に対して細かくサンプリングするが、人間に知覚されにくい高周波成分に対して比較的荒くサンプリングすることによって画像データを圧縮するようにしている。
【００１０】
【発明が解決しようとする課題】
しかし、ＪＰＥＧ圧縮を含む上述の画像圧縮処理は、程度の差はあるものの、圧縮率が高ければ高いほど画質を劣化させる傾向にあるものであり、復元された画像データにおいて、ブロック歪みや、アーチファクトなどが生じるのは、画像データのファイルサイズを小さくするために避けられない代償と考えられている。しかし、画像処理装置において、圧縮画像データに対して画質補正処理、例えば、階調補正処理を行う際に、圧縮率の低い比較的高画質の画像を再現可能な画像データに設定するような程度の階調硬調化処理を、圧縮率が高い画像データに対して施すと、画像、特に画像の高周波成分の部分にブロック歪みがより目立ってしまい、画質を一層劣化させてしまうという問題がある。
【００１１】
ホワイトバランス補正処理、濃度補正処理などの画質補正処理においても、同様の問題が存在する。
【００１２】
本発明は、上記事情に鑑みなされたものであり、ＪＰＥＧなどの圧縮画像データを復元することにより取得した復元画像データに対して画質補正を行う際に、画質劣化を軽減することができる画像処理方法および装置を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明の第１の画像処理方法は、圧縮画像データを復元することにより得られる復元画像データに対して画質補正処理を行う画像処理方法であって、
前記復元画像データを低周波成分と低周波成分以外の他の成分に分離し、
前記低周波成分に対して前記画質補正処理を行って補正済低周波成分を得、
該補正済低周波成分と前記他の成分とを合成することを特徴とするものである。
【００１４】
ここで、「低周波成分以外の他の成分」は、１つの成分に限られるものではなく、例えば、１つの高周波成分であってもよいし、「高周波成分」と「中周波成分」のように２つまたは２つ以上に細かく分けられた成分であってもよい。
【００１５】
また、本発明における画質補正処理は、階調補正処理、濃度補正処理、ホワイトバランス補正処理のうちいずれか１つまたは複数の組み合わせとすることができるが、階調補正処理が硬調化処理であるとき、ブロック歪みなどの画質劣化が最も顕著に現れるので、本発明の第１の画像処理方法を復元画像データに対して階調補正処理を行う画質補正処理に適用することによって、ブロック歪みなどの防止に最も効果を得ることができる。
【００１６】
本発明の第１の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対して画質補正処理を行う画像処理装置であって、
前記復元画像データを低周波成分と低周波成分以外の他の成分に分離する分離手段と、
前記低周波成分に対して前記画質補正処理を行って補正済低周波成分を得る補正手段と、
前記補正済低周波成分と前記他の成分とを合成する合成手段とを備えてなるものであることを特徴とするものである。
【００１７】
本発明の第２の画像処理方法は、圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理方法であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定し、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記低周波成分以外の他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行うことを特徴とするものである。
【００１８】
本発明の第２の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理装置であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定する階調補正種類決定手段と、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行う処理手段とからなることを特徴とするものである。
【００１９】
【発明の効果】
本発明の第１の画像処理方法および画像処理装置によれば、人間の知覚が低周波成分に対して敏感で、低周波成分以外のほかの成分に対してそれほど敏感ではないことを利用し、ＪＰＥＧなどの形式で圧縮処理された圧縮画像データを復元して得た復元画像データに対して画質補正処理を施す際に、復元画像データから低周波成分と他の成分とに分離し、人間の視覚が敏感な低周波成分のみに対して画質補正処理を行ってから、補正済の低周波成分と補正処理されていない他の成分とを合成するようにしているので、ブロック歪み成分が含まれる高周波成分は補正せず、低周波成分にのみホワイトバランス補正、濃度補正、階調補正などの画質補正処理がされるので、処理済の画像の画質向上を図ると共に、ブロック歪み成分が増幅するのを抑制することができる。
【００２０】
本発明の第２の画像処理方法および画像処理装置によれば、ＪＰＥＧなどの形式で圧縮処理された画像データを復元して得た復元画像データに対して階調補正処理を施す際に、硬調化処理がブロック歪みを強調することに着目し、復元画像データに対して硬調化処理を行うとき、前述の第１の画像処理方法および画像処理装置と同様に、低周波成分と他の成分とを分離し、低周波成分のみに対して硬調化処理を行って得た補正済低周波成分と他の成分とを合成し、復元画像データに対して軟調化処理を行うとき、復元画像データ全体に対して軟調化処理を行うようにしているので、硬調化処理を行う際のブロック歪みの強調に起因する画質劣化を抑制すると共に、ブロック歪みなどを強調しない軟調化処理を行うとき、成分の分離などを行わないので、処理時間を短縮することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２２】
図１は、本発明の画像処理装置の実施形態となる画質補正装置Ａの構成を示す概略ブロック図である。図示のように、本実施形態の画質補正装置Ａは、ユーザがデジタルカメラなどにより取得した画像データに対して画質補正処理を施してプリント出力するシステムに適用されるものであり、圧縮画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部１０と、圧縮画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部１２と、復元画像データＳ１を低周波成分Ｓｌと高周波成分Ｙｈとに分離する分離部１４と、低周波成分Ｓｌに対してホワイトバランス補正、濃度補正、階調補正を施して補正済低周波成分Ｓｌ３を得る第１の画質補正部２０と、補正済低周波成分Ｓｌ３および高周波成分Ｙｈとを合成して画像データＳ４を得る合成部３０と、画像データＳ４に対してシャープネス補正処理を施す、第２の画質補正部となるシャープネス補正部３４と、シャープネス補正部３４によりシャープネス補正処理をして得た画像データＳ５をプリンタなどの再生装置に出力するための出力部３６とからなる。なお、第１の画質補正部２０は、ホワイトバランス補正、濃度補正、階調補正を夫々行うホワイトバランス補正部２２と、濃度補正部２４と、階調補正部２６とを備えてなるものである。
【００２３】
圧縮画像データＳ０は例えばデジタルカメラにより被写体を撮像して得たものであり、ＪＰＥＧ形式で圧縮されてメモリカードなどの記録媒体１に記録されて保管されるものである。
【００２４】
分離部１４は、下記のように復元画像データＳ１（Ｒ１、Ｇ１、Ｂ１）を低周波成分Ｓｌ（Ｒｌ１、Ｇｌ１、Ｂｌ１）と高周波成分Ｙｈとに分離する。
【００２５】
分離部１４は、まず、復元画像データＳ１のＲＧＢ値を輝度値Ｙ１に変換し、輝度値Ｙ１に対して下記の式（１）と式（２）に従ってローパスフィルタＡを適用してアンシャープマスキング輝度値Ｙ１ｕｓを取得する。アンシャープマスキングＹｕｓを用いて、分離部１４は次に式（３）に従って復元画像データＳ１を低周波成分Ｓｌ（Ｒｌ，Ｇｌ，Ｂｌ）と高周波成分Ｙｈとに分離する。
【００２６】
【数１】
【数２】
【数３】
第１の画質補正部２０を構成するホワイトバランス補正部２２、濃度補正部２４、階調補正部２６は、夫々ホワイトバランス補正処理、濃度補正処理、階調補正処理を行うものであり、以下夫々の動作について説明する。
【００２７】
ホワイトバランス補正部２２は、下記の式（４）に従って、ホワイトバランス補正値ΔＲ、ΔＢを算出すると共に、これらの補正値を用いて式（５）に従って低周波成分Ｓｌ（Ｒｌ，Ｇｌ，Ｂｌ）に対してホワイトバランス補正を行ってホワイトバランス補正済画像データＳｌ１（Ｒｌ１，Ｇｌ１，Ｂｌ１）を得る。
【００２８】
【数４】
【数５】
濃度補正部２４は、低周波成分Ｓｌの各画素のＲＧＢ値の平均値（以下ＲＧＢ平均値という）Ｗｌを算出すると共に、下記の式（６）に従って低周波成分Ｓｌに対する濃度補正値ΔＤを求め、式（７）に従って濃度補正を行って濃度補正済画像データＳｌ２（Ｒｌ２，Ｇｌ２，Ｂｌ２）を得る。
【００２９】
【数６】
【数７】
なお、式（６）における定数Ｗｍｉｄは、画像データのビット数と関連した定数であり、８ビットの画像データの場合、１２８とすることができる。
【００３０】
階調補正部２６は、濃度補正部２４により得られた各画素のＲＧＢ平均値Ｗｌの最大値と最小値の差を低周波成分Ｓｌにより表される画像のコントラストＣとし、このコントラストＣおよび予め設定された好ましいコントラストＣｓを用いて下記の式（８）に従って階調補正倍率γを算出する。
【００３１】
γ＝Ｃｓ／Ｃ （８）
但し、Ｃ：コントラスト
Ｃｓ：予め設定された好ましいコントラスト
次に階調補正部２６は、下記の式（９）に従って濃度補正部２４により得られた濃度補正済画像データＳｌ２のＲ，Ｇ，Ｂ成分に対して夫々階調補正を行って補正済低周波成分Ｓｌ３を得る。
【００３２】
Ｒｌ３＝γ×（Ｒｌ２−Ｙｓ）＋Ｙｓ
Ｇｌ３＝γ×（Ｇｌ２−Ｙｓ）＋Ｙｓ （９）
Ｂｌ３＝γ×（Ｂｌ２−Ｙｓ）＋Ｙｓ
但し、Ｙｓ：基準となる輝度値
合成部３０は、下記の式（１０）に従って第１の画質補正部２０により得られた補正済低周波成分Ｓｌ３と、分離部１４により得られた高周波成分Ｙｈとを合成して、画像データＳ４（Ｒ４，Ｇ４，Ｂ４）を得る。
【００３３】
Ｒ４＝Ｒｌ３＋Ｙｈ
Ｇ４＝Ｇｌ３＋Ｙｈ （１０）
Ｂ４＝Ｂｌ３＋Ｙｈ
シャープネス補正部３４は、合成部３０により得られた画像データＳ４に対してシャープネス補正処理を行って画像データＳ５を得るものである。シャープネス補正処理の方式は様々あるが、例えば画像データに含まれる所定の空間周波数成分に作用させて、ノイズを抑制したり、強調したりするものがある。通常、シャープネス処理は、粒状（ノイズ）を抑制する処理以外に、画像の輪郭のボケを抑制する鮮鋭度強調処理なども含まれるものであり、鮮鋭度強調処理によれば、画像の鮮鋭度は向上する反面、画像の粒状も強調されてざらつき感が残り、粒状を抑制する処理によれば、画像の粒状は抑制されてざらつき感を低減できる反面、画像の鮮鋭度が低下するという問題がある。本実施形態の画像処理装置におけるシャープネス補正部３４は、粒状度と鮮鋭度を夫々独立にして制御することのできるコントラスト依存ＵＳＭ（アンシャープマスキング）処理方式を用いてシャープネス補正処理を行うものである。すなわち、画像データに含まれる周波数成分を高周波数成分と低周波数成分とに分け、コントラストに依存して高周波成分を調整して、粒状度と鮮鋭度を夫々独立に制御するものである。一般に、粒状成分はコントラストが低く、エッジ成分はコントラストが高いので、コントラスト依存ＵＳＭ処理方式によるシャープネス補正処理は、コントラストの高い領域と低い領域に対して、異なる高周波成分の強調度（シャープネスゲイン）を用いることによって、粒状度と鮮鋭度を独立して制御するようにするものである。以下、シャープネス補正部３４の動作について具体的に説明する。
【００３４】
シャープネス補正部３４は、まず、合成部３０により得られた画像データＳ４の画素毎のＲＧＢ値を輝度値Ｙ４に変換し、下記の式（１１）に従って、輝度値Ｙ４に対してローパスフィルタＡ’を適用してアンシャープマスキング輝度値Ｙ４ｕｓを得る。
【００３５】
【数８】
次いでシャープネス補正部３４は、画像データＳ４の画素毎に輝度値Ｙ４とアンシャープマスキング輝度値Ｙ４ｕｓとの差（Ｙ４―Ｙ４ｕｓ）を算出して画像データＳ４の各画素のコントラストＣとし、コントラストＣに基づいてシャープネス補正処理のパラメータ、いわばシャープネスゲインを決定して、画像データＳ４に対してシャープネス補正を行う。上述したように、本実施形態におけるシャープネス補正部３４は、画像データのコントラストに依存してシャープネス処理を行うものであり、まず、図２に示すように、低コントラスト部（所定の低コントラスト閾値Ｃｌ以下のコントラストを有する部分）に対して固定のシャープネスゲインαｌを、高コントラスト部（所定の高コントラスト閾値Ｃｈ以上のコントラストを有する部分）に対して固定のシャープネスゲインαｈを、中間コントラスト部（ＣｌとＣｈとの間のコントラストを有する部分）に対しては、αｌとαｈとの間にコントラストに依存して直線的に変化するシャープネスゲインαを用いるように、コントラストＣに依存したシャープネスゲインαを決定する。決定されたシャープネスゲインを用いて、シャープネス補正部３４は、式（１２）に従って画像データＳ４に対してシャープネス補正を行って画像データＳ５（Ｒ５，Ｇ５，Ｂ５）を得る。
【００３６】
【数９】
図３は、本実施形態の画質補正装置Ａの動作を示すフローチャートである。図示のように、本実施形態の画質補正装置Ａは、まず、読出部１０により記録媒体１からＪＰＥＧ圧縮された画像データＳ０を読み出し（Ｓ２）、復元部１２によって復元処理を行って復元画像データＳ１を得る（Ｓ４）。分離部１４は、復元画像データＳ１を低周波成分Ｓｌと高周波成分Ｙｈとに分け（Ｓ６）、夫々第１の画質補正部２０と合成部３０に出力する（Ｓ６）。第１の画質補正部２０は、低周波成分Ｓ１に対してホワイトバランス補正処理、濃度補正処理、階調補正処理を施し、得られた補正済低周波成分Ｓｌ３を合成部３０に出力する（Ｓ８）。合成部３０は、第１の補正部により処理されて得た補正済低周波成分Ｓｌ３と高周波成分Ｙｈとを合成して画像データＳ４を得（Ｓ１０）、シャープネス補正部３４は、画像データＳ４に対してシャープネス補正処理を施して画像データＳ５を得る（Ｓ１２）。画像データＳ５は出力部３６によりプリンタに出力され、プリント画像として再生される（Ｓ１４）。
【００３７】
このように、本実施形態の画質補正装置Ａによれば、圧縮された画像データを復元して得た画像データに対して画質補正を行う際に、復元画像データＳ１を低周波成分Ｓｌと高周波成分Ｙｈとに分け、第１の画質補正部２０により低周波成分Ｓｌに対してホワイトバランス補正処理、濃度補正処理、階調補正処理を行って得た補正済低周波成分Ｓｌ３と高周波成分Ｙｈとを合成して画像データＳ４を得るようにしているので、ブロック歪み成分が含まれる高周波成分は補正せず、低周波成分にのみホワイトバランス補正、濃度補正、階調補正などの画質補正処理がされるので、処理済の画像の画質向上を図ると共に、ブロック歪み成分が増幅するのを抑制することができる。
【００３８】
図４は、本発明の画像処理装置の実施形態となる画質補正装置Ｂの構成を示すブロック図である。図示のように、本実施形態の画質補正装置Ｂは、ユーザがデジタルカメラなどにより取得した画像データに対して階調補正処理を施してプリント出力するシステムに適用されるものであり、圧縮画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部５０と、圧縮画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部５２と、復元画像データＳ１に対して硬調化処理を行うか軟調化処理を行うかを決定すると共に、硬調化処理を行う場合には復元画像データＳ１を後述する硬調化処理部５６に、軟調化処理を行う場合には復元画像データＳ１を後述する硬調化処理部５８に出力する階調補正種類決定部５４と、復元画像データＳ１対して硬調化処理を施して画像データＳ６を得る硬調化処理部５６と、復元画像データＳ１に対して軟調化処理を施して画像データＳ６を得る軟調化処理部５８と、硬調化処理部５６により得られた画像データＳ６または軟調化処理部５８により得られた画像データＳ７をプリンタに出力する出力部６０とからなるものである。
【００３９】
階調補正種類決定部５４は、復元画像データＳ１の全体のコントラストに基づいて階調補正の種類を決定するものである。まず、復元画像データＳ１の各画素のＲＧＢ値を輝度値Ｙ１に変換し、各々の画素の輝度値Ｙ１のうちの最大値と最小値との差を復元画像データＳ１のコントラストとする。復元画像データＳ１のコントラストが所定の閾値以上であれば、すなわち復元画像データＳ１が高コントラスト画像データであるとき、階調を寝かせる階調補正処理が望ましいので、復元画像データＳ１に対して行う階調補正処理を軟調化処理に決定し、復元画像データＳ１のコントラストが所定の閾値より小さければ、すなわち復元画像データＳ１が低コントラスト画像データであるとき、階調を立てる階調補正処理が望ましいので、復元画像データＳ１に対して行う階調補正処理を硬調化に決定する。
【００４０】
軟調化処理に決定された復元画像データＳ１は、軟調化処理部５８に出力され、軟調化処理部５８は、復元画像データＳ１全体に対して軟調化処理となる階調補正処理を施して出力部６０に出力する。
【００４１】
一方、硬調化処理に決定された復元画像データＳ１は、硬調化処理部５６に出力され、硬調化処理部５６は、復元画像データＳ１を低周波成分と高周波成分とに分離し、低周波成分のみに対して硬調化処理となる階調補正処理を施して階調補正済低周波成分を得、この階調補正済低周波成分と高周波成分とを合成して出出力部６０に出力する。なお、硬調化処理部５６において、復元画像データＳ１を低周波成分と高周波成分に分離する処理や、階調補正処理や、合成処理などは、前述した実施形態の画質補正装置Ａの分離部１４、階調補正部２６、合成部３０などと同様の処理であるので、ここで説明を省略する。
【００４２】
すなわち、本実施形態の画質補正装置Ｂにおいて、復元画像データに対して階調補正処理を行う際に、この復元画像データに行うべき階調補正の種類をまず決定し、軟調化処理に決定されれば、軟調化処理がブロック歪みなどを強調しないことを利用し、低周波成分と高周波成分との分離などの処理を行わず、直接復元画像データに対して軟調化処理となる階調補正処理を行い、硬調化処理に決定されたときにのみ、復元画像データを高周波成分と低周波成分に分離し、低周波成分のみに対して硬調化処理を施し、この硬調化処理により得られた階調補正済低周波成分と階調補正されていない高周波成分とを合成するようにしているので、画質補正装置Ａと同様な効果を得ることができると共に、軟調化処理を行う場合、分離、合成などの手間を省き、処理時間の短縮を図ることができる。
【００４３】
上述において、本発明の画像処理装置の望ましい実施形態について説明したが、本発明の画像処理装置は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、各々の補正処理の態様、順番など様々な変更、増減を加えることができる。
【００４４】
例えば、上述した画質補正装置Ａは、復元画像データＳ１に対して階調補正処理、ホワイトバランス処理、濃度補正処理を行うようにしているが、この３つのうちの１つまたは任意の２つの組み合わせだけを行うようにしてもよい。
【００４５】
また、画質補正装置Ａにおいて、合成部３０により得た画像データ３０に対してシャープネス補正を行うようにしている。こうすることによって、分離部１４とシャープネス補正部３４は高周波成分を取得する際に夫々異なるローパスフィルタ（ローパスフィルタＡとローパスフィルタＡ’）を適用し、異なる帯域の高周波成分を取得することができるので、より微細な調整を可能とする利点があるが、例えば、分離部１４により得られた高周波成分に対してシャープネス処理を行ってから第１の画質補正部２０により得られた画像データ（第１の画質補正部２０により補正処理された低周波成分）とを合成するようにしてもよく、この場合、シャープネス処理を行う際に再度高周波成分を取得する必要がないので、処理時間の短縮を図ることができる。
【００４６】
また、上述した実施形態の画質補正装置Ａおよび画質補正装置Ｂにおいて、高周波成分を取得する際にローパスフィルタを適用したが、ブロック歪みなどをカットするのに有効なフィルタであればよく、例えばサイズの異なるローパスフィルタや、エッジを保存する平滑化フィルタとして知られるメディアンフィルタを用いてもよい。
【００４７】
また、上述した実施形態においては、圧縮画像データとしてＪＰＥＧ形式で圧縮された画像データとしたが、本発明の画像処理装置はＪＰＥＧの他の圧縮方式で圧縮された画像データを復元して得た復元画像データに対して画質補正を行う装置としても適用することができる。
【００４８】
また、上述した実施形態の画像処理装置は、処理済みの画像データがプリンタに出力されるシステムに適用されているが、処理済みの画像データを再圧縮してネットワークを介して送信したり、ハードディスクなどの記憶装置に保存したりするなどのシステムにも適用することができる。
【００４９】
勿論、この画像処理装置はネットワークを介して受信した圧縮画像データに対して画質補正処理を行うシステムにも適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態となる画質補正装置Ａの構成を示すブロック図
【図２】図１に示す画質補正装置Ａのシャープネス補正部３４の動作を説明するための図
【図３】図１に示す画質補正装置Ａの動作を示すフローチャート
【図４】本発明の実施形態となる画質補正装置Ｂの構成を示すブロック図
【符号の説明】
１ 記録媒体
１０，５０ 読出部
１２，５２ 復元部
１４ 分離部
２０ 第１の補正部
２２ ホワイトバランス補正部
２４ 濃度補正部
２６ 階調補正部
３０ 合成部
３４ シャープネス補正部
３６，６０ 出力部
５４ 階調補正種類決定部
５６ 硬調化処理部
５８ 軟調化処理部
Ｓ０ 圧縮画像データ
Ｓｌ 低周波成分
Ｙｈ 高周波成分
γ 階調補正倍率
α シャープネスゲイン
【発明の属する技術分野】
本発明は、圧縮された画像データを復元することにより得られる復元画像データに対して画質補正処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
近年、デジタル画像データ（以下略して画像データという）に対してサービスを提供する様々なシステムが出現している。例えば、ネガフィルムをスキャナでスキャンして得たもの、デジタルカメラにより撮影して得たものなどの画像データの保存、管理を行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
【０００３】
一方、コンピュータなどの端末装置の低価格化およびネットワーク技術の進歩に伴って、インターネットが急激に普及する背景において、上述した様々なシステムの殆どはネットワークを介してサービスを提供している。
【０００４】
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせる構成や、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すＵＲＬなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせる構成などはあるが、サーバ装置と端末装置との間、サーバ装置とプリントアウトを行うプリンタとの間の画像データの受渡しは、ネットワークを介して行われている。
【０００５】
また、移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正処理、シャープネス補正処理などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すＵＲＬなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置も、ネットワークを介して携帯端末と画像データの受渡しを行うものである。
【０００６】
一方、ネットワークを介して画像データを受渡しする際に、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データを圧縮することが行われている。特に携帯電話機などの携帯端末の場合、撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるから、容量制限が厳しく、高圧縮されてから携帯電話機の記憶部に保存されるようになっている。
【０００７】
上述した背景および画像データを記憶する記録媒体の容量制限などの理由から、デジタルカメラによって被写体を撮像することによって得られた画像データや、フィルムをスキャナなどによって読み取ることにより得られた画像データは、通常、圧縮されて記録媒体に記録される。
【０００８】
すなわち、画像データに対して画質補正処理を行う画像処理装置に入力される画像データは、殆ど圧縮されており、画像処理装置は、圧縮された画像データに対して復元（伸長）処理を行ってから画質補正処理を施すようになっている。また、画質補正処理としては、階調補正処理、ホワイトバランス補正処理、濃度補正処理などがあり、そのうちの階調補正処理においては、階調を立てて硬調化することが通常行われている。
【０００９】
また、画像データを圧縮する形式としては、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等種々の形式が存在するが、近年、ＪＰＥＧ（ＪＰＥＧをベースとした、動画像の圧縮方式であるＭＰＥＧを含む。以下同じ）は、世界レベルでの標準方式として広く普及し、特にコンピュータやテレビジョンあるいはデジタルカメラなど画像を扱うあらゆるメディアで共通の方式として認められつつある。ＪＰＥＧ圧縮は、画像データのブロック毎の離散コサイン変換、量子化、符号化などの処理から構成される圧縮方式であるが、概していえば、画像データの周波数特性に基づいて、低周波成分に対して細かくサンプリングするが、人間に知覚されにくい高周波成分に対して比較的荒くサンプリングすることによって画像データを圧縮するようにしている。
【００１０】
【発明が解決しようとする課題】
しかし、ＪＰＥＧ圧縮を含む上述の画像圧縮処理は、程度の差はあるものの、圧縮率が高ければ高いほど画質を劣化させる傾向にあるものであり、復元された画像データにおいて、ブロック歪みや、アーチファクトなどが生じるのは、画像データのファイルサイズを小さくするために避けられない代償と考えられている。しかし、画像処理装置において、圧縮画像データに対して画質補正処理、例えば、階調補正処理を行う際に、圧縮率の低い比較的高画質の画像を再現可能な画像データに設定するような程度の階調硬調化処理を、圧縮率が高い画像データに対して施すと、画像、特に画像の高周波成分の部分にブロック歪みがより目立ってしまい、画質を一層劣化させてしまうという問題がある。
【００１１】
ホワイトバランス補正処理、濃度補正処理などの画質補正処理においても、同様の問題が存在する。
【００１２】
本発明は、上記事情に鑑みなされたものであり、ＪＰＥＧなどの圧縮画像データを復元することにより取得した復元画像データに対して画質補正を行う際に、画質劣化を軽減することができる画像処理方法および装置を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明の第１の画像処理方法は、圧縮画像データを復元することにより得られる復元画像データに対して画質補正処理を行う画像処理方法であって、
前記復元画像データを低周波成分と低周波成分以外の他の成分に分離し、
前記低周波成分に対して前記画質補正処理を行って補正済低周波成分を得、
該補正済低周波成分と前記他の成分とを合成することを特徴とするものである。
【００１４】
ここで、「低周波成分以外の他の成分」は、１つの成分に限られるものではなく、例えば、１つの高周波成分であってもよいし、「高周波成分」と「中周波成分」のように２つまたは２つ以上に細かく分けられた成分であってもよい。
【００１５】
また、本発明における画質補正処理は、階調補正処理、濃度補正処理、ホワイトバランス補正処理のうちいずれか１つまたは複数の組み合わせとすることができるが、階調補正処理が硬調化処理であるとき、ブロック歪みなどの画質劣化が最も顕著に現れるので、本発明の第１の画像処理方法を復元画像データに対して階調補正処理を行う画質補正処理に適用することによって、ブロック歪みなどの防止に最も効果を得ることができる。
【００１６】
本発明の第１の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対して画質補正処理を行う画像処理装置であって、
前記復元画像データを低周波成分と低周波成分以外の他の成分に分離する分離手段と、
前記低周波成分に対して前記画質補正処理を行って補正済低周波成分を得る補正手段と、
前記補正済低周波成分と前記他の成分とを合成する合成手段とを備えてなるものであることを特徴とするものである。
【００１７】
本発明の第２の画像処理方法は、圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理方法であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定し、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記低周波成分以外の他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行うことを特徴とするものである。
【００１８】
本発明の第２の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理装置であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定する階調補正種類決定手段と、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行う処理手段とからなることを特徴とするものである。
【００１９】
【発明の効果】
本発明の第１の画像処理方法および画像処理装置によれば、人間の知覚が低周波成分に対して敏感で、低周波成分以外のほかの成分に対してそれほど敏感ではないことを利用し、ＪＰＥＧなどの形式で圧縮処理された圧縮画像データを復元して得た復元画像データに対して画質補正処理を施す際に、復元画像データから低周波成分と他の成分とに分離し、人間の視覚が敏感な低周波成分のみに対して画質補正処理を行ってから、補正済の低周波成分と補正処理されていない他の成分とを合成するようにしているので、ブロック歪み成分が含まれる高周波成分は補正せず、低周波成分にのみホワイトバランス補正、濃度補正、階調補正などの画質補正処理がされるので、処理済の画像の画質向上を図ると共に、ブロック歪み成分が増幅するのを抑制することができる。
【００２０】
本発明の第２の画像処理方法および画像処理装置によれば、ＪＰＥＧなどの形式で圧縮処理された画像データを復元して得た復元画像データに対して階調補正処理を施す際に、硬調化処理がブロック歪みを強調することに着目し、復元画像データに対して硬調化処理を行うとき、前述の第１の画像処理方法および画像処理装置と同様に、低周波成分と他の成分とを分離し、低周波成分のみに対して硬調化処理を行って得た補正済低周波成分と他の成分とを合成し、復元画像データに対して軟調化処理を行うとき、復元画像データ全体に対して軟調化処理を行うようにしているので、硬調化処理を行う際のブロック歪みの強調に起因する画質劣化を抑制すると共に、ブロック歪みなどを強調しない軟調化処理を行うとき、成分の分離などを行わないので、処理時間を短縮することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２２】
図１は、本発明の画像処理装置の実施形態となる画質補正装置Ａの構成を示す概略ブロック図である。図示のように、本実施形態の画質補正装置Ａは、ユーザがデジタルカメラなどにより取得した画像データに対して画質補正処理を施してプリント出力するシステムに適用されるものであり、圧縮画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部１０と、圧縮画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部１２と、復元画像データＳ１を低周波成分Ｓｌと高周波成分Ｙｈとに分離する分離部１４と、低周波成分Ｓｌに対してホワイトバランス補正、濃度補正、階調補正を施して補正済低周波成分Ｓｌ３を得る第１の画質補正部２０と、補正済低周波成分Ｓｌ３および高周波成分Ｙｈとを合成して画像データＳ４を得る合成部３０と、画像データＳ４に対してシャープネス補正処理を施す、第２の画質補正部となるシャープネス補正部３４と、シャープネス補正部３４によりシャープネス補正処理をして得た画像データＳ５をプリンタなどの再生装置に出力するための出力部３６とからなる。なお、第１の画質補正部２０は、ホワイトバランス補正、濃度補正、階調補正を夫々行うホワイトバランス補正部２２と、濃度補正部２４と、階調補正部２６とを備えてなるものである。
【００２３】
圧縮画像データＳ０は例えばデジタルカメラにより被写体を撮像して得たものであり、ＪＰＥＧ形式で圧縮されてメモリカードなどの記録媒体１に記録されて保管されるものである。
【００２４】
分離部１４は、下記のように復元画像データＳ１（Ｒ１、Ｇ１、Ｂ１）を低周波成分Ｓｌ（Ｒｌ１、Ｇｌ１、Ｂｌ１）と高周波成分Ｙｈとに分離する。
【００２５】
分離部１４は、まず、復元画像データＳ１のＲＧＢ値を輝度値Ｙ１に変換し、輝度値Ｙ１に対して下記の式（１）と式（２）に従ってローパスフィルタＡを適用してアンシャープマスキング輝度値Ｙ１ｕｓを取得する。アンシャープマスキングＹｕｓを用いて、分離部１４は次に式（３）に従って復元画像データＳ１を低周波成分Ｓｌ（Ｒｌ，Ｇｌ，Ｂｌ）と高周波成分Ｙｈとに分離する。
【００２６】
【数１】
【００２７】
ホワイトバランス補正部２２は、下記の式（４）に従って、ホワイトバランス補正値ΔＲ、ΔＢを算出すると共に、これらの補正値を用いて式（５）に従って低周波成分Ｓｌ（Ｒｌ，Ｇｌ，Ｂｌ）に対してホワイトバランス補正を行ってホワイトバランス補正済画像データＳｌ１（Ｒｌ１，Ｇｌ１，Ｂｌ１）を得る。
【００２８】
【数４】
【００２９】
【数６】
【００３０】
階調補正部２６は、濃度補正部２４により得られた各画素のＲＧＢ平均値Ｗｌの最大値と最小値の差を低周波成分Ｓｌにより表される画像のコントラストＣとし、このコントラストＣおよび予め設定された好ましいコントラストＣｓを用いて下記の式（８）に従って階調補正倍率γを算出する。
【００３１】
γ＝Ｃｓ／Ｃ （８）
但し、Ｃ：コントラスト
Ｃｓ：予め設定された好ましいコントラスト
次に階調補正部２６は、下記の式（９）に従って濃度補正部２４により得られた濃度補正済画像データＳｌ２のＲ，Ｇ，Ｂ成分に対して夫々階調補正を行って補正済低周波成分Ｓｌ３を得る。
【００３２】
Ｒｌ３＝γ×（Ｒｌ２−Ｙｓ）＋Ｙｓ
Ｇｌ３＝γ×（Ｇｌ２−Ｙｓ）＋Ｙｓ （９）
Ｂｌ３＝γ×（Ｂｌ２−Ｙｓ）＋Ｙｓ
但し、Ｙｓ：基準となる輝度値
合成部３０は、下記の式（１０）に従って第１の画質補正部２０により得られた補正済低周波成分Ｓｌ３と、分離部１４により得られた高周波成分Ｙｈとを合成して、画像データＳ４（Ｒ４，Ｇ４，Ｂ４）を得る。
【００３３】
Ｒ４＝Ｒｌ３＋Ｙｈ
Ｇ４＝Ｇｌ３＋Ｙｈ （１０）
Ｂ４＝Ｂｌ３＋Ｙｈ
シャープネス補正部３４は、合成部３０により得られた画像データＳ４に対してシャープネス補正処理を行って画像データＳ５を得るものである。シャープネス補正処理の方式は様々あるが、例えば画像データに含まれる所定の空間周波数成分に作用させて、ノイズを抑制したり、強調したりするものがある。通常、シャープネス処理は、粒状（ノイズ）を抑制する処理以外に、画像の輪郭のボケを抑制する鮮鋭度強調処理なども含まれるものであり、鮮鋭度強調処理によれば、画像の鮮鋭度は向上する反面、画像の粒状も強調されてざらつき感が残り、粒状を抑制する処理によれば、画像の粒状は抑制されてざらつき感を低減できる反面、画像の鮮鋭度が低下するという問題がある。本実施形態の画像処理装置におけるシャープネス補正部３４は、粒状度と鮮鋭度を夫々独立にして制御することのできるコントラスト依存ＵＳＭ（アンシャープマスキング）処理方式を用いてシャープネス補正処理を行うものである。すなわち、画像データに含まれる周波数成分を高周波数成分と低周波数成分とに分け、コントラストに依存して高周波成分を調整して、粒状度と鮮鋭度を夫々独立に制御するものである。一般に、粒状成分はコントラストが低く、エッジ成分はコントラストが高いので、コントラスト依存ＵＳＭ処理方式によるシャープネス補正処理は、コントラストの高い領域と低い領域に対して、異なる高周波成分の強調度（シャープネスゲイン）を用いることによって、粒状度と鮮鋭度を独立して制御するようにするものである。以下、シャープネス補正部３４の動作について具体的に説明する。
【００３４】
シャープネス補正部３４は、まず、合成部３０により得られた画像データＳ４の画素毎のＲＧＢ値を輝度値Ｙ４に変換し、下記の式（１１）に従って、輝度値Ｙ４に対してローパスフィルタＡ’を適用してアンシャープマスキング輝度値Ｙ４ｕｓを得る。
【００３５】
【数８】
【００３６】
【数９】
【００３７】
このように、本実施形態の画質補正装置Ａによれば、圧縮された画像データを復元して得た画像データに対して画質補正を行う際に、復元画像データＳ１を低周波成分Ｓｌと高周波成分Ｙｈとに分け、第１の画質補正部２０により低周波成分Ｓｌに対してホワイトバランス補正処理、濃度補正処理、階調補正処理を行って得た補正済低周波成分Ｓｌ３と高周波成分Ｙｈとを合成して画像データＳ４を得るようにしているので、ブロック歪み成分が含まれる高周波成分は補正せず、低周波成分にのみホワイトバランス補正、濃度補正、階調補正などの画質補正処理がされるので、処理済の画像の画質向上を図ると共に、ブロック歪み成分が増幅するのを抑制することができる。
【００３８】
図４は、本発明の画像処理装置の実施形態となる画質補正装置Ｂの構成を示すブロック図である。図示のように、本実施形態の画質補正装置Ｂは、ユーザがデジタルカメラなどにより取得した画像データに対して階調補正処理を施してプリント出力するシステムに適用されるものであり、圧縮画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部５０と、圧縮画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部５２と、復元画像データＳ１に対して硬調化処理を行うか軟調化処理を行うかを決定すると共に、硬調化処理を行う場合には復元画像データＳ１を後述する硬調化処理部５６に、軟調化処理を行う場合には復元画像データＳ１を後述する硬調化処理部５８に出力する階調補正種類決定部５４と、復元画像データＳ１対して硬調化処理を施して画像データＳ６を得る硬調化処理部５６と、復元画像データＳ１に対して軟調化処理を施して画像データＳ６を得る軟調化処理部５８と、硬調化処理部５６により得られた画像データＳ６または軟調化処理部５８により得られた画像データＳ７をプリンタに出力する出力部６０とからなるものである。
【００３９】
階調補正種類決定部５４は、復元画像データＳ１の全体のコントラストに基づいて階調補正の種類を決定するものである。まず、復元画像データＳ１の各画素のＲＧＢ値を輝度値Ｙ１に変換し、各々の画素の輝度値Ｙ１のうちの最大値と最小値との差を復元画像データＳ１のコントラストとする。復元画像データＳ１のコントラストが所定の閾値以上であれば、すなわち復元画像データＳ１が高コントラスト画像データであるとき、階調を寝かせる階調補正処理が望ましいので、復元画像データＳ１に対して行う階調補正処理を軟調化処理に決定し、復元画像データＳ１のコントラストが所定の閾値より小さければ、すなわち復元画像データＳ１が低コントラスト画像データであるとき、階調を立てる階調補正処理が望ましいので、復元画像データＳ１に対して行う階調補正処理を硬調化に決定する。
【００４０】
軟調化処理に決定された復元画像データＳ１は、軟調化処理部５８に出力され、軟調化処理部５８は、復元画像データＳ１全体に対して軟調化処理となる階調補正処理を施して出力部６０に出力する。
【００４１】
一方、硬調化処理に決定された復元画像データＳ１は、硬調化処理部５６に出力され、硬調化処理部５６は、復元画像データＳ１を低周波成分と高周波成分とに分離し、低周波成分のみに対して硬調化処理となる階調補正処理を施して階調補正済低周波成分を得、この階調補正済低周波成分と高周波成分とを合成して出出力部６０に出力する。なお、硬調化処理部５６において、復元画像データＳ１を低周波成分と高周波成分に分離する処理や、階調補正処理や、合成処理などは、前述した実施形態の画質補正装置Ａの分離部１４、階調補正部２６、合成部３０などと同様の処理であるので、ここで説明を省略する。
【００４２】
すなわち、本実施形態の画質補正装置Ｂにおいて、復元画像データに対して階調補正処理を行う際に、この復元画像データに行うべき階調補正の種類をまず決定し、軟調化処理に決定されれば、軟調化処理がブロック歪みなどを強調しないことを利用し、低周波成分と高周波成分との分離などの処理を行わず、直接復元画像データに対して軟調化処理となる階調補正処理を行い、硬調化処理に決定されたときにのみ、復元画像データを高周波成分と低周波成分に分離し、低周波成分のみに対して硬調化処理を施し、この硬調化処理により得られた階調補正済低周波成分と階調補正されていない高周波成分とを合成するようにしているので、画質補正装置Ａと同様な効果を得ることができると共に、軟調化処理を行う場合、分離、合成などの手間を省き、処理時間の短縮を図ることができる。
【００４３】
上述において、本発明の画像処理装置の望ましい実施形態について説明したが、本発明の画像処理装置は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、各々の補正処理の態様、順番など様々な変更、増減を加えることができる。
【００４４】
例えば、上述した画質補正装置Ａは、復元画像データＳ１に対して階調補正処理、ホワイトバランス処理、濃度補正処理を行うようにしているが、この３つのうちの１つまたは任意の２つの組み合わせだけを行うようにしてもよい。
【００４５】
また、画質補正装置Ａにおいて、合成部３０により得た画像データ３０に対してシャープネス補正を行うようにしている。こうすることによって、分離部１４とシャープネス補正部３４は高周波成分を取得する際に夫々異なるローパスフィルタ（ローパスフィルタＡとローパスフィルタＡ’）を適用し、異なる帯域の高周波成分を取得することができるので、より微細な調整を可能とする利点があるが、例えば、分離部１４により得られた高周波成分に対してシャープネス処理を行ってから第１の画質補正部２０により得られた画像データ（第１の画質補正部２０により補正処理された低周波成分）とを合成するようにしてもよく、この場合、シャープネス処理を行う際に再度高周波成分を取得する必要がないので、処理時間の短縮を図ることができる。
【００４６】
また、上述した実施形態の画質補正装置Ａおよび画質補正装置Ｂにおいて、高周波成分を取得する際にローパスフィルタを適用したが、ブロック歪みなどをカットするのに有効なフィルタであればよく、例えばサイズの異なるローパスフィルタや、エッジを保存する平滑化フィルタとして知られるメディアンフィルタを用いてもよい。
【００４７】
また、上述した実施形態においては、圧縮画像データとしてＪＰＥＧ形式で圧縮された画像データとしたが、本発明の画像処理装置はＪＰＥＧの他の圧縮方式で圧縮された画像データを復元して得た復元画像データに対して画質補正を行う装置としても適用することができる。
【００４８】
また、上述した実施形態の画像処理装置は、処理済みの画像データがプリンタに出力されるシステムに適用されているが、処理済みの画像データを再圧縮してネットワークを介して送信したり、ハードディスクなどの記憶装置に保存したりするなどのシステムにも適用することができる。
【００４９】
勿論、この画像処理装置はネットワークを介して受信した圧縮画像データに対して画質補正処理を行うシステムにも適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態となる画質補正装置Ａの構成を示すブロック図
【図２】図１に示す画質補正装置Ａのシャープネス補正部３４の動作を説明するための図
【図３】図１に示す画質補正装置Ａの動作を示すフローチャート
【図４】本発明の実施形態となる画質補正装置Ｂの構成を示すブロック図
【符号の説明】
１ 記録媒体
１０，５０ 読出部
１２，５２ 復元部
１４ 分離部
２０ 第１の補正部
２２ ホワイトバランス補正部
２４ 濃度補正部
２６ 階調補正部
３０ 合成部
３４ シャープネス補正部
３６，６０ 出力部
５４ 階調補正種類決定部
５６ 硬調化処理部
５８ 軟調化処理部
Ｓ０ 圧縮画像データ
Ｓｌ 低周波成分
Ｙｈ 高周波成分
γ 階調補正倍率
α シャープネスゲイン
Claims (2)
- 圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理方法であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定し、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記低周波成分以外の他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行うことを特徴とする画像処理方法。 - 圧縮画像データを復元することにより得られる復元画像データに対して階調補正処理を行う画像処理装置であって、
前記階調補正処理として硬調化処理を行うか軟調化処理を行うかを決定する階調補正種類決定手段と、
前記階調補正処理として硬調化処理を行うとき、前記復元画像データを低周波成分と他の成分に分離し、前記低周波成分に対して前記硬調化処理を行って補正済低周波成分を得、該補正済低周波成分と前記他の成分とを合成し、
前記階調補正処理として軟調化処理を行うとき、前記復元画像データ全体に対して前記軟調化処理を行う処理手段とからなることを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002184447A JP4133029B2 (ja) | 2002-06-25 | 2002-06-25 | 画像処理方法および装置 |
| US10/465,660 US7602538B2 (en) | 2002-06-25 | 2003-06-20 | Method and apparatus for image data processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002184447A JP4133029B2 (ja) | 2002-06-25 | 2002-06-25 | 画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004030142A JP2004030142A (ja) | 2004-01-29 |
| JP4133029B2 true JP4133029B2 (ja) | 2008-08-13 |
Family
ID=29728359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002184447A Expired - Fee Related JP4133029B2 (ja) | 2002-06-25 | 2002-06-25 | 画像処理方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7602538B2 (ja) |
| JP (1) | JP4133029B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060093203A1 (en) * | 2004-11-04 | 2006-05-04 | Rockwell Automation Technologies, Inc. | Attribute threshold evaluation scheme |
| JP4737663B2 (ja) * | 2005-02-21 | 2011-08-03 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
| US20070242153A1 (en) * | 2006-04-12 | 2007-10-18 | Bei Tang | Method and system for improving image region of interest contrast for object recognition |
| US8108211B2 (en) * | 2007-03-29 | 2012-01-31 | Sony Corporation | Method of and apparatus for analyzing noise in a signal processing system |
| US8711249B2 (en) * | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
| US8144985B2 (en) * | 2007-12-21 | 2012-03-27 | Sony Corporation | Method of high dynamic range compression with detail preservation and noise constraints |
| JP4575500B2 (ja) * | 2009-02-25 | 2010-11-04 | 株式会社東芝 | 映像信号処理装置及びその制御方法及びテレビジョン信号受信装置 |
| KR20110021107A (ko) * | 2009-08-25 | 2011-03-04 | 삼성전자주식회사 | 선명도 보정을 위한 영상처리장치 및 영상처리방법 |
| CN102339461A (zh) * | 2010-07-27 | 2012-02-01 | 夏普株式会社 | 图像增强方法和设备 |
| CN103279676B (zh) * | 2013-06-07 | 2016-08-31 | 河海大学 | 一种基于变量代换的电力***wlav抗差估计方法 |
| WO2015099683A1 (en) | 2013-12-23 | 2015-07-02 | Empire Technology Development, Llc | Suppression of real features in see-through display |
| CN110276734B (zh) * | 2019-06-24 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像畸变校正方法和装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5189511A (en) * | 1990-03-19 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for improving the color rendition of hardcopy images from electronic cameras |
| JPH05316377A (ja) * | 1992-05-11 | 1993-11-26 | Konica Corp | 画像処理装置 |
| JP3184309B2 (ja) | 1992-07-10 | 2001-07-09 | 松下電器産業株式会社 | 階調補正回路及び撮像装置 |
| US6690418B1 (en) * | 1995-12-26 | 2004-02-10 | Canon Kabushiki Kaisha | Image sensing apparatus image signal controller and method |
| US6343158B1 (en) * | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
| JPH10285409A (ja) | 1997-03-31 | 1998-10-23 | Ricoh Co Ltd | 画像データ処理装置 |
| JP3584389B2 (ja) * | 1998-03-25 | 2004-11-04 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
| US6640017B1 (en) * | 1999-05-26 | 2003-10-28 | Intel Corporation | Method and apparatus for adaptively sharpening an image |
| US6697534B1 (en) * | 1999-06-09 | 2004-02-24 | Intel Corporation | Method and apparatus for adaptively sharpening local image content of an image |
| JP4556276B2 (ja) * | 2000-03-23 | 2010-10-06 | ソニー株式会社 | 画像処理回路及び画像処理方法 |
| US7092122B2 (en) * | 2000-07-18 | 2006-08-15 | Fuji Photo Film Co., Ltd. | Image processing device and method |
| JP3745948B2 (ja) * | 2000-08-25 | 2006-02-15 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
| US7082218B2 (en) * | 2001-07-27 | 2006-07-25 | Hewlett-Packard Development Company, L.P. | Color correction of images |
| GB2408888B (en) * | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
| US7065257B2 (en) * | 2001-09-03 | 2006-06-20 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image processing method and apparatus |
| JP2003076985A (ja) * | 2001-09-06 | 2003-03-14 | Konica Corp | 画像処理方法及び装置 |
| JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
| US7092965B2 (en) * | 2002-07-09 | 2006-08-15 | Lightsurf Technologies, Inc. | System and method for improved compression of DCT compressed images |
| US7409083B2 (en) * | 2003-07-18 | 2008-08-05 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| GB2415566B (en) * | 2004-06-24 | 2006-09-20 | Hewlett Packard Development Co | Image processing |
| US20070038578A1 (en) * | 2005-08-10 | 2007-02-15 | Huizhuo Liu | Method and system for digital content distribution |
-
2002
- 2002-06-25 JP JP2002184447A patent/JP4133029B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-20 US US10/465,660 patent/US7602538B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20030235343A1 (en) | 2003-12-25 |
| US7602538B2 (en) | 2009-10-13 |
| JP2004030142A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4133029B2 (ja) | 画像処理方法および装置 | |
| JP5191224B2 (ja) | 画像処理装置 | |
| KR100630983B1 (ko) | 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치 | |
| JP2004127064A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
| JP2007336467A (ja) | 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法、そのコンピュータプログラム及び記録媒体 | |
| JP4217041B2 (ja) | フィルタ処理 | |
| JP4641784B2 (ja) | 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム | |
| JP4097587B2 (ja) | 画像処理装置および画像処理方法 | |
| US7613349B2 (en) | Image processing apparatus and method | |
| JP4156419B2 (ja) | 画像処理方法および装置並びにプログラム | |
| US20040190023A1 (en) | Image processing method, apparatus and program | |
| US20010026643A1 (en) | Image processing method and system, and storage medium | |
| JP3999091B2 (ja) | 画像補正処理装置及びプログラム | |
| US7657111B2 (en) | Apparatus and program for image processing for obtaining processed compressed moving image data | |
| JP2018019239A (ja) | 撮像装置及びその制御方法及びプログラム | |
| KR20060021665A (ko) | 이동단말기에서의 화면 선명도 조절 장치 및 방법 | |
| JP2001292449A (ja) | 画像処理装置、画像処理方法、及び記録媒体 | |
| JP6269431B2 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
| JP4064168B2 (ja) | 画像処理装置 | |
| JP3858528B2 (ja) | 電子カメラ、および画像処理プログラムを記録した記録媒体 | |
| JP4156416B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP4527439B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP2004032246A (ja) | 画像圧縮装置および画像復元装置 | |
| JP2004032245A (ja) | 画像処理装置 | |
| JP2004289524A (ja) | 画質評価方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4133029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |