JP2004297439A

JP2004297439A - 画像補正装置、方法及びプログラム

Info

Publication number: JP2004297439A
Application number: JP2003086953A
Authority: JP
Inventors: Yoshihiro Yamaguchi; 義弘山口
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2004-10-21
Anticipated expiration: 2023-03-27
Also published as: JP4057939B2

Abstract

【課題】ダイナミックレンジが非常に小さい画像の濃度等も適正に補正可能とする。
【解決手段】処理対象の画像データを画素単位で間引いて縮小画像データを生成し（１００）、Ｒ，Ｇ，Ｂ，Ｙ，Ｃｂ，Ｃｒのヒストグラムを生成し（１０２）た後に、カラーバランス補正量を求め（１０４）、画像中の主要部領域を抽出して濃度補正条件を求め（１０６〜１２０）、彩度補正量を求め（１２２）、これらから第１の補正条件を設定する（１２４）。また、Ｒ，Ｇ，Ｂのヒストグラムからハイライト点の濃度値を各々抽出し（１２６）、Ｙのヒストグラムからシャドー点の階調値を抽出し、これらから第２の補正条件を設定する（１３０）。そして、画像のダイナミックレンジを求め（１３２）、ダイナミックレンジに応じて設定した重み係数を用いて第１の補正条件と第２の補正条件の加重平均に相当する変換データを生成し（１３４）、生成した変換データを用いて３Ｄ−ＬＵＴによって処理対象の画像データを変換する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は画像補正装置、方法及びプログラムに係り、特に、画像の濃度及び色バランスを補正するための画像補正方法、該画像補正方法を適用可能な画像補正装置、及び、コンピュータを前記画像補正装置として機能させるためのプログラムに関する。
【０００２】
【従来の技術】
カメラやデジタルスチルカメラ（ＤＳＣ）等の撮影装置を用いて任意の被写体を撮影することで得られた画像の濃度や色バランスを補正するための補正方法としては、従来より種々の補正方法が提案されており、例えば補正対象の画像から標準濃度領域の平均濃度を算出すると共に、補正対象の画像から抽出した主要画像部分の平均濃度及び面積率を算出し、算出結果に基づいて補正対象の画像の代表濃度を算出し、算出した代表濃度が目標濃度となるように濃度補正曲線を定め、該濃度補正曲線に基づいて補正対象の画像の濃度を補正する技術が提案されている（例えば特許文献１を参照）。
【０００３】
【特許文献１】
特開２００２−１９９２２１号公報
【０００４】
【発明が解決しようとする課題】
上記技術は、例えば人物写真では人物の顔が最も注目される等のように、画像の観賞で注目されるのは一定の部分（主要画像部分）であることが殆どであるという事実に基づいており、上記技術を適用することで、大多数の画像については濃度等を適正に補正することができるが、上記技術は、極端な露出不足で撮影された画像等のように、ダイナミックレンジ（最大濃度と最小濃度の差）が非常に小さい画像の濃度等を適正に補正することが困難であるという欠点があった。
【０００５】
最近、写真プリントの作成等の写真処理をインターネット経由で依頼する依頼形態が普及してきているが、この依頼形態では、写真フィルムに撮影記録された画像の同時プリントが依頼される場合と同様に、依頼主としての顧客自身により画像の内容が確認されることなく写真処理が依頼されることも多く、写真処理が依頼された画像の中に、上記のようにダイナミックレンジが非常に小さい画像が混在していることも増えてきている。このため、ダイナミックレンジが非常に小さい画像についても濃度等を適正に補正できる補正方式の確立が求められるようになってきている。
【０００６】
本発明は上記事実を考慮して成されたもので、ダイナミックレンジが非常に小さい画像の濃度等も適正に補正可能な画像補正装置、画像補正方法及びプログラムを得ることが目的である。
【０００７】
【課題を解決するための手段】
本願発明者は、ダイナミックレンジが非常に小さい画像に対し、公知の種々の補正方法を適用して濃度等を補正し、補正結果を評価する実験を行った。その結果、ダイナミックレンジが非常に小さい画像に対しては、画像のハイライトに相当する階調値とシャドーに相当する階調値の差（すなわちダイナミックレンジ）が所定値となるように（元の画像よりも拡大されるように）濃度等を補正する補正方法を適用すれば、画像のダイナミックレンジが拡大されることで濃度等を適正に補正できるとの知見を得、本発明を成すに至った。
【０００８】
上記に基づき請求項１記載の発明に係る画像補正装置は、補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算する第１演算手段と、前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算する第２演算手段と、前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定する設定手段と、前記設定手段によって設定された重みに基づき、前記補正対象画像に対し、前記第１演算手段によって演算された第１の補正条件での補正と、前記第２演算手段によって演算された第２の補正条件での補正の加重平均に相当する補正を行う補正手段と、を含んで構成されている。
【０００９】
請求項１記載の発明に係る第１演算手段は、補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算する。これにより、ダイナミックレンジが非常に小さい一部の画像を除いた大多数の画像について濃度等を適正に補正できる補正条件（第１の補正条件）を得ることができる。また、請求項１記載の発明に係る第２演算手段は、補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように（例えば前記階調値の差が元の画像より拡大されるように）補正対象画像を補正するための第２の補正条件を演算する。これにより、ダイナミックレンジが非常に小さい画像について濃度等を適正に補正できる補正条件（第２の補正条件）を得ることができる。
【００１０】
また、請求項１記載の発明では、補正対象画像のダイナミックレンジに基づいて、第１の補正条件及び第２の補正条件に対する重みが設定手段によって設定される。なお、上記の重みは、例えば補正対象画像のダイナミックレンジが比較的大きい場合には第１の補正条件に対する重みが大きくなり、ダイナミックレンジが非常に小さい場合には第２の補正条件に対する重みが大きくなるように設定することができる。
【００１１】
そして、請求項１記載の発明に係る補正手段は、設定手段によって設定された重みに基づき、第１演算手段によって演算された第１の補正条件での補正と、第２演算手段によって演算された第２の補正条件での補正の加重平均に相当する補正を補正対象画像に対して行う。このように、請求項１記載の発明では、補正対象画像に対する補正の内容（第１の補正条件での補正と第２の補正条件での補正の比重）を、補正対象画像のダイナミックレンジに応じて変化させることができるので、ダイナミックレンジが非常に小さい画像の濃度等も適正に補正することが可能となる。
【００１２】
なお、請求項１記載の発明において、第１演算手段は、例えば請求項２に記載したように、補正対象画像のうち彩度が所定値以下の画素群の色座標上での分布に基づいて色バランスの補正条件を設定すると共に、認識した主要部領域の特徴量から求めた補正対象濃度が所定の目標濃度に変換されるように濃度の補正条件を設定し、第１の補正条件として、設定した補正条件で補正対象画像の色バランス及び濃度を補正する補正条件を演算するように構成することができる。これにより、補正対象画像が異種光源による照明下で撮影された画像である場合にも、補正対象画像の色バランスを適正に補正できる補正条件を得ることができ、第１の補正条件として、ダイナミックレンジが非常に小さい一部の画像を除いた大多数の画像の濃度や色バランスを適正に補正できる補正条件を得ることができる。
【００１３】
また、請求項１記載の発明において、第２演算手段は、例えば請求項３に記載したように、第２の補正条件として、補正対象画像における各色成分毎のハイライトに相当する階調値が各々第１の所定値になり、補正対象画像におけるシャドーに相当する階調値が第２の所定値となるように補正対象画像を補正する補正条件を演算するように構成することができる。これにより、補正対象画像が異種光源による照明下で撮影された画像である場合にも、補正対象画像の色バランスを適正に補正できる補正条件を得ることができ、第２の補正条件として、ダイナミックレンジが非常に小さい画像の濃度や色バランスを適正に補正できる補正条件を得ることができる。
【００１４】
また、請求項１記載の発明において、第１の補正条件及び第２の補正条件は補正演算の演算式等であってもよいが、第１の補正条件及び第２の補正条件が、補正対象画像を変換することで補正対象画像を補正するための変換条件である場合には、補正手段は、例えば請求項４に記載したように、第１の補正条件に相当する変換条件と第２の補正条件に相当する変換条件の加重平均に相当する変換条件を求め、該求めた変換条件に従って補正対象画像を変換することで、前記加重平均に相当する補正を行うように構成することができる。
【００１５】
また、請求項４記載の発明において、補正手段は３次元ルックアップテーブルを含んで構成することができ、この場合補正手段は、例えば請求項５に記載したように、求めた変換条件を前記３次元ルックアップテーブルにセットした後に補正対象画像のデータを入力することで補正を行うことができる。これにより、第１の補正条件での補正と第２の補正条件での補正の加重平均に相当する補正を簡単な処理によって実現することができる。
【００１６】
請求項６記載の発明に係る画像補正方法は、補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算し、且つ、前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算すると共に、前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定し、設定した重みに基づき、前記補正対象画像に対し、前記演算した第１の補正条件での補正と、前記演算した第２の補正条件での補正の加重平均に相当する補正を行うので、請求項１記載の発明と同様に、ダイナミックレンジが非常に小さい画像の濃度等も適正に補正することが可能となる。
【００１７】
請求項７記載の発明に係るプログラムは、コンピュータを、補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算する第１演算手段、前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算する第２演算手段、前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定する設定手段、前記設定手段によって設定された重みに基づき、前記補正対象画像に対し、前記第１演算手段によって演算された第１の補正条件での補正と、前記第２演算手段によって演算された第２の補正条件での補正の加重平均に相当する補正を行う補正手段として機能させる。
【００１８】
請求項７記載の発明に係るプログラムは、コンピュータ（例えばＤＳＣ等の撮影装置やその他の機器に内蔵されたコンピュータであってもよい）を、上記の第１演算手段、第２演算手段、設定手段及び補正手段として機能させるプログラムであるので、コンピュータが請求項７記載の発明に係るプログラムを実行することにより、コンピュータが請求項１に記載の画像補正装置として機能することになり、請求項１記載の発明と同様に、ダイナミックレンジが非常に小さい画像の濃度等も適正に補正することが可能となる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には本発明が適用されたカラープリンタ１０が示されている。カラープリンタ１０は、各感熱発色層を備えた長尺状のカラー感熱記録紙１２に画像を記録する構成であり、カラー感熱記録紙１２はロール状に巻かれた記録紙ロール１３として装置本体１１の内部にセットされる。
【００２０】
カラー感熱記録紙１２は一対の給紙ローラ１４によって挟持され、モータ１６の駆動力が伝達されて給紙ローラ１４が回転されることで下流側へ給紙される。給紙ローラ１４の下流側には、複数の発熱素子をライン状に配列した発熱素子アレイ１９が取り付けられたサーマルヘッド１８が配置されている。サーマルヘッド１８は回転軸２０を中心として回転可能とされており、図示しないモータの駆動力が伝達されることで、発熱素子アレイ１９がカラー感熱記録紙１２に圧着する記録位置（破線で示す位置）又はカラー感熱記録紙１２から離間する退避位置（実線で示す位置）へ移動される。
【００２１】
また、発熱素子アレイ１９に対向する部位にはプラテンローラ２２が配置されている。プラテンローラ２２はカラー感熱記録紙１２の搬送に応じて回転し、カラー感熱記録紙１２を支持することでカラー感熱記録紙１２と発熱素子アレイ１９との接触状態の安定性を向上させる。カラー感熱記録紙１２への画像記録時、サーマルヘッド１８は、プリントデータ（後述）に応じて発熱素子アレイ１９の各発熱素子を所定温度に発熱させ、カラー感熱記録紙１２の各感熱発色層を選択的に発色させる。
【００２２】
サーマルヘッド１８の下流側には、画像記録時にカラー感熱記録紙１２を搬送するための一対の搬送ローラ２６が配置されている。搬送ローラ２６はモータ１６の駆動力が伝達されて回転される。そして、カラー感熱記録紙１２は、給紙ローラ１４及び搬送ローラ２６により、記録紙ロール１３から引き出される給紙方向又は記録紙ロール１３に巻き戻される巻戻し方向に搬送される。
【００２３】
また、サーマルヘッド１８と搬送ローラ２６の間には定着装置２８が配置されている。定着装置２８は、イエロー用紫外線ランプ２９、マゼンダ用紫外線ランプ３０、及び、紫外線ランプ２９，３０から発せられた紫外線をカラー感熱記録紙１２へ向けて反射させるためのリフレクタ３１を備えている。紫外線ランプ２９，３０から発せられた紫外線により、カラー感熱記録紙１２の画像記録済みのイエロー感熱発色層及びマゼンダ感熱発色層は、再度加熱されても発色しないように定着される。
【００２４】
また、搬送ローラ２６の下流側にはプリント排出口３４が形成されており、プリント排出口３４と搬送ローラ２６の間には、カラー感熱記録紙１２を切断する切断装置３２が配置されている。切断装置３２で切断されたカラー感熱記録紙１２は、プリント排出口３４を介して装置本体１１の外部へ排出される。
【００２５】
次に、図２を参照してカラープリンタ１０の制御系の構成について説明する。カラープリンタ１０はその装置全体の動作を司るＣＰＵ６０及びＩ／Ｏ回路６２を備え、ＣＰＵ６０にはＲＡＭ８６及びＲＯＭ８８が接続されている。ＲＡＭ８６の記憶領域には、ＣＰＵ６０が各種の処理を行う際に一時的にデータを記憶するためのワーク領域等が形成されている。また、ＲＯＭ８８には後述する画像補正処理を行うための画像補正プログラムが記憶されている。なお、この画像補正プログラムは請求項７に記載のプログラムに対応している。
【００２６】
また、Ｉ／Ｏ回路６２にはデジタルスチルカメラ（ＤＳＣ）６４（の記録メディア）やコンピュータ６６が接続され、ＤＳＣ６４又はコンピュータ６６から画像データ（例えば各画素の色をＲ，Ｇ，Ｂ各８ビットで表す画像データ）が入力される。Ｉ／Ｏ回路６２にはフレームメモリ６８が接続されており、Ｉ／Ｏ回路６２に入力された画像データはフレームメモリ６８に記憶される。なお、Ｉ／Ｏ回路６２にはビデオ出力端子が設けられており、該ビデオ出力端子を介してＩ／Ｏ回路６２と接続されるディスプレイ７０には、ビデオ出力端子を介して出力された画像データ（ＮＴＳＣ方式のコンポジット信号）が表す画像が表示される。
【００２７】
また、フレームメモリ６８にはメモリコントローラ７２及びプリントデータ形成部７４に接続されている。フレームメモリ６８に記憶された画像データは、ＣＰＵ６０によって画像補正処理が行われることで補正された後に、ＣＰＵ６０によってメモリコントローラ７２が制御されることでフレームメモリ６８から読み出され、プリントデータ形成部７４へ出力される。プリントデータ形成部７４は、フレームメモリ６８から入力された画像データに基づき、発熱素子アレイ１９を駆動するプリントデータを生成する。プリントデータ形成部７４で生成されたプリントデータはヘッドドライバ７６に供給される。ヘッドドライバ７６は、入力されたプリントデータに応じて、発熱素子アレイ１９の各発熱素子を発熱させる。これにより、発熱素子アレイ１９の各発熱素子によってカラー感熱記録紙１２の各感熱発色層に画像が記録されることになる。
【００２８】
次に本実施形態の作用として、カラー感熱記録紙１２に記録すべき画像を表す画像データが、ＤＳＣ６４又はコンピュータ６６から入力されてフレームメモリ６８に記憶され、ＲＯＭ８８に記憶されている画像補正プログラムがＣＰＵ６０によって実行されることで実現される画像補正処理について、図３のフローチャートを参照して説明する。
【００２９】
ステップ１００では、フレームメモリ６８に記憶されている処理対象の画像データを読み出し、読み出した処理対象の画像データを画素単位で間引くことで、元の画像データが表す画像を縮小した画像（例えば１２８画素×９２画素、１６０画素×１２０画素程度のサムネイル画像）を表す縮小画像データを生成する。またステップ１０２では、ステップ１００で生成した縮小画像データからＲ，Ｇ，Ｂのヒストグラムを生成すると共に、縮小画像データを所定の演算式に従ってＹＣｂＣｒ表色系のデータへ変換し、変換によって得られたＹＣｂＣｒ表色系のデータＹ，Ｃｂ，ＣｒからＹ，Ｃｂ，Ｃｒのヒストグラムを生成する。
【００３０】
次のステップ１０４〜１２４では、本発明に係る第１の補正条件に相当する変換データを求める処理を行う。すなわち、ステップ１０４では、縮小画像データから得られたＹＣｂＣｒ表色系のデータＹ，Ｃｂ，Ｃｒに基づいてカラーバランス補正量を設定する。具体的には、まずＹＣｂＣｒ色空間上に、例として図４に示すようにＹ軸に沿って延びるグレイ検出ゾーンを設定する。図４の例では、グレイ検出ゾーンとして、各々楕円体状で中間輝度付近での半径が相違している２種類のグレイ検出ゾーン（グレイ検出ゾーン（内側）及びグレイ検出ゾーン（外側））を示している。
【００３１】
次に、縮小画像データから得られたデータＹ，Ｃｂ，Ｃｒに基づいて、縮小画像データ上の各画素のうち、ＹＣｂＣｒ色座標上での位置が各グレイ検出ゾーン内に位置している画素を抽出し、グレイ検出ゾーン（内側）内に位置している画素の色バランスＧｒａｙＩｎ＿Ｃｂ，ＧｒａｙＩｎ＿Ｃｒを求めると共に、グレイ検出ゾーン（内側）の外側に位置しておりかつグレイ検出ゾーン（外側）内に位置している画素の色バランスＧｒａｙＯｕｔ＿Ｃｂ，ＧｒａｙＯｕｔ＿Ｃｒを求める。そして、処理対象の画像のグレイバランスＧｒａｙ＿Ｃｂ，Ｇｒａｙ＿Ｃｒを次の（１）式に従って求める。
Ｇｒａｙ＿Ｃｂ＝（ＧｒａｙＩｎ＿Ｃｂ＋ＧｒａｙＯｕｔ＿Ｃｂ）／２
Ｇｒａｙ＿Ｃｒ＝（ＧｒａｙＩｎ＿Ｃｒ＋ＧｒａｙＯｕｔ＿Ｃｒ）／２ …（１）
なお、処理対象の画像のグレイバランスとして、上記のように各グレイ検出ゾーン内に位置している画素の色バランスの平均を求めることに代えて、各グレイ検出ゾーンに対して各々重みを付与し、各グレイ検出ゾーン内に位置している画素の色バランスの加重平均を求めるようにしてもよい。
【００３２】
また、カラーバランス補正量Ｃｂ＿ｏｆｆｓｅｔ，Ｃｒ＿ｏｆｆｓｅｔとしては、処理対象の画像のグレイバランスＧｒａｙ＿Ｃｂ，Ｇｒａｙ＿Ｃｒをそのまま用い、グレイバランスＧｒａｙ＿Ｃｂ，Ｇｒａｙ＿Ｃｒが各々０となるように設定してもよいが、処理対象の画像データがＤＳＣ６４から入力された画像データ（例えばＥＸＩＦ形式やその他の形式の画像ファイル）である場合、該画像データには撮影時の撮影条件を表す撮影情報が付加されているので、この撮影情報のうち撮影輝度ＢＶ（ＢｒｉｇｈｔｎｅｓｓＶａｌｕｅ）に基づいて定まる係数を処理対象の画像のグレイバランスＧｒａｙ＿Ｃｂ，Ｇｒａｙ＿Ｃｒに乗じた値をカラーバランス補正量Ｃｂ＿ｏｆｆｓｅｔ，Ｃｒ＿ｏｆｆｓｅｔとして用いる（次の（２）式参照）ようにしてもよい。
Ｃｂ＿ｏｆｆｓｅｔ＝Ｇｒａｙ＿Ｃｂ×ｆ（ＢＶ）
Ｃｒ＿ｏｆｆｓｅｔ＝Ｇｒａｙ＿Ｃｒ×ｆ（ＢＶ） …（２）
【００３３】
なお、上式において、関数ｆ（ＢＶ）は撮影輝度ＢＶに応じて値が変化する強度係数であり、例えばＢＶ＜０（夜景や花火のシーン）の場合にはｆ（ＢＶ）＝１．０、０≦ＢＶ＜１（薄暗いタングステン光源、蛍光灯、ミックス光源下のシーン）の場合にはｆ（ＢＶ）＝０．１×ＢＶ＋１、１≦ＢＶ＜３（通常の室内のシーン）の場合にはｆ（ＢＶ）＝１．１、３≦ＢＶ＜６（日中野外や逆光気味のシーン）の場合にはｆ（ＢＶ）＝−２×ＢＶ／１５＋１．５、６≦ＢＶ（晴天日中野外や海山のシーン）の場合にはｆ（ＢＶ）＝０．７となるように定めることができる。
【００３４】
また、撮影情報にはストロボを使用して撮影したか否かを表す情報も含まれているが、該情報を利用し、撮影時にストロボが使用されたか否かに応じて強度係数を変更するようにしてもよい。例えば上記の例では、撮影輝度ＢＶが若干暗いシーンに対応する値のときに強度係数を１より大きい値にしているが、ストロボを使用して撮影された場合には画像のグレイバランスが適切であることが比較的多いので、強度係数の値を小さくする（例えば０．８程度の値にする）ようにしてもよい。
【００３５】
ステップ１０６では縮小画像を複数の領域に分割するための閾値を設定する。すなわち、まず縮小画像の各画素のうちの特定画素Ｐ０に対し、特定画素Ｐ０と特定画素Ｐ０の周囲に存在する８近傍の画素Ｐ１〜Ｐ８（図５参照）との輝度差を演算し、その平均値（平均輝度差）を演算する。また、特定画素Ｐ０とその８近傍の画素Ｐ１〜Ｐ８との色差を演算し、その平均値（平均色差）も演算する。そして上記の演算を縮小画像の各画素に対して各々行い、各画素毎の平均輝度差の平均値（画面内平均輝度差Ｙｍｅａｎ）を求める。
【００３６】
本実施形態において、縮小画像を複数の領域へ分割することは、縮小画像の各画素について、平均輝度差及び平均色差が閾値以上か否かに基づき、領域の境界に相当する画素か否かを判断することによって行う。このため、縮小画像を分割したときの分割領域の数は閾値に応じて変化する。例として図６には、画面内平均輝度差Ｙｍｅａｎに係数を乗じた値を平均輝度差の閾値として用い、多数の自然画像（縮小画像）に対して領域分割を行って分割領域の数を求めることを、係数の値を変更しながら繰り返したときの、係数の値と分割領域の数（最大領域数、平均領域数及び最小領域数）との関係を示す。
【００３７】
本願発明者によれば、縮小画像の総画素数の２割程度の数の領域に縮小画像を分割すれば、元の処理対象の画像の特徴が反映された領域分割が可能であることが判明している。従って、縮小画像の総画素数に基づき図６に示す関係を用いて係数を決定し、決定した係数を画面内平均輝度差Ｙｍｅａｎに乗ずることで平均輝度差の閾値を求めることができる。
【００３８】
例えば縮小画像が１６０画素×１２０画素の画像である場合、総画素数は１９２００であり、適当な分割領域の数は総画素数の２割である３８４０となる。図５に示す係数の値と分割領域の数（平均領域数）との関係において、分割領域の数が３８４０となるときの係数の値は０．５であるので、画面内平均輝度差Ｙｍｅａｎに０．５を乗じた値を平均輝度差の閾値とすることができる。なお、平均色差の閾値については、予め固定的に定めておいてもよいし、各画素毎の平均色差の平均値（画面内平均色差）に応じて値を変更するようにしてもよい。
【００３９】
次のステップ１０８では、ステップ１０６で決定した閾値を用いて縮小画像を複数の領域に分割する。具体的には、例えば縮小画像上の隣り合う画素の平均輝度差及び平均色差を比較し、平均輝度差の差が閾値以下でかつ平均色差の差が閾値以下の場合には、該隣り合う画素同士を同一領域の画素とすることを、縮小画像を順にスキャンしながら繰り返す。これにより、縮小画像は、領域内の輝度及び色相が各々略均一な複数の領域に分割されることになる。また、領域分割が終了すると、各領域毎に平均濃度や彩度等の特徴量を演算する。
【００４０】
ステップ１１０では、分割によって得られた複数の領域から主要部領域でないと推定される領域を除去する。すなわち、まず各領域の彩度を所定値と比較し、彩度が所定値以上の領域を除去する。続いて、以下の（３）式に従って第１の限界濃度ＤＦｍｉｎを求めると共に、（４）式に従って第２の限界濃度ＤＦｍａｘを求める。
ＤＦｍｉｎ＝（Ｄｍｉｎ＋Ｄｓｔｄ）／２ …（３）
ＤＦｍａｘ＝（Ｄｍａｘ＋Ｄｓｔｄ）／２ …（４）
但し、Ｄｍｉｎは縮小画像の最低濃度、Ｄｍａｘは縮小画像の最高濃度、Ｄｓｔｄは基準濃度（例えばＤｓｔｄ＝０．７５）である。次に、未除去の領域のうち、平均濃度が第１の限界濃度ＤＦｍｉｎ以上又は第２の限界濃度ＤＦｍａｘ以下の領域を除去候補領域として抽出する。
【００４１】
次に、除去候補領域として抽出した各領域について、次の（５）式に従って濃度フェリア・モーメントｄｆｍｎｔを各々演算する。
ｄｆｍｎｔ＝｜ｄａｖ−Ｄｓｔｄ｜×ｓ …（５）
但し、ｄａｖは除去候補領域の平均濃度、ｓは除去候補領域の面積である。そして、各除去候補領域の濃度フェリア・モーメントｄｆｍｎｔの値を比較し、濃度フェリア・モーメントｄｆｍｎｔの値の降順に所定数の除去候補領域を除去する。従って、ステップ１１０の処理により、高彩度の領域が除去されると共に、低輝度（高濃度）又は高輝度（低濃度）で比較的大面積の領域が除去されることになる。
【００４２】
ステップ１１２では、ステップ１１０の処理を経て除去されずに残存している領域全体の平均濃度Ｄａｖを演算する。またステップ１１４では、残存している領域の中から主要部領域として色相が肌色の領域を抽出し、抽出した主要部領域の平均濃度Ｄｓ及び面積率Ｒｓを演算する。なお、上記の「色相が肌色」という条件以外に、例えば「面積が規定値以内」「中心位置が縮小画像の四隅から所定値以上離間している」「細長い形状でない」等の条件を付加して主要部領域を抽出するようにしてもよい。
【００４３】
次のステップ１１６では補正対象濃度Ｄｔａｒｇを演算する。この演算は、まず例として図７に示すような変換条件に従い、主要部領域の面積率Ｒｓを補正係数ｃｏｅｆ（Ｒｓ）へ変換した後に、平均濃度Ｄａｖ、主要部領域の平均濃度Ｄｓ及び補正係数ｃｏｅｆ（Ｒｓ）を次の（６）式に代入することで実現することができる。
Ｄｔａｒｇ＝［［３−２×ｃｏｅｆ（Ｒｓ）］×Ｄａｖ＋２×ｃｏｅｆ（Ｒｓ）×Ｄｓ］／３ …（６）
そしてステップ１１８では、ステップ１１６で求めた補正対象濃度Ｄｔａｒｇを、固定的に定められた基準濃度Ｄｓｔｄへ変換する濃度補正カーブを設定する。これにより、例として図８に示すような濃度補正カーブが得られる。なお、基準濃度Ｄｓｔｄに代えて、次の（７）式で規定される目標濃度Ｄｔａｒｇを用いてもよい。
Ｄｔａｒｇ＝Ｄｓｔｄ−Ｃ１×ｃｏｅｆ（Ｒｓ） …（７）
但し、Ｃ１は処理対象の画像が逆光シーンを撮影した画像か否かに応じて値が０又は１となる定数である。
【００４４】
またステップ１２０では、ステップ１１８で設定した濃度補正カーブに基づいて輝度補正カーブを生成する。すなわち、まずステップ１０２で生成したＹのヒストグラムにおいて、輝度Ｙの最大値からの累積画素数が総画素数の０．４％となる点（ハイライト点）に相当する輝度Ｙｍａｘを求めると共に、輝度Ｙの最小値からの累積画素数が総画素数の０．４％となる点（シャドー点）に相当する輝度Ｙｍｉｎを求める。
【００４５】
そして、例えば図９に示すように、輝度入力値Ｙｉｎがハイライト点に相当する輝度Ｙｍａｘのときには最大輝度（例えば輝度出力値Ｙｏｕｔが８ビットであれば２５５）へ変換され、輝度入力値Ｙｉｎがシャドー点に相当する輝度Ｙｍｉｎのときには最小輝度（例えば輝度出力値Ｙｏｕｔが０）へ変換されると共に、輝度入力値Ｙｉｎが輝度Ｙｍａｘと輝度Ｙｍｉｎの間に相当する中間階調の値のときには、ステップ１１８で設定した濃度補正カーブに応じた変換特性で輝度出力値へ変換されるように輝度補正カーブの変換特性を設定し、設定した変換特性で輝度の変換が行われるように輝度補正カーブを生成する。
【００４６】
これにより、輝度入力値Ｙｉｎに対し、主要部領域を抽出して求めた補正対象濃度Ｄｔａｒｇを基準濃度Ｄｓｔｄへ変換する濃度補正を行って（このときコントラストの補正も同時に行われる）輝度出力値Ｙｏｕｔとして出力する輝度補正カーブが得られることになる。また、ステップ１２２では縮小画像データに基づいて彩度補正量を演算する。なお、彩度補正量の演算については説明を省略するが、例えば特開２００１−２１８０７８号公報に記載の技術を適用することができる。
【００４７】
そしてステップ１２４では、ステップ１０４で設定されたカラーバランス補正量、ステップ１０６〜１２０の処理によって設定された輝度補正カーブ、及び、ステップ１２２で演算された彩度補正量に基づいて、図１０に示すように、入力されたＲ，Ｇ，ＢのデータをＹＣｂＣｒ表色系のデータへ変換し、データＹに対し輝度補正カーブに応じた濃度補正（及びコントラスト補正）を行ったことに相当するデータＹ’へ変換すると共に、データＣｂ，Ｃｒに対してカラーバランス補正量に応じたカラーバランス補正を行ったことに相当するデータＣｂ’，Ｃｒ’へ変換し、更にデータＣｂ’，Ｃｒ’に対して彩度補正量に応じた彩度補正を行ったことに相当するデータＣｂ”，Ｃｒ”へ変換し、変換後のＹ’，Ｃｂ”，Ｃｒ”のデータをＲ’，Ｇ’，Ｂ’のデータへ変換することを、一回の変換により実現するための変換データ（本発明に係る第１の補正条件に相当）を設定する。
【００４８】
なお、上記の変換は３次元ルックアップテーブル（３Ｄ−ＬＵＴ）を用いて行われるが、本実施形態では変換データ（入力データと対応付けて記憶する、出力データを規定するデータ）のデータ量を削減するために変換データの間引きを行っており、Ｒ，Ｇ，Ｂ各８ビットのデータの各々が、８ビットのデータで表現可能な数値範囲（０〜２５５）を８刻みで分割したときの分割位置に相当する値であった場合の変換データのみを記憶しておき、３Ｄ−ＬＵＴに入力されたＲ，Ｇ，Ｂのデータに対応する変換データが存在しない場合は、記憶されている変換データから出力データを補間演算によって求めるようにしている。
【００４９】
このため、ステップ１２４における変換データの設定は、格子点（互いに直交するＲ，Ｇ，Ｂの各座標軸で規定されるＲＧＢ色空間上に分布する、Ｒ，Ｇ，Ｂ各８ビットのデータで表現可能な色再現範囲を、８ビットのデータで表現可能な２５６階調を８階調毎に区切ったときの境界に相当する位置で分割することで、前記色再現範囲を格子状に多数の立方体領域へ区切ったときの個々の矩形領域の頂点に相当する点）に対応するＲ，Ｇ，Ｂのデータについてのみ、前述した一連の変換（Ｒ，Ｇ，Ｂ→Ｒ’，Ｇ’，Ｂ’の変換）を行い、変換後のデータを変換前のデータと対応付けることによって成される。
【００５０】
上記により、ダイナミックレンジが非常に小さい画像を除く大多数の画像の濃度や色バランス、彩度等を適正に補正できる変換データを得ることができる。なお、上述したステップ１０４〜１２４は本発明に係る第１演算手段（詳しくは請求項２に記載の第１演算手段）に対応している。
【００５１】
次のステップ１２６〜１３０では、本発明に係る第２の補正条件に相当する変換データを求める処理を行う。すなわち、ステップ１２６ではステップ１０２で生成したＲ，Ｇ，Ｂのヒストグラムからハイライト点（濃度Ｒ又は濃度Ｇ又は濃度Ｂの最小からの累積画素数が総画素数の０．４％となる点）に相当する濃度Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘを各々抽出する。またステップ１２８では、ステップ１０２で生成した輝度Ｙ（Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ）のヒストグラムからシャドー点（輝度Ｙの最小値からの累積画素数が総画素数の０．４％となる点）に相当する階調値Ｙｍｉｎを求める。
【００５２】
そしてステップ１３０では、Ｒ，Ｇ，Ｂの各色成分について、例として図１１に示すように、ハイライト点に相当する濃度値Ｒｍａｘ又は濃度値Ｇｍａｘ又は濃度値Ｂｍａｘを２５５、シャドー点に相当する階調値Ｙｍｉｎを０に変換し、かつ中間階調を線形変換する変換条件を定め、入力されたＲ，Ｇ，Ｂのデータを、上記で定めた変換条件に従ってＲ’，Ｇ’，Ｂ’のデータへ変換することを３Ｄ−ＬＵＴによって実現するための変換データ（本発明に係る第２の補正条件に相当）を設定する。なお、上記の変換条件を演算式で表すと以下のようになる。
Ｒ’＝２５５×（Ｒ−Ｙｍｉｎ）／（Ｒｍａｘ−Ｙｍｉｎ）
Ｇ’＝２５５×（Ｇ−Ｙｍｉｎ）／（Ｇｍａｘ−Ｙｍｉｎ）
Ｂ’＝２５５×（Ｂ−Ｙｍｉｎ）／（Ｂｍａｘ−Ｙｍｉｎ）
また、ステップ１３０における変換データの設定についても、格子点に対応するＲ，Ｇ，Ｂのデータについてのみ、定めた変換条件に基づく変換（Ｒ，Ｇ，Ｂ→Ｒ’，Ｇ’，Ｂ’の変換）を行い、変換後のデータを変換前のデータと対応付けることによって成される。
【００５３】
上記の処理により、ハイライト点に相当する濃度値とシャドー点に相当する濃度値の差を最大（２５５）とする変換条件（ダイナミックレンジを最大限拡大する変換条件）を実現する変換データが得られるので、該変換データに従って画像データを変換することで、ダイナミックレンジが非常に小さい画像の濃度等を適正に補正することができる。また、上記の変換データによって実現される変換条件は、ハイライト点に相当する濃度値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘを各々同一の値（＝２５５）に変換する変換条件であるので、例えば処理対象の画像が異種光源による照明下で撮影された画像である等の理由で、処理対象の画像中のハイライト点に異種光源特有の色味が付いている場合にも、上記の変換データによる変換を行うことでハイライト点の色味が白となるように補正されることになり、異種光源補正も同時に行われることになる。なお、上述したステップ１２６〜１３０は本発明に係る第２演算手段（詳しくは請求項３に記載の第２演算手段）に対応している。
【００５４】
ステップ１３２では、縮小画像におけるＹ輝度の最大値ｄｍａｘ及び最小値ｄｍｉｎを求め、次の（８）式に従い画像のダイナミックレンジｄを演算する。
ｄ＝ｄｍａｘ−ｄｍｉｎ …（８）
ステップ１３４では、ステップ１３２で求めたダイナミックレンジｄに基づき、第１の補正条件に相当する変換データに対する重み係数ｃ（ｄ）を求める。重み係数ｃ（ｄ）としては、例えば図１２にも示すように、
ｄ≦ｄ１の場合：ｃ（ｄ）＝０
ｄ１＜ｄ＜ｄ２の場合：ｃ（ｄ）＝（ｄ−ｄ１）／（ｄ２−ｄ１）
ｄ≧ｄ２の場合：ｃ（ｄ）＝１
なる特性を有する関数を用いることができる。そして、求めた重み係数ｃ（ｄ）に基づき、第１の補正条件に相当する変換データと第２の補正条件に相当する変換データの加重平均に相当する変換データを生成する。
【００５５】
なお、上記の変換データの生成は、変換データの設定についても、各格子点について次の（９）式の演算を各々行うことで実現できる。
ｆ（ｒ，ｇ，ｂ）＝ｃ（ｄ）×ｐ（ｒ，ｇ，ｂ）＋（１−ｃ（ｄ））×ｑ（ｒ，ｇ，ｂ） …（９）
但し、ｐ（ｒ，ｇ，ｂ）は第１の補正条件に相当する変換データのうち特定の格子点に対応する変換データ、ｑ（ｒ，ｇ，ｂ）は第２の補正条件に相当する変換データのうち特定の格子点に対応する変換データ、ｆ（ｒ，ｇ，ｂ）は特定格子点に対応する加重平均に相当する変換データである。
【００５６】
上述したように、ステップ１３４で生成した変換データは、第１の補正条件に相当する変換データと第２の補正条件に相当する変換データを、画像のダイナミックレンジに応じた重み係数ｃ（ｄ）を用いて重み付けして平均化したに相当する変換条件を表す変換データであるので、該変換データを用いて処理対象の画像データを変換することで、処理対象の画像のダイナミックレンジの大小に拘らず、処理対象の画像の濃度等を適正に補正することができる。
【００５７】
なお、上述したステップ１３２及びステップ１３４のうち重み係数ｃ（ｄ）を求める処理は本発明に係る設定手段に対応しており、ステップ１３４のうち加重平均に相当する変換データを求める処理は、該変換データに従って処理対象の画像データを実際に変換する処理と共に、本発明に係る補正手段（詳しくは請求項４，５に記載の補正手段）に対応している。
【００５８】
上述した画像補正処理が終了すると、ＣＰＵ６０は画像補正処理によって得られた変換データを３Ｄ−ＬＵＴとして機能する変換テーブルに設定する。そして、フレームメモリ６８に記憶されている処理対象の画像データを、個々の画素のデータを単位として順に取り出し、変換データを設定した変換テーブルに基づいて順次変換する。
【００５９】
この変換は、まず取り出した画素データ（Ｒ，Ｇ，Ｂ各８ビットのデータ）を出力データと対応付ける変換データが変換テーブルに登録されているか（すなわち格子点位置に相当するデータであるか）否かを判断し、変換テーブルに登録されていた場合には、画素データと対応付けて変換テーブルに登録されている出力データ（Ｒ，Ｇ，Ｂ各８ビットのデータ）を出力し、画素データが変換テーブルに登録されていなかった場合には、ＲＧＢ色空間上で画素データの座標位置の周囲に位置している複数の格子点位置のデータと対応付けて変換テーブルに登録されている複数の出力データに基づいて、画素データに対応する出力データを補間演算によって求めることによって成される。上記の変換により、処理対象の画像のダイナミックレンジの大小に拘らず、処理対象の画像の濃度等が適正に補正されることになる。
【００６０】
３Ｄ−ＬＵＴによる変換を経た処理対象の画像データは、一旦フレームメモリ６８に記憶された後にプリントデータ形成部７４へ入力され、プリントデータ形成部７４によってプリントデータへ変換される。このプリントデータがヘッドドライバ７６に供給され、ヘッドドライバ７６がプリントデータに応じて発熱素子アレイ１９の各発熱素子を発熱させることで、カラー感熱記録紙１２の各感熱発色層に画像が記録される。そして、画像が記録されたカラー感熱記録紙１２は、定着装置２８によって画像が定着された後に、切断装置３２によって画像齣単位で切断され、プリント排出口３４を介して装置本体１１の外部へ排出されることになる。
【００６１】
なお、上記では本発明に係る第１の補正条件での補正と本発明に係る第２の補正条件での補正の加重平均に相当する補正を実現するための変換データを求め、求めた変換データを３Ｄ−ＬＵＴに設定して処理対象の画像データを変換することで、処理対象の画像データに対して前記加重平均に相当する補正を行う態様を例に説明したが、本発明はこれに限定されるものではなく、前記加重平均に相当する補正を行うための演算式を求め、処理対象の画像データに対して前記演算式に従って補正演算を施すことで、前記加重平均に相当する補正を行うようにしてもよい。
【００６２】
また、上記ではカラー感熱記録紙１２に画像を記録する構成のカラープリンタ１０における画像データの補正に本発明を適用した例を説明したが、本発明はデジタル画像の補正に広く適用可能であり、例えば写真フィルムに記録された画像を読み取ることでデータ化し、印画紙に露光記録することで写真プリントを作成する場合の補正に適用したり、デジタルスチルカメラ（ＤＳＣ）等によって被写体を撮像することで得られた画像データに対する補正（例えばインターネット等のネットワーク経由で依頼された写真処理を行う際の画像補正）に適用することも可能である。
【００６３】
また、上記で説明した画像補正処理を実現するための画像補正プログラムと、画像補正処理によって生成された変換データに基づいて画像データを変換することで画像データを補正する変換プログラムをＤＳＣに記憶させておくことで、本発明に係る画像補正をＤＳＣで行わせるようにしてもよい。この態様では、ＤＳＣが本発明に係る画像補正装置として機能することになる。
【００６４】
更に、パーソナル・コンピュータ（ＰＣ）等で実行するための画像処理ソフトに、上記の画像補正プログラム及び変換プログラムを付加することで、本発明に係る画像補正をＰＣで行わせるようにしてもよい。この態様ではＰＣが本発明に係る画像補正装置として機能することになる。また、上記の画像処理ソフトも請求項７に記載のプログラムに対応している。
【００６５】
【発明の効果】
以上説明したように本発明は、補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて演算した第１の補正条件と、補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように演算した第２の補正条件に対する重みを、補正対象画像のダイナミックレンジに基づいて設定し、補正対象画像に対し、第１の補正条件での補正と第２の補正条件での補正の加重平均に相当する補正を行うようにしたので、ダイナミックレンジが非常に小さい画像の濃度等も適正に補正することが可能となる、という優れた効果を有する。
【図面の簡単な説明】
【図１】本実施形態に係るカラープリンタの概略構成図である。
【図２】カラープリンタの制御系の概略構成を示すブロック図である。
【図３】画像補正処理の内容を示すフローチャートである。
【図４】グレイ検出ゾーンの一例を示す概念図である。
【図５】特定画素とその周囲の８近傍の画素を示す概念図である。
【図６】画面内平均輝度差Ｙｍｅａｎに乗ずる係数の値と分割領域の数（最大領域数、平均領域数及び最小領域数）との関係の一例を示す線図である。
【図７】主要部領域の面積率Ｒｓと補正係数ｃｏｅｆ（Ｒｓ）との関係の一例を示す線図である。
【図８】濃度補正カーブの一例を示す線図である。
【図９】輝度補正カーブの一例を示す線図である。
【図１０】第１の変換条件による変換の概要を示す概念図である。
【図１１】第２の変換条件の変換特性の一例を示す線図である。
【図１２】ダイナミックレンジｄと重み係数ｃ（ｄ）との関係の一例を示す線図である。
【符号の説明】
１０カラープリンタ
１２カラー感熱記録紙
１８サーマルヘッド
２８定着装置
３２切断装置
６０ＣＰＵ
６８フレームメモリ

Claims

補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算する第１演算手段と、
前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算する第２演算手段と、
前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定する設定手段と、
前記設定手段によって設定された重みに基づき、前記補正対象画像に対し、前記第１演算手段によって演算された第１の補正条件での補正と、前記第２演算手段によって演算された第２の補正条件での補正の加重平均に相当する補正を行う補正手段と、
を含む画像補正装置。
前記第１演算手段は、前記補正対象画像のうち彩度が所定値以下の画素群の色座標上での分布に基づいて色バランスの補正条件を設定すると共に、認識した主要部領域の特徴量から求めた補正対象濃度が所定の目標濃度に変換されるように濃度の補正条件を設定し、前記第１の補正条件として、設定した補正条件で補正対象画像の色バランス及び濃度を補正する補正条件を演算することを特徴とする請求項１記載の画像補正装置。
前記第２演算手段は、前記第２の補正条件として、前記補正対象画像における各色成分毎のハイライトに相当する階調値が各々第１の所定値になり、前記補正対象画像におけるシャドーに相当する階調値が第２の所定値となるように補正対象画像を補正する補正条件を演算することを特徴とする請求項１記載の画像補正装置。
前記第１の補正条件及び第２の補正条件は、前記補正対象画像を変換することで補正するための変換条件であり、前記補正手段は、第１の補正条件に相当する変換条件と第２の補正条件に相当する変換条件の加重平均に相当する変換条件を求め、該求めた変換条件に従って補正対象画像を変換することで、前記加重平均に相当する補正を行うことを特徴とする請求項１記載の画像補正装置。
前記補正手段は３次元ルックアップテーブルを含んで構成され、前記求めた変換条件を前記３次元ルックアップテーブルにセットした後に補正対象画像のデータを入力することで前記補正を行うことを特徴とする請求項４記載の画像補正装置。
補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算し、
且つ、前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算すると共に、
前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定し、
設定した重みに基づき、前記補正対象画像に対し、前記演算した第１の補正条件での補正と、前記演算した第２の補正条件での補正の加重平均に相当する補正を行う画像補正方法。
コンピュータを、
補正対象画像の主要部領域を認識し、認識した主要部領域の特徴量に基づいて前記補正対象画像を補正するための第１の補正条件を演算する第１演算手段、
前記補正対象対象画像におけるハイライトに相当する階調値とシャドーに相当する階調値の差が所定値となるように前記補正対象画像を補正するための第２の補正条件を演算する第２演算手段、
前記補正対象画像のダイナミックレンジに基づいて前記第１の補正条件及び前記第２の補正条件に対する重みを設定する設定手段、
前記設定手段によって設定された重みに基づき、前記補正対象画像に対し、前記第１演算手段によって演算された第１の補正条件での補正と、前記第２演算手段によって演算された第２の補正条件での補正の加重平均に相当する補正を行う補正手段
として機能させるためのプログラム。