JP4720537B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置、特に、ダイナミックレンジ圧縮機能を有する撮像装置に関するものである。

近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。ダイナミックレンジの拡大に関し、例えば高輝度側の出力特性が入射光量に応じて電気信号が対数的に変換される特性である撮像センサ、すなわち線形特性領域及び対数特性領域からなる光電変換特性を有する撮像センサ（リニアログセンサという）が知られている。リニアログセンサは、このように入射光量に対して自然対数的に変換された出力が得られることから、線形特性領域だけの光電変換特性を有する撮像センサと比べてより広いダイナミックレンジが確保される。

上記リニアログセンサのように撮像系の広ダイナミックレンジ化が進む一方、現状ではモニタ等の表示系の広ダイナミックレンジ化は撮像系ほど進んでおらず、たとえ入力画像の広ダイナミックレンジ化が図られたとしても、表示系においてその効果を充分に発揮できないことになる。したがって、広ダイナミックレンジの入力画像が表示系のダイナミックレンジに収まるように該入力画像のダイナミックレンジを圧縮させる必要がある。

上記“ダイナミックレンジの圧縮”には、主に、画像の照明成分を圧縮することで局所的に画像の明暗を調整する意味と、画像全体の明暗の関係をそのまま維持した状態で、文字通り、帯域（ダイナミックレンジ）を圧縮する意味（局所的に明暗調整を行うという意味とは無関係）との２つの意味があるが、これらを区別するべく、前者を「覆い焼き処理」、後者を単に「ＤＲ圧縮」と称するものとする。覆い焼き処理では、具体的には、画像から照明成分を抽出し（このとき反射率成分も抽出する）、この照明成分に対してＤＲ圧縮を行い、ＤＲ圧縮後の照明成分（低周波成分）と反射率成分（高周波成分）とから、局所的に画像の明暗が調整された新たな画像が生成される（例えば非特許文献１参考）。このような覆い焼き処理に関し、例えば特許文献１には、ＤＲ圧縮における所定の圧縮開始点を導入することで、当該ＤＲ圧縮に際して、主被写体領域（低輝度部）における輝度やコントラストを適切に確保する技術が開示されている。
特願２００５−２３５９８７号 画像のダイナミックレンジ圧縮技術 画像ラボ（２００４．６）２４〜２８頁

しかしながら上記特許文献１では、覆い焼き処理（ＤＲ圧縮）方法については開示されているものの、この覆い焼き処理と別に実行される例えば覆い焼き処理後の処理として行われる階調変換（コントラスト補正）の方法については開示されていない。当該階調変換としては、通常、ガンマ（階調変換特性；γ）を用いた変換処理が行われるが、この場合、主被写体部のコントラストを好適なものにするべく低輝度部のコントラストが高くなるようにガンマを変化させると、高輝度部の階調がつぶれてしまい、高輝度部のコントラストが低下することになる。また、上記特許文献１に開示される技術に限らず、覆い焼き処理では、低周波成分が多く含まれる照明成分を圧縮するため、相対的に高周波成分（エッジ）が強調されてしまい、所謂シャープネスが高い不自然な画像（不自然な解像感を有する画像）となってしまう。

本発明は上記事情に鑑みてなされたもので、階調変換によって高輝度部のコントラスト低下を招くといったことなく、覆い焼き特性に応じた好適な階調特性を得ることが可能な、また、覆い焼き処理によって高周波成分が強調された不自然な画像が発生することなく、覆い焼き特性に応じた好適なシャープネス特性を得ることが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、画像を取得する画像取得手段と、前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、前記画像に対する階調変換処理を行う階調変換手段と、前記階調変換処理に関する階調変換特性を設定する階調特性設定手段とを備え、前記階調特性設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記階調変換特性を決定し、前記階調変換手段は、前記階調特性設定手段により決定された階調変換特性に基づいて階調変換処理を行うことを特徴とする。

上記構成によれば、画像取得手段によって画像が取得され、覆い焼き処理手段によって画像に対する覆い焼き処理が行われ、覆い焼きパラメータ設定手段によって覆い焼き処理に関する覆い焼きパラメータが設定され、階調変換手段によって画像に対する階調変換処理が行われ、階調特性設定手段によって階調変換処理に関する階調変換特性が設定される。そして、階調特性設定手段によって、覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて階調変換特性が決定され、階調変換手段によって、階調特性設定手段により決定された階調変換特性に基づいて階調変換処理が行われる。

また、上記構成において、前記覆い焼き処理は、前記画像から抽出された照明成分を圧縮し、該圧縮された照明成分と前記画像から抽出された反射率成分とから新たな画像を生成する処理であり、前記階調特性設定手段は、前記照明成分が圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて前記階調変換特性を決定するようにしてもよい。

これによれば、覆い焼き処理が、画像から抽出された照明成分を圧縮し、該圧縮された照明成分と画像から抽出された反射率成分とから新たな画像を生成する処理とされ、階調特性設定手段によって、照明成分が圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて階調変換特性が決定される。

また、上記構成において、前記階調特性設定手段は、前記覆い焼きパラメータとしての、前記照明成分の輝度範囲における所定の圧縮開始レベルである第１輝度レベルと該圧縮開始レベルより大きい第２輝度レベルとの情報に基づいて前記階調変換特性を決定するようにしてもよい。

これによれば、階調特性設定手段によって、覆い焼きパラメータとしての、照明成分の輝度範囲における所定の圧縮開始レベルである第１輝度レベルと該圧縮開始レベルより大きい第２輝度レベルとの情報に基づいて階調変換特性が決定される。

また、上記構成において、前記第１輝度レベルは、主被写体の所定輝度値である主被写体輝度以上の輝度レベルであり、前記階調特性設定手段は、前記第１輝度レベルを階調変換入力値としたときの該階調変換入力値に対する階調変換出力値が、前記照明成分の圧縮度合いが大きい場合に小さく、前記照明成分の圧縮度合いが小さい場合に大きい値となるように前記階調変換特性を決定するようにしてもよい。

これによれば、第１輝度レベルが、主被写体の所定輝度値である主被写体輝度以上の輝度レベルとされ、階調特性設定手段によって、第１輝度レベルを階調変換入力値としたときの該階調変換入力値に対する階調変換出力値が、照明成分の圧縮度合いが大きい場合に小さく、照明成分の圧縮度合いが小さい場合に大きい値となるように階調変換特性が決定される。

また、上記構成において、主被写体の適正階調変換出力値をＩ０’と定める場合において、前記階調特性設定手段は、主被写体輝度の階調変換入力値がＩ０であるとするとき、Ｉ０をＩ０’に変換し得る前記階調変換特性を決定するようにしてもよい。

これによれば、階調特性設定手段によって、主被写体輝度の階調変換入力値Ｉ０を、主被写体の適正階調変換出力値Ｉ０’に変換し得る階調変換特性が決定される。

また、本発明に係る撮像装置は、画像を取得する画像取得手段と、前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、前記覆い焼き処理は、前記画像が分割された複数領域に対して各々局所的に処理を施すことで実現され、前記覆い焼きパラメータは、前記局所的処理の対象となる各領域のサイズであり、前記シャープネス補正量設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記シャープネス補正量を決定し、前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする。

上記構成によれば、画像取得手段によって画像が取得され、覆い焼き処理手段によって画像に対する覆い焼き処理が行われ、覆い焼きパラメータ設定手段によって覆い焼き処理に関する覆い焼きパラメータが設定され、シャープネス補正手段によって画像に対するシャープネス補正処理が行われ、シャープネス補正量設定手段によってシャープネス補正処理に関するシャープネス補正量が設定される。そして、シャープネス補正量設定手段によって、覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいてシャープネス補正量が決定され、シャープネス補正手段によって、シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理が行われる。また、覆い焼き処理が、画像が分割された複数領域に対して各々局所的に処理を施すことで実現され、覆い焼きパラメータが、局所的処理の対象となる各領域のサイズ（領域サイズ）とされる。

また、本発明に係る撮像装置は、画像を取得する画像取得手段と、前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、前記覆い焼き処理は、前記画像から抽出された照明成分を圧縮し、該圧縮された照明成分と前記画像から抽出された反射率成分とから新たな画像を生成する処理であり、前記覆い焼きパラメータは、前記画像から照明成分を抽出するフィルタのサイズであり、前記シャープネス補正量設定手段は、前記シャープネス補正量を前記フィルタのサイズに基づいて決定し、前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする。

これによれば、覆い焼き処理において、画像から抽出された照明成分が圧縮され、該圧縮された照明成分と画像から抽出された反射率成分とから新たな画像が生成される。また、覆い焼きパラメータが、画像から照明成分を抽出するフィルタのサイズとされ、シャープネス補正量設定手段によって、シャープネス補正量がフィルタのサイズに基づいて決定される。

また、本発明に係る撮像装置は、画像を取得する画像取得手段と、前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、前記覆い焼き処理は、前記画像が分割された複数領域に対して各々局所的コントラスト補正を施すことで実現され、前記覆い焼きパラメータは、前記局所的コントラスト補正の対象となる各領域のサイズであり、前記シャープネス補正量設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記シャープネス補正量を決定し、前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする。

これによれば、覆い焼き処理が、画像が分割された複数領域に対して各々局所的コントラスト補正を施すことで実現され、覆い焼きパラメータが、局所的コントラスト補正の対象となる各領域のサイズ（領域サイズ）とされる。

さらに、上記構成において、前記シャープネス補正量設定手段は、前記局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、前記シャープネス補正手段のエッジ抽出周波数特性を変化させるようにしてもよい。

これによれば、シャープネス補正量設定手段によって、局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正手段のエッジ抽出周波数特性が変化される。

また、上記構成において、前記シャープネス補正量設定手段は、前記局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、前記シャープネス補正手段のエッジ強調量を変化させるようにしてもよい。

これによれば、シャープネス補正量設定手段によって、局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じてシャープネス補正手段のエッジ強調量が変化（変更）される。

また、上記構成において、前記画像取得手段は、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有する撮像センサであるようにしてもよい。

これによれば、画像取得手段が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有する撮像センサとされる。

請求項１に係る撮像装置によれば、覆い焼きパラメータに基づいて階調変換特性が決定され、当該決定された階調変換特性に基づいて階調変換処理が行われる構成であるので、階調変換によって高輝度部のコントラスト低下を招くといったことなく、覆い焼き特性に応じた好適な階調特性を得ることができる。

請求項２に係る撮像装置によれば、照明成分が圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて階調変換特性が決定されるので、覆い焼き特性が適正に反映された階調特性を決定することができる。

請求項３に係る撮像装置によれば、照明成分の輝度範囲における圧縮開始レベルである第１輝度レベルと、圧縮開始レベルより大きい第２輝度レベルとの情報に基づいて階調変換特性が決定されるので、或る覆い焼き特性を代表し得る、例えば主被写体が適正な明るさ（或いはコントラスト）が得られるようなレベル値として設定される第１輝度レベルと、この第１輝度レベルより輝度レベルが大きい第２輝度レベルとの情報を用いて、覆い焼き特性が適正に反映された階調特性を容易に決定することができる。

請求項４に係る撮像装置によれば、第１輝度レベルを階調変換入力値としたときの該階調変換入力値に対する階調変換出力値が、照明成分の圧縮度合いが大きい場合に小さく、照明成分の圧縮度合いが小さい場合に大きい値となるように階調変換特性が決定されるので、照明成分の圧縮度合いが大きい場合には、つまり覆い焼き処理における圧縮輝度範囲（ダイナミックレンジ）が広い場合には、階調変換出力レベルを低く設定して中輝度又は高輝度部で階調変換出力が抑えられるように、また、照明成分の圧縮度合いが小さい場合には、つまり上記圧縮輝度範囲が狭い場合には、階調変換出力レベルを高く設定して中輝度又は高輝度部でより高い階調変換出力が得られるようにすることができ、覆い焼き特性に応じた好適な階調変換を行うことが可能となる。

請求項５に係る撮像装置によれば、主被写体輝度の階調変換入力値Ｉ０を、主被写体の適正階調変換出力値Ｉ０’に変換し得る階調変換特性が決定されるので、階調変換によって主被写体画像が暗くなることが防止され、より好適な階調変換を行うことが可能となる。

請求項６に係る撮像装置によれば、覆い焼きパラメータに基づいてシャープネス補正量が決定され、当該決定されたシャープネス補正量に基づいてシャープネス補正処理が行われる構成であるので、覆い焼き処理によって高周波成分が強調された不自然な画像が発生することなく、覆い焼き特性に応じた好適なシャープネス特性を得ることができる。また、画像の局所処理における領域サイズが覆い焼きパラメータとして扱われるので、画像に対してフィルタ処理する際のフィルタサイズや、画像を領域分割する際の分割ブロックサイズ等の種々のパラメータを覆い焼きパラメータとして用いることが可能となり、これらパラメータが反映された覆い焼きパラメータに応じて好適なシャープネス特性を得ることが可能となる。

請求項７に係る撮像装置によれば、シャープネス補正量が照明成分抽出用のフィルタのサイズに基づいて決定されるので、覆い焼き特性に応じたシャープネス補正処理に際しての、覆い焼きパラメータのシャープネス補正量への反映を容易に行うことができる。

請求項８に係る撮像装置によれば、画像の局所的コントラスト補正処理における領域サイズが覆い焼きパラメータとして扱われるので、このコントラスト補正処理が反映された覆い焼きパラメータに応じて好適なシャープネス特性を得ることが可能となる。

請求項９に係る撮像装置によれば、領域サイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正手段におけるエッジ抽出周波数特性が変化される（当該シャープネス補正量に応じたエッジ抽出周波数特性が用いられる）ので、覆い焼き特性に応じたより適正な、エッジ抽出に基づくシャープネス補正を行うことができる。

請求項１０に係る撮像装置によれば、領域サイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正手段におけるエッジ強調量が変化される（当該シャープネス補正量に応じたエッジ強調量が用いられる）ので、覆い焼き特性に応じたより適正な、エッジ強調に基づくシャープネス補正を行うことができる。

（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、画像入力部２、制御部３、画像メモリ４、ユーザＩ／Ｆ部５及び画像処理部６を備えている。

画像入力部２は、デジタルカメラ１に対して画像を入力するものであり、レンズ部２１、撮像センサ２２、アンプ２３及びＡ／Ｄ変換部２４等を備えている。レンズ部２１は、被写体光像を取り込むレンズ窓として機能するとともに、この被写体光を撮像センサ２２へ導くための光学系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２１は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部３によってこの絞りやシャッタの駆動制御がなされる構成とされている。

撮像センサ２２は、被写体光像を撮像するものであり、レンズ部２１で結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ２３へ出力する。本実施形態では、撮像センサ２２として、センサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形、高輝度側が対数である異なる複数の光電変換特性を有するイメージセンサ（以降、適宜、リニアログセンサと表現する）が用いられる。このリニアログセンサによる撮影により、広いダイナミックレンジ（ＤＲ）を有する広ＤＲ画像の取得が可能となる。このように撮像センサ２２によって広ＤＲ画像を得ることで、後述の図３で示されるような照明圧縮特性を容易に得ることができる。

上記リニアログセンサは、ここでは例えばフォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型又はＮ型のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。但し、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

なお、上記リニアログセンサから得られる線形特性領域及び対数特性領域を有した画像のことを、適宜、線形／対数画像と表現する。また、上記光電変換特性における線形特性領域と対数特性領域との切り替り点（以降、変曲点という）は、撮像センサ２２の各画素回路に対する所定の制御信号により任意に制御可能とされている。撮像センサ２２は、当該リニアログセンサに限定されず、傾きの異なる複数の線形領域を有するリニアセンサなど、広ＤＲ画像を得ることが可能であるのならばいずれのイメージセンサであってもよい。因みに、上記広ＤＲ画像は、例えば一般的なリニアセンサによる異なるシャッタスピードや絞り値で撮影して得られた複数枚の画像から作成された広ＤＲ画像であってもよいし、ニー処理された画像から作成された広ＤＲ画像であってもよい。

アンプ２３は、撮像センサ２２から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。Ａ／Ｄ変換部２４は、アンプ２３にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ２２の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

制御部３は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部３は、撮像センサ２２等の装置各部からの各種信号に基づき装置各部が必要とする制御パラメータ等を算出し、これに基づいて覆い焼き処理部６１等の装置各部の動作を制御する。

画像メモリ４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像入力部２により入力された画像データ或いは画像処理部６において所定の画像処理が施された画像データ等を格納するものである。

ユーザＩ／Ｆ（インターフェース）部５は、ユーザからの各種の操作指示（コマンド）が入力される入力キーとして機能したり、或いは所定の情報を表示するものであり、モニタ部５１及び操作部５２を備えている。モニタ部５１は、画像入力部２により入力された画像や画像メモリ４に保存された画像等、或いは所定の操作情報や設定情報等をモニタ表示するものであり、例えばカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなる。操作部５２は、デジタルカメラ１に対するユーザによる操作指示入力を行うものであり、レリーズスイッチ、撮影モード設定スイッチ或いはメニュー選択スイッチ等の各種スイッチ群（ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像センサ２２により被写体光が撮像され、この撮像により得られた撮影画像に対して所要の画像処理が施された後、この画像データが画像メモリ４に記録されるといった一連の撮影動作が実行される。

ところで、ユーザＩ／Ｆ部５は、例えば図９に示すデジタルカメラ１の背面図のように、コントラスト補正量、彩度補正量及びシャープネス補正量といった画像処理に関する各パラメータ（画像処理パラメータという）を設定（入力）することが可能に構成されている。各画像処理パラメータは、例えば−２〜＋２の５段階の調整が可能とされている。実際の入力動作としては、例えば操作部５２によるボタン操作等によってモニタ画面上で選択フレーム５１１を所要の画像処理パラメータの位置まで移動させて、補正しようとする画像処理パラメータを選択した（アクティブにした）後（図９ではシャープネスが選択されている）、ポインタ５１２をデフォルト位置（ここではゼロ）から、低輝度重視側である−２から高輝度重視側である＋２の範囲における所要のレベル位置まで移動させることで、各画像処理パラメータの補正量を設定する（図９ではシャープネス補正量が「＋１」のレベルに設定されている）。

画像処理部６は、画像入力部２により入力された撮影画像データ（Ａ／Ｄ変換部２４により得られたデジタル画像信号）に対する各種画像処理を行うものであり、覆い焼き処理部６１、階調変換部６２及びシャープネス補正部６３を備えている。覆い焼き処理部６１は画像に対する覆い焼き処理を行うものである。この覆い焼き処理については後に詳述する。階調変換部６２は、制御部３（後述の階調変換特性算出部３２）から与えられる階調変換用のテーブル情報を用いて、入力画像（撮影画像）のＲ、Ｇ、Ｂ各画素データに対するデータ変換を行うことで階調変換を行うものである。シャープネス補正部６３は、制御部３から与えられるシャープネス補正用の所定のフィルタ係数の情報を用いてフィルタ演算を行うことで、入力画像のシャープネス補正を行うものである。なお、画像処理部６には、上記各機能部の他に、色補間処理部や色補正処理部、ホワイトバランス（ＷＢ）補正部、或いは、画像信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去するＦＰＮ補正部や画像の黒レベルを基準の値に補正する黒基準補正部等（いずれも図示略）が備えられていてもよい。

第１の実施形態では、覆い焼き処理に関する各パラメータ（覆い焼きパラメータという）に応じて、階調変換処理に関するパラメータ（階調変換パラメータという）を決定して階調変換処理を行う、すなわち覆い焼きパラメータに応じて階調変換処理を制御することを主な特徴点とするが、これに関し、覆い焼き処理部６１や制御部３の各機能部について説明する。

覆い焼き処理部６１は、画像入力部２から入力された画像すなわち撮像センサ２２により撮像されて得られた画像（線形／対数画像、広ＤＲ画像）；（基画像Ｉとする）に対する覆い焼き処理を行うものである。基画像Ｉは、所謂Ｒｅｔｉｎｅｘ理論によれば、該基画像Ｉにおける照明成分（主に低周波成分からなる）を照明成分Ｌ、反射率成分（主に高周波成分からなる）を反射率成分Ｒとすると、以下の(１)式で表される。
Ｉ＝Ｌ＊Ｒ ・・・（１）
但し、記号「＊」は乗算を示す（以降同様）。

覆い焼き処理部６１は、基画像Ｉに対してメディアンフィルタやイプシロン（ε）フィルタ等の所謂エッジ維持フィルタ（非線形フィルタ；照明抽出フィルタ）を適用することでこの照明成分Ｌを抽出する（照明成分Ｌが抽出されることで残りの成分が反射率成分Ｒとして抽出される）。このエッジ維持フィルタのフィルタサイズ（フィルタサイズＳｆとする）の情報は制御部３から与えられる。ただし、このフィルタサイズとは、画像のフィルタ処理に際して何画素分の画素に対して平均処理を行うかといったことに関する当該複数画素で構成される画像サイズに相当するものであり、例えばフィルタサイズが１０画素、２０画素などと与えられる。このことからも、覆い焼き処理は、画像が複数の領域に分割されて当該各領域ごとにつまり局所的に異なる処理（局所処理）を行うものであると言うことができる。ここでは、この各領域のサイズ（領域サイズ）を表すものとして上記エッジ維持フィルタのフィルタサイズを用いているが、これに限らず例えば領域分割のブロックサイズを用いてもよい。従って、フィルタサイズや領域分割のブロックサイズを含め、この“領域サイズ”の情報は、覆い焼きパラメータであると言える。なお、上記局所処理は例えばコントラスト補正処理であってもよく、すなわち覆い焼き処理を、各領域ごとに異なるコントラスト補正（局所的コントラスト補正）を行うための処理としてもよく、この場合、上記領域サイズは、局所的コントラスト補正用の覆い焼きパラメータであると言える。

次に、覆い焼き処理部６１は、この抽出した照明成分Ｌに対して、該照明成分Ｌが所定の圧縮開始レベルＬｓ以上の領域（Ｌ＞Ｌｓ）について、以下の（２）式による変換（ＤＲ圧縮）を行う。照明成分Ｌが圧縮開始レベルＬｓより小さい領域（Ｌ≦Ｌｓ）については、以下の（３）式による変換（この変換もＤＲ圧縮に含む）が行われる。
Ｌ’＝ｅｘｐ（ｌｏｇ（Ｌ）＊ｃ）＊ｎ ・・・（２）
但し、「ｃ」は圧縮率、「ｎ」は正規化項である。
Ｌ’＝Ｌ ・・・（３）

上記（２）、（３）式によるＬ’は、それぞれ図３のように符号２１０、符号２２０で示す照明圧縮特性２１０、２２０で表される。照明圧縮特性２１０は、照明成分Ｌの所定の圧縮開始レベルＬｓ及びこのＬｓにおける出力値としての圧縮開始レベルＯｓの符号２１１で示す点Ａ（Ｌｓ、Ｏｓ）と、照明成分Ｌの上限値Ｌｍａｘに対する出力が出力最大値Ｏｍａｘ（例えば撮像センサ２２による出力画像が０〜２５５階調を有する８ビット画像の場合で、２５５階調の出力値；階調値）となる符号２１２で示す点Ｂ（Ｌｍａｘ、Ｏｍａｘ）との２点を通過するものとして与えられる。したがって、上記（２）式の未知数である圧縮率ｃ及び正規化項ｎは、これら２点の座標値をそれぞれ代入して得られる連立方程式から算出される。なお、このＬｓ及びＬｍａｘの情報は制御部３から与えられる。

上述の各処理が施された後、さらに覆い焼き処理部６１において、このＤＲ圧縮された照明成分Ｌ’と反射率成分Ｒとから、以下の（４）式を用いて画像Ｉ’が生成（出力）される。
Ｉ’＝Ｌ’＊Ｒ ・・・（４）
なお、上記（４）式は、Ｉ’＝Ｌ’／Ｌ＊Ｉと考えてもよい。但し、記号「／」は除算を示す（以降同様）。また、照明成分Ｌが圧縮開始レベルＬｓより小さい領域（Ｌ≦Ｌｓ）については、Ｉ’＝Ｌ’／Ｌ＊Ｉの代わりにＩ’＝Ｉと考えてもよい。

制御部３は、図２に示すように覆い焼きパラメータ算出部３１及び階調変換特性算出部３２を備えている。覆い焼きパラメータ算出部３１は、覆い焼き処理における上記ＬｓやＬｍａｘ、或いはフィルタサイズＳｆ等の覆い焼きパラメータを算出（取得）するものである。Ｌｓは、階調変換部６２においてガンマをかける（ガンマによる階調変換処理を行う）と適正な明るさとなる主被写体輝度（後述の図４に示す値Ｉ０）の２倍程度の値として与えられる。ただし、このＬｓの値は、人物や風景等、被写体ごとに予め求めておいた値（固定値）でもよく、また、ユーザによって都度、指定（ユーザＩ／Ｆ部５から指示入力）された値でもよい。

また、Ｌｍａｘは、いずれの明るさまで覆い焼き処理を行うか、つまり圧縮する照明成分Ｌとしてどこまでの範囲を入れるかを決めるための所定の上限値として与えられる。通常、このＬｍａｘとして、基画像Ｉ（広ＤＲ画像）のＲ、Ｇ、Ｂの輝度最大値が用いられるが、これに限らず、照明成分Ｌの最大値又はこの最大値のＹ％（コントラストを上げるためにＬｍａｘを照明成分の最大値よりも小さい値に設定することもあり得る）、前記Ｒ、Ｇ、Ｂ輝度最大値のＸ％値等を用いてもよい。なお、このＬｍａｘの値は都度算出されてもよいし、予め求めておいた値（固定値）でもよいし、ユーザＩ／Ｆ部５からの指示入力等によって都度、ユーザにより指定された値でもよい。また、フィルタサイズＳｆは、所定の値、或いは画像に依存する値（例えば画像サイズのＺ％値や画像の空間周波数に依存する値）として与えられる。覆い焼きパラメータ算出部３１は、これらＬｓ、Ｌｍａｘ及びＳｆの情報を覆い焼き処理部６１に送信して該覆い焼き処理部６１に設定する。なお、上記予め求めておいた値等の情報は、制御部３における例えばパラメータ記憶部（図示略）に保存される構成でもよい。

階調変換特性算出部３２は、覆い焼きパラメータ算出部３１で求められた各覆い焼きパラメータに基づいて、階調変換部６２での階調変換処理において用いる階調変換特性を算出し、この階調変換特性が記述された、すなわち階調変換特性による階調変換が反映された変換テーブル（例えばＬＵＴ；ルックアップテーブル）を作成するものである。階調変換特性算出部３２は、当該作成した変換テーブルの情報を階調変換部６２に送信して該階調変換部６２に設定する。階調変換特性算出部３２で算出される階調変換特性は、例えば図４、５に示す階調変換特性３１０、３２０となる。各図の横軸は階調変換入力、縦軸は階調変換出力を示している。各階調変換特性３１０、３２０は、符号３１１及び符号３１２で示す（０、０）及び（Ｏｍａｘ、Ｏｍａｘ）の２点を通り、且つ、符号３１３で示す点Ｃ（Ｉ０、Ｉ０’）及び符号３１４で示す（図５の方は符号３１５で示す）点Ｄ（Ｌｓ、Ｌｓ’）の２点を通る曲線で表される。特に、階調変換特性３１０、３２０は、点Ｃ、Ｄの２点の位置を変化させることで制御される（この意味で点Ｃ、Ｄのことをそれぞれ第１、第２制御点と表現する）。

第１制御点Ｃ（Ｉ０、Ｉ０’）は、ガンマをかけると適正な明るさとなる所定のレベルを示す点である。この第１制御点Ｃにおける入力値Ｉ０は、例えば主被写体（例えば人物の顔）の輝度に相当する値（主被写体輝度Ｉ０とする）であり、出力値Ｉ０’は例えば８ビット画像の場合で１２８階調程度の出力値である。

第２制御点Ｄ（Ｌｓ、Ｌｓ’）は、図３に示す照明圧縮特性２１０、２２０の傾き（特性グラフの傾斜度）、特に、上記（２）式で示される照明圧縮特性２１０（圧縮領域、圧縮特性）の“傾き”に応じて、すなわち照明圧縮特性の“傾きを表すパラメータ”に応じて、設定される圧縮開始レベルを示す点である。この照明圧縮特性の傾きを表すパラメータは、当該図３の照明圧縮特性を用いた照明成分の圧縮を行う覆い焼き処理でのパラメータ、つまり“覆い焼きパラメータ”にあたる。

ところで、上記圧縮領域の傾きが小さいということは、図３における横軸を入力、縦軸を出力と見た場合に、出力範囲に対して入力範囲がより大きくなっているということであり、つまりこの場合は、圧縮の度合い（圧縮率）が大きいと言える。逆に、圧縮領域の傾きが大きい場合には、圧縮の度合いが小さいと言える。この圧縮領域の傾きは、上記点Ａ（Ｌｓ、Ｏｓ）と、もう１つの点、すなわち符号２１３で示す点Ｅ（Ｌｅ、Ｏｅ）との２つの点で決定される。

第２制御点Ｄ（Ｌｓ、Ｌｓ’）は、上述したように圧縮領域の傾きを表すパラメータに応じて決定されるが、具体的には、この傾きを表すパラメータとしての当該２つの点の情報を用いて決定する。本実施形態では、点Ｅの代わりに、この点Ｅが上記点Ｂである（或いは点Ｅが点Ｂの位置にきている）と考えた場合の当該点Ｂと、上記点Ａとの２点の情報を用いて第２制御点Ｄを決定するようにしている。これはすなわち、ここでは点Ａ、点Ｂの情報を用いているが、これに限定されず、要は、圧縮領域の傾きを決定することが可能な、点Ａと、点Ａよりもレベルが大きいもう１つの任意の点との、少なくとも２点を用いるということである。ただし、この点Ａ、Ｂの情報とは、具体的には図３の横軸の照明成分の値であるそれぞれＬｓ、Ｌｍａｘ（上記覆い焼きパラメータＬｓ、Ｌｍａｘ）であり、この覆い焼きパラメータＬｓ、Ｌｍａｘの値に応じて第２制御点Ｄが決定される。

すなわち、第２制御点Ｄ（Ｌｓ、Ｌｓ’）における入力値Ｌｓは、図３に示す照明成分Ｌの圧縮開始レベルＬｓ（覆い焼きパラメータＬｓ）に相当する。一方、出力値Ｌｓ’は、図３に示す照明成分Ｌの上限値Ｌｍａｘの大きさに応じて設定される、すなわちＬｓ’はＬｍａｘに依存し、Ｌｓ’＝ｆ（Ｌｍａｘ）によって与えられる値である（“ｆ”は単調減少関数を示す。ただし「単調減少」とは、直線的に減少せずともよく要は増加しなければよいことを示している）。このことから、図４はＬｍａｘが小さい場合を、図５はＬｍａｘが大きい場合を表している。つまり、Ｌｍａｘが小さい場合つまり覆い焼き処理におけるＤＲ（圧縮輝度範囲）が狭い場合（この場合は圧縮領域の傾きが大きい）には、図４に示すようにＬｓ’の出力レベルを高く設定して、点Ｃレベル以上の中輝度又は高輝度部においてより高い階調変換出力が得られるようにする。Ｌｍａｘが大きい場合つまり覆い焼き処理におけるＤＲが広い場合（この場合は圧縮領域の傾きが小さい）には、図５に示すようにＬｓ’の出力レベルを低く設定して、同様に中、高輝度部において階調変換出力が抑えられるようにする。このように、覆い焼き処理における圧縮開始レベルＬｓと、圧縮開始レベルＬｓよりも大きい輝度レベル（Ｌｅ；ここではＬｍａｘ）との情報（覆い焼きパラメータ）に基づいて階調変換特性が決定される。

なお、上記第２制御点Ｄ（Ｌｓ、Ｌｓ’）やこれに基づく階調変換特性、或いは変換テーブルが階調変換パラメータに該当する。図４、５に示す特性曲線３３０は、通常のガンマ特性（ガンマ特性３３０）を示しており、第１及び第２制御点Ｃ、Ｄは、このガンマ特性３３０各部のレベルを超えて大きくならないように制御（設定）される。また、本実施形態では、覆い焼きパラメータに応じて階調変換パラメータを設定するという観点から、第２制御点Ｄによる階調変換特性の制御は必須であるが、第１制御点Ｃによる制御は、より好適な画像を得るべく実施されることが好ましいものであると言える。

図６は、第１の実施形態における覆い焼きパラメータに応じた階調変換処理に関する動作の一例を示すフローチャートである。先ず、レリーズスイッチが押下されるなどして撮像センサ２２によって撮影画像が取得され、この撮影画像データが制御部３に入力される（例えば画像メモリ４に保存される）（ステップＳ１）。次に、制御部３の覆い焼きパラメータ算出部３１によって、覆い焼きパラメータ、すなわち圧縮開始レベルＬｓ及び上限値Ｌｍａｘの情報（図３参照）並びにフィルタサイズＳｆの情報が覆い焼き処理部６１に送信されて設定される（ステップＳ２）。そして、覆い焼き処理部６１によって、当該設定された覆い焼きパラメータに基づいて、覆い焼き処理（基画像Ｉから照明成分Ｌを抽出してこれにＤＲ圧縮を行い、照明成分Ｌ’と反射率成分Ｒとから新たな画像Ｉ’を生成する処理）が行われる（ステップＳ３）。一方、制御部３の階調変換特性算出部３２によって、覆い焼きパラメータ算出部３１で求められた各覆い焼きパラメータに基づいて、第２制御点Ｄ（Ｌｓ、Ｌｓ’）等の算出により階調変換特性（図４、５参照）が算出されて当該階調変換特性の変換テーブル（ＬＵＴ）が作成され、この作成された変換テーブル情報が階調変換部６２に送信されて設定される（ステップＳ４）。そして、階調変換部６２によって、この変換テーブルに基づいて階調変換処理が行われ（ステップＳ５）、この階調変換処理により得られた画像データが画像メモリ４に記憶される（ステップＳ６）。

（実施形態２）
上記第１の実施形態では、覆い焼きパラメータに応じて階調変換処理を制御する場合について説明したが、第２の実施形態では、覆い焼きパラメータに応じてシャープネス補正に関するパラメータ（シャープネスパラメータという）、例えばシャープネス補正量を決定してシャープネス補正処理を行う、すなわち覆い焼きパラメータに応じてシャープネス補正処理を制御する場合について説明する。本実施形態におけるデジタルカメラのブロック構成は図１と同じである。ただし、図７に示すように、制御部３’（図１の制御部３に相当）には、さらにシャープネスパラメータ算出部３３が備えられている。

シャープネスパラメータ算出部３３は、上記実施形態１で説明した領域毎の局所処理（局所処理として局所的コントラスト補正を行う場合等も含む）を行う場合の「領域サイズ」に応じてシャープネスパラメータを算出するものである。本実施形態の場合も同様、この領域サイズは、フィルタサイズや領域分割のブロックサイズを示すが、ここでは領域サイズの情報として、前者のフィルタサイズを用いる。シャープネスパラメータ算出部３３は、上記覆い焼きパラメータ算出部３１によって算出された照明成分抽出用フィルタのフィルタサイズＳｆに応じて、シャープネスパラメータを算出する。具体的には、シャープネスパラメータ算出部３３は、図９に示すようにユーザＩ／Ｆ部５において入力された所定のシャープネス補正レベル（シャープネス補正量Ｓｈとする）を、フィルタサイズＳｆに応じて修正し、この修正により得られたシャープネス補正量に応じてシャープネス補正用のフィルタを切り替える（選択する）。

上記フィルタサイズＳｆに応じたシャープネス補正量Ｓｈの修正は、以下の（５）式によって行われる。
Ｓｈ’＝Ｓｈ＋ΔＳｈ ・・・（５）
但し、Ｓｈ’はＳｈの修正後の値であり、ΔＳｈは、図８に示すようにフィルタサイズＳｆの増加に対する負の単調減少（直線的な減少でなくともよく、要は減少すればよい）の関係で与えられる値（修正量）である。つまり、Ｓｆ値がゼロから大きくなるのに応じて、ΔＳｈの値がゼロから小さくなっていく。

シャープネスパラメータ算出部３３は、上記（５）式から求めたＳｈの情報に基づいて、Ｓｈ’が正の値となる場合には、例えばＳｈ’に比例して先鋭性が高くなるシャープネス補正用のハイパスフィルタを選択し、Ｓｈ’が負の値となる場合には、例えばＳｈ’に反比例して平滑性が高くなるシャープネス補正用のローパスフィルタを選択する。これを換言すれば、シャープネスパラメータ算出部３３は、フィルタサイズＳｆつまり局所処理の対象となる領域サイズに基づいて決定されたシャープネス補正量Ｓｈに応じて、シャープネス補正部６３でのシャープネス補正処理におけるエッジ抽出周波数特性を変化させると言える。

なお、上記（５）式においてＳｈ’の値がゼロとなる場合は、当該シャープネス補正用のフィルタ処理はなされない（いずれのフィルタも選択されない）。これらハイパスフィルタやローパスフィルタの情報はシャープネスパラメータ算出部３３等に予め記憶されていてもよい。シャープネスパラメータ算出部３３は、当該選択したフィルタの情報をシャープネス補正部６３に送信して該シャープネス補正部６３に設定する。なお、シャープネス補正部６３では、当該設定されたフィルタ情報（ハイパスフィルタ及びローパスフィルタのいずれかのフィルタ）に基づいてシャープネス補正処理が行われる。また、シャープネス補正量Ｓｈ’や、これに基づき選択されたフィルタがここでのシャープネスパラメータに該当する。

図１０は、第２の実施形態における覆い焼きパラメータに応じたシャープネス補正処理に関する動作の一例を示すフローチャートである。先ず、ユーザＩ／Ｆ部５から指示入力されたシャープネス補正量Ｓｈの情報がシャープネスパラメータ算出部３３に設定される（ステップＳ１１）。次に、レリーズスイッチが押下されるなどして撮像センサ２２によって撮影画像が取得され、この撮影画像データが制御部３’に入力される（例えば画像メモリ４に保存される）（ステップＳ１２）。次に、制御部３’の覆い焼きパラメータ算出部３１によって、覆い焼きパラメータ、すなわち圧縮開始レベルＬｓ及び上限値Ｌｍａｘの情報（図３参照）並びにフィルタサイズＳｆの情報が覆い焼き処理部６１に送信されて設定される（ステップＳ１３）。そして、覆い焼き処理部６１によって、当該設定された覆い焼きパラメータに基づいて、覆い焼き処理（基画像Ｉから照明成分Ｌを抽出してこれにＤＲ圧縮を行い、照明成分Ｌ’と反射率成分Ｒとから新たな画像Ｉ’を生成する処理）が行われる（ステップＳ１４）。

一方、制御部３’の階調変換特性算出部３２によって、覆い焼きパラメータ算出部３１で求められた各覆い焼きパラメータに基づいて、第２制御点Ｄ（Ｌｓ、Ｌｓ’）等の算出により階調変換特性（図４、５参照）が算出されて当該階調変換特性の変換テーブル（ＬＵＴ）が作成される。そして、この作成された変換テーブル情報が階調変換部６２に送信されて設定され（ステップＳ１５）、階調変換部６２によって、この変換テーブルに基づいて階調変換処理が行われる（ステップＳ１６）。次に、制御部３’のシャープネスパラメータ算出部３３によって、上記ステップＳ１において入力されたシャープネス補正量Ｓｈが上記覆い焼きパラメータ算出部３１で得られたフィルタサイズＳｆに応じて修正される（（５）式参照）。そして、当該修正後のシャープネス補正量Ｓｈ’に応じてシャープネス補正用のフィルタが選択され、この選択されたフィルタがシャープネス補正部６３に設定され（ステップＳ１７）、当該設定されたフィルタに基づきシャープネス補正部６３によってシャープネス補正処理が行われる（ステップＳ１８）。このシャープネス補正処理により得られた画像データは画像メモリ４に記憶される（ステップＳ１９）。なお、上記ステップＳ１５、Ｓ１６における階調変換処理は必ずしも上述のように覆い焼きパラメータに応じて行わなずともよく、通常のガンマを用いた階調変換処理であってもよいし、当該階調変換処理自体を行わない構成（ステップＳ１４の次にステップＳ１７に進む構成）であってもよい。なお、上記ステップＳ１５、Ｓ１６及びステップＳ１７、Ｓ１８の順序は上述したものに限られず、例えばステップＳ１７、Ｓ１８→ステップＳ１５、Ｓ１６の順番に入れ替えられたものでも構わない。

以上のように、第１の実施形態に係る撮像装置（デジタルカメラ１）によれば、画像入力部２（又は撮像センサ２２）（画像取得手段）によって画像が取得され、覆い焼き処理部６１（覆い焼き処理手段）によって画像に対する覆い焼き処理が行われ、覆い焼きパラメータ算出部３１（覆い焼きパラメータ設定手段）によって覆い焼き処理に関する覆い焼きパラメータが設定され、階調変換部６２（階調変換手段）によって画像に対する階調変換処理が行われ、階調変換特性算出部３２（階調特性設定手段）によって階調変換処理に関する階調変換特性が設定される。そして、階調変換特性算出部３２によって、覆い焼きパラメータ算出部３１に設定された覆い焼きパラメータに基づいて階調変換特性が決定され、階調変換部６２によって、階調変換特性算出部３２により決定された階調変換特性に基づいて階調変換処理が行われる。

これによれば、覆い焼きパラメータに基づいて階調変換特性が決定され、当該決定された階調変換特性に基づいて階調変換処理が行われる構成であるので、階調変換によって高輝度部のコントラスト低下を招くといったことなく、覆い焼き特性に応じた好適な階調特性を得ることができる。

また、覆い焼き処理が、基画像Ｉから抽出された照明成分Ｌを圧縮し、該圧縮された照明成分Ｌ’と画像から抽出された反射率成分Ｒとから新たな画像Ｉ’を生成する処理とされ、階調変換特性算出部３２によって、照明成分Ｌが圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて階調変換特性３１０（３２０）が決定される。

これによれば、照明成分Ｌが圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて階調変換特性が決定されるので、覆い焼き特性が適正に反映された階調変換特性３１０（３２０）を決定することができる。

また、階調変換特性算出部３２によって、覆い焼きパラメータとしての、照明成分Ｌの輝度範囲における所定の圧縮開始レベルＬｓである第１輝度レベルと該圧縮開始レベルＬｓより大きい第２輝度レベルとの情報に基づいて階調変換特性３１０（３２０）が決定される。

これによれば、照明成分の輝度範囲における圧縮開始レベルＬｓである第１輝度レベルと、圧縮開始レベルより大きい第２輝度レベルとの情報に基づいて階調変換特性が決定されるので、或る覆い焼き特性を代表し得る、例えば主被写体が適正な明るさ（或いはコントラスト）が得られるようなレベル値として設定される第１輝度レベルと、この第１輝度レベルより輝度レベルが大きい第２輝度レベルとの情報を用いて、覆い焼き特性が適正に反映された階調特性３１０（３２０）を容易に決定することができる。

また、第１輝度レベルは主被写体の所定輝度値である主被写体輝度（図４、５に示す階調変換入力値Ｉ０）以上の輝度レベルとされ、階調変換特性算出部３２によって、第１輝度レベルを階調変換入力値Ｌｓとしたときの該階調変換入力値Ｌｓに対する階調変換出力値Ｌｓ’が照明成分Ｌの圧縮度合いが大きい場合に小さく、照明成分Ｌの圧縮度合いが小さい場合に大きい値となるように階調変換特性３１０（３２０）が決定される。

これによれば、第１輝度レベルを階調変換入力値Ｌｓとしたときの該階調変換入力値Ｌｓに対する階調変換出力値Ｌｓ’が、照明成分の圧縮度合いが大きい場合に小さく、照明成分の圧縮度合いが小さい場合に大きい値となるように階調変換特性３１０（３２０）が決定されるので、照明成分Ｌの圧縮度合いが大きい場合には、つまり覆い焼き処理における圧縮輝度範囲（ＤＲ）が広い場合には、階調変換出力レベルを低く設定して中輝度又は高輝度部で階調変換出力が抑えられるように（図５に示す場合）、また、照明成分Ｌの圧縮度合いが小さい場合には、つまり上記圧縮輝度範囲が狭い場合には、階調変換出力レベルを高く設定して中輝度又は高輝度部でより高い階調変換出力が得られるように（図４に示す場合）することができ、覆い焼き特性に応じた好適な階調変換を行うことが可能となる。

また、階調変換特性算出部３２によって、主被写体輝度の階調変換入力値Ｉ０を、主被写体の所要の明るさが得られる出力レベルである適正階調変換出力値Ｉ０’に変換し得る階調変換特性３１０（３２０）が決定されるので、階調変換によって主被写体画像が暗くなることが防止され、より好適な階調変換を行うことが可能となる。

さらに、第２の実施形態に係る撮像装置（デジタルカメラ１）は、画像入力部２（又は撮像センサ２２）（画像取得手段）によって画像が取得され、覆い焼き処理部６１（覆い焼き処理手段）によって画像に対する覆い焼き処理が行われ、覆い焼きパラメータ算出部３１（覆い焼きパラメータ設定手段）によって覆い焼き処理に関する覆い焼きパラメータが設定され、シャープネス補正部６３（シャープネス補正手段）によって画像に対するシャープネス補正処理が行われ、シャープネスパラメータ算出部３３（シャープネス補正量設定手段）によってシャープネス補正処理に関するシャープネス補正量Ｓｈが設定される。そして、シャープネスパラメータ算出部３３によって、覆い焼きパラメータ算出部３１に設定された覆い焼きパラメータに基づいてシャープネス補正量Ｓｈが決定され、シャープネス補正部６３によって、シャープネスパラメータ算出部３３により決定されたシャープネス補正量Ｓｈに基づいてシャープネス補正処理が行われる。

これによれば、覆い焼きパラメータに基づいてシャープネス補正量Ｓｈが決定され、当該決定されたシャープネス補正量Ｓｈに基づいてシャープネス補正処理が行われる構成であるので、覆い焼き処理によって高周波成分が強調された不自然な画像が発生することなく、覆い焼き特性に応じた好適なシャープネス特性を得ることができる。

また、覆い焼き処理が、画像（基画像Ｉ）が分割された複数領域に対して各々局所的に処理を施すことで実現され、覆い焼きパラメータが、局所的処理の対象となる各領域のサイズ（領域サイズ）とされる。これによれば、画像の局所処理における領域サイズが覆い焼きパラメータとして扱われるので、画像に対してフィルタ処理する際のフィルタサイズや、画像を領域分割する際の分割ブロックサイズ等の種々のパラメータを覆い焼きパラメータとして用いることが可能となり、これらパラメータが反映された覆い焼きパラメータに応じて好適なシャープネス特性を得ることが可能となる。

また、覆い焼きパラメータが、画像から照明成分Ｌを抽出するフィルタ（エッジ維持フィルタ）のサイズ（フィルタサイズＳｆ）とされ、シャープネスパラメータ算出部３３によって、シャープネス補正量ＳｈがこのフィルタサイズＳｆに基づいて決定される（（５）式参照）。これによれば、シャープネス補正量がフィルタサイズＳｆに基づいて決定されるので、覆い焼き特性に応じたシャープネス補正処理に際しての、覆い焼きパラメータのシャープネス補正量への反映を容易に行うことができる。

また、覆い焼き処理が、画像（基画像Ｉ）が分割された複数領域に対して各々局所的コントラスト補正を施すことで実現され、覆い焼きパラメータが、局所的コントラスト補正の対象となる各領域のサイズ（領域サイズ）とされる。これによれば、画像の局所的コントラスト補正処理における領域サイズが覆い焼きパラメータとして扱われるので、このコントラスト補正処理が反映された覆い焼きパラメータに応じて好適なシャープネス特性を得ることが可能となる。

また、シャープネスパラメータ算出部３３によって、局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正部６３のエッジ抽出周波数特性が変化される。これによれば、領域サイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正部６３におけるエッジ抽出周波数特性が変化される（当該シャープネス補正量に応じたエッジ抽出周波数特性が用いられる）ので、覆い焼き特性に応じたより適正な、エッジ抽出に基づくシャープネス補正を行うことができる。

また、シャープネスパラメータ算出部３３によって、局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じてシャープネス補正部６３のエッジ強調量が変化（変更）される。これによれば、領域サイズに基づき決定されたシャープネス補正量に応じて、シャープネス補正部６３におけるエッジ強調量が変化される（当該シャープネス補正量に応じたエッジ強調量が用いられる）ので、覆い焼き特性に応じたより適正な、エッジ強調に基づくシャープネス補正を行うことができる。

さらに、画像取得手段が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有する撮像センサ２２（リニアログセンサ）とされる。これによれば、撮像センサ２２による撮影によって広ＤＲ画像を容易に得ることができ、覆い焼きパラメータに基づいた階調変換処理において、当該広ＤＲ画像から、主被写体（低輝度部）の明るさやコントラストが確保され且つ高輝度部が好適に調整された画像を容易に得ることが可能となる。

なお、上記実施形態１における、覆い焼きパラメータに基づいて階調変換特性を決定して当該決定した階調変換特性に基づいて階調変換処理を行うといった構成、及び実施形態２における、覆い焼きパラメータに基づいてシャープネス補正量を決定して当該決定したシャープネス補正量に基づいてシャープネス補正処理を行うといった構成は、それぞれ以下の画像処理方法或いは画像処理プログラムにより実現させるものであると言うことができる。

すなわち、画像データに対して覆い焼き処理を行う覆い焼き処理段階と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定段階と、前記設定された覆い焼きパラメータに基づいて階調変換特性を決定する階調変換特性決定段階と、前記決定された階調変換特性に基づいて階調変換処理を行う階調変換処理段階とを有することを特徴とする画像処理方法。

画像データに対する覆い焼き処理に関する覆い焼きパラメータを設定する第１の手順と、該第１の手順で設定された覆い焼きパラメータに基づいて階調変換特性を決定する第２の手順とをコンピュータに実行させることを特徴とする画像処理プログラム。

このような画像処理方法或いは画像処理プログラムを用いることで、覆い焼きパラメータに基づいて階調変換特性が決定され、当該決定された階調変換特性に基づいて階調変換処理が行われるので、階調変換によって高輝度部のコントラスト低下を招くといったことなく、覆い焼き特性に応じた好適な階調特性を得ることができる。

また、すなわち、画像データに対して覆い焼き処理を行う覆い焼き処理段階と、前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定段階と、前記設定された覆い焼きパラメータに基づいてシャープネス補正量を決定するシャープネス補正量決定段階と、前記決定されたシャープネス補正量に基づいてシャープネス補正処理を行うシャープネス補正処理段階とを有することを特徴とする画像処理方法。

画像データに対する覆い焼き処理に関する覆い焼きパラメータを設定する第１の手順と、該第１の手順で設定された覆い焼きパラメータに基づいてシャープネス補正量を決定する第２の手順とをコンピュータに実行させることを特徴とする画像処理プログラム。

このような画像処理方法或いは画像処理プログラムを用いることで、覆い焼きパラメータに基づいてシャープネス補正量が決定され、当該決定されたシャープネス補正量に基づいてシャープネス補正処理が行われるので、覆い焼き処理によって高周波成分が強調された不自然な画像が発生することなく、覆い焼き特性に応じた好適なシャープネス特性を得ることができる。

なお、本発明は、以下の変形態様をとることができる。
（Ａ）上記実施形態１、２においては、覆い焼きパラメータに応じた階調変換処理やシャープネス補正処理を、デジタルカメラ１内（制御部３及び覆い焼き処理部６１）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いてデジタルカメラ１と直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成されたユーザーインターフェイスを備える所定のホスト（例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等のコンピュータ内蔵機器）において当該処理をホスト内のコンピュータに実行させる構成としてもよい。

（Ｂ）上記実施形態２では、シャープネス補正において、照明成分抽出用フィルタのフィルタサイズＳｆ（領域サイズ）に応じて、シャープネス補正量Ｓｈを修正することでシャープネスパラメータを算出するようにしているが、これに限らず、例えば、フィルタサイズＳｆ（領域サイズ）に応じて、コアリング処理により得られる画像に対する輪郭強調量（エッジ強調量）を変化させるようにしてもよい。具体的には、シャープネス補正部６３に、例えば図１１に示すようなフィルタ処理部６４１、加算部６４２、コアリング処理部６４３、輪郭強調量設定部６４４、乗算部６４５及び加算部６４６等を有する輪郭強調処理部６４を備え、コアリング処理部６４３によるコアリング結果（後述のエッジ画像６５４）に対し、輪郭強調量設定部６４４においてフィルタサイズＳｆに応じて設定したゲイン（輪郭強調量）を乗算部６４５によって乗算することで輪郭強調を行う構成とする。ただし、ここでは、輪郭強調量はフィルタサイズＳｆに比例させた値に設定するものとする。

なお、上記フィルタ処理部６４１は、例えば入力画像６５１（元画像）に対し、M×Nすなわち例えばサイズ５×５の対称型フィルタを用いた２次元ＬＰＦ（ローパスフィルタ）処理を行い、低周波成分であるＬＰＦ画像６５２を出力する。加算部６４２は、入力画像６５１とＬＰＦ画像６５２との差分計算を行い、エッジ成分とノイズ成分とが混在した高周波成分（差分画像６５３）を抽出する。コアリング処理部６４３は、差分画像６５３に対してコアリング係数（画像信号のノイズ成分のみを除去してエッジ成分を抽出する係数）を用いてコアリング処理つまりノイズ成分の除去を行い、エッジ画像６５４を出力する。輪郭強調量設定部６４４は、覆い焼きパラメータ算出部３１によって算出されたフィルタサイズＳｆに応じて輪郭強調量を設定する。乗算部６４５は、輪郭強調量設定部６４４に設定された輪郭強調量（ここでは約６倍の強調量としている）をエッジ画像６５４に乗算することで、エッジ強調画像６５５を出力する。加算部６４６は、このエッジ強調画像６５５とフィルタ処理部６４１からのＬＰＦ画像６５２とを乗算（合成）し、出力画像６５６を出力する。このように輪郭強調処理部６４によって、入力画像６５１がノイズ除去されて且つエッジ強調された出力画像６５６が得られる。

第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 上記デジタルカメラの制御部の機能ブロック図である。 覆い焼き処理における照明成分の圧縮特性の一例を示すグラフ図である。 階調変換処理における階調変換特性の一例を示すグラフ図である。 階調変換処理における階調変換特性の一例を示すグラフ図である。 第１の実施形態における覆い焼きパラメータに応じた階調変換処理に関する動作の一例を示すフローチャートである。 第２の実施形態に係るデジタルカメラの制御部の機能ブロック図である。 フィルタサイズＳｆと修正量ΔＳｈとの関係を示すグラフ図である。 上記デジタルカメラのユーザＩ／Ｆ部を示す背面図であり、（ａ）はシャープネスが選択された状態を示す図であり、（ｂ）はポインタが＋１のレベル位置まで移動された状態を示す図である。 第２の実施形態における覆い焼きパラメータに応じたシャープネス補正処理に関する動作の一例を示すフローチャートである。 第２の実施形態における覆い焼きパラメータに応じたシャープネス補正の変形態様の一例を説明するための、シャープネス補正部における輪郭強調処理部の機能ブロック図である。

符号の説明

１ デジタルカメラ（撮像装置）
２ 画像入力部（画像取得手段）
２２ 撮像センサ（画像取得手段）
３、３’ 制御部
３１ 覆い焼きパラメータ算出部（覆い焼きパラメータ設定手段）
３２ 階調変換特性算出部（階調特性設定手段）
３３ シャープネスパラメータ算出部（シャープネス補正量設定手段）
５ ユーザＩ／Ｆ部
６ 画像処理部
６１ 覆い焼き処理部（覆い焼き処理手段）
６２ 階調変換部（階調変換手段）
６３ シャープネス補正部（シャープネス補正手段）
３１０、３２０ 階調変換特性（請求項２、３記載の階調変換特性）

Claims (10)

1. 画像を取得する画像取得手段と、
   前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、
   前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、
   前記画像に対する階調変換処理を行う階調変換手段と、
   前記階調変換処理に関する階調変換特性を設定する階調特性設定手段とを備え、
   前記階調特性設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記階調変換特性を決定し、
   前記階調変換手段は、前記階調特性設定手段により決定された階調変換特性に基づいて階調変換処理を行うことを特徴とする撮像装置。
2. 前記覆い焼き処理は、前記画像から抽出された照明成分を圧縮し、該圧縮された照明成分と前記画像から抽出された反射率成分とから新たな画像を生成する処理であり、
   前記階調特性設定手段は、前記照明成分が圧縮される輝度領域における圧縮の度合いを表すパラメータに基づいて前記階調変換特性を決定することを特徴とする請求項１記載の撮像装置。
3. 前記階調特性設定手段は、前記覆い焼きパラメータとしての、前記照明成分の輝度範囲における所定の圧縮開始レベルである第１輝度レベルと該圧縮開始レベルより大きい第２輝度レベルとの情報に基づいて前記階調変換特性を決定することを特徴とする請求項２記載の撮像装置。
4. 前記第１輝度レベルは、主被写体の所定輝度値である主被写体輝度以上の輝度レベルであり、
   前記階調特性設定手段は、前記第１輝度レベルを階調変換入力値としたときの該階調変換入力値に対する階調変換出力値が、前記照明成分の圧縮度合いが大きい場合に小さく、前記照明成分の圧縮度合いが小さい場合に大きい値となるように前記階調変換特性を決定することを特徴とする請求項３記載の撮像装置。
5. 主被写体の適正階調変換出力値をＩ０’と定める場合において、
   前記階調特性設定手段は、主被写体輝度の階調変換入力値がＩ０であるとするとき、Ｉ０をＩ０’に変換し得る前記階調変換特性を決定することを特徴とする請求項１〜４のいずれかに記載の撮像装置。
6. 画像を取得する画像取得手段と、
   前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、
   前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、
   前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、
   前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、
   前記覆い焼き処理は、前記画像が分割された複数領域に対して各々局所的に処理を施すことで実現され、
   前記覆い焼きパラメータは、前記局所的処理の対象となる各領域のサイズであり、
   前記シャープネス補正量設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記シャープネス補正量を決定し、
   前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする撮像装置。
7. 画像を取得する画像取得手段と、
   前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、
   前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、
   前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、
   前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、
   前記覆い焼き処理は、前記画像から抽出された照明成分を圧縮し、該圧縮された照明成分と前記画像から抽出された反射率成分とから新たな画像を生成する処理であり、
   前記覆い焼きパラメータは、前記画像から照明成分を抽出するフィルタのサイズであり、
   前記シャープネス補正量設定手段は、前記シャープネス補正量を前記フィルタのサイズに基づいて決定し、
   前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする撮像装置。
8. 画像を取得する画像取得手段と、
   前記画像に対する覆い焼き処理を行う覆い焼き処理手段と、
   前記覆い焼き処理に関する覆い焼きパラメータを設定する覆い焼きパラメータ設定手段と、
   前記画像に対するシャープネス補正処理を行うシャープネス補正手段と、
   前記シャープネス補正処理に関するシャープネス補正量を設定するシャープネス補正量設定手段とを備え、
   前記覆い焼き処理は、前記画像が分割された複数領域に対して各々局所的コントラスト補正を施すことで実現され、
   前記覆い焼きパラメータは、前記局所的コントラスト補正の対象となる各領域のサイズであり、
   前記シャープネス補正量設定手段は、前記覆い焼きパラメータ設定手段に設定された覆い焼きパラメータに基づいて前記シャープネス補正量を決定し、
   前記シャープネス補正手段は、前記シャープネス補正量設定手段により決定されたシャープネス補正量に基づいてシャープネス補正処理を行うことを特徴とする撮像装置。
9. 前記シャープネス補正量設定手段は、前記局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、前記シャープネス補正手段のエッジ抽出周波数特性を変化させることを特徴とする請求項６記載の撮像装置。
10. 前記シャープネス補正量設定手段は、前記局所的処理の対象となる各領域のサイズに基づき決定されたシャープネス補正量に応じて、前記シャープネス補正手段のエッジ強調量を変化させることを特徴とする請求項６記載の撮像装置。

Images