JP2011024030A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 本発明の目的は、不自然さの少ない良好なハイライト滲み画像を得ることができる画像処理装置および画像処理プログラムを提供することである。
【解決手段】 本発明の画像処理装置（１６〜２０，２２〜２６）は、入力画像から高輝度領域を抽出する抽出手段（２０）と、抽出手段によって抽出された前記高輝度領域に対する輝度を加味した被写体認識の認識結果、入力画像に対するシーン認識の認識結果、入力画像の撮影時の設定情報のうちの一つ、又は二つ以上の組み合わせから決定した重みにより前記高輝度領域に対する重み付けを行う重み付け手段（２０）と、重み付け手段による前記重み付け後の前記高輝度領域に暈かし処理を施すと共に、その処理後の領域を入力画像の対応する領域に加算して、ハイライト滲み画像を作成する作成手段（２０）とを備える。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理プログラムに関する。

印象的な画像を得るために、被写体の高輝度部（ハイライト部）に暈かしによるソフト効果を与えて光の滲み（ハイライト滲み）を生じさせる方法が一般に知られている。具体的には、例えば、撮像レンズの先端部にソフト系の光学フィルタを装着したり、或いは、撮影した画像にローパスフィルタ処理などの画像処理を施すことによってハイライト滲みを生じさせるといった方法が知られている。

ところで、後者の画像処理による方法では、光学フィルタを使用したときのような自然なハイライト滲みを再現することが難しいという問題がある。これは、ハイライト部に、飽和した画素が多く含まれるためである。

そこで、その問題を解決するための従来技術の一例として、例えば、特許文献１には、入力画像からハイライト部を抽出すると共に、入力画像に第１のローパスフィルタ処理を施して第１のフィルタ画像を生成する。また、抽出したハイライト部に第１のローパスフィルタ処理よりもカットオフ周波数が低い第２のローパスフィルタ処理を施して第２のフィルタ画像を生成する。そして、生成した第１のフィルタ画像と第２のフィルタ画像とを加算することにより、ハイライト滲みを再現した画像を作成するという方法が開示されている。

特開昭６２−１９８９６９号公報

しかしながら、この従来の方法では、例えば、ハイライト部として、高輝度光源の太陽と光反射物の金属製パイプ椅子とが抽出されるような場合、太陽の輝度はパイプ椅子よりも高いのだが、その輝度の違いに拘わらずハイライト部にはローパスフィルタ処理が一様に施される。そのため、高輝度で飽和した画素が多く含まれるハイライト部の周辺に再現されるハイライト滲みは両方とも暈け具合が同程度となってしまい、結果として、作成される画像（ハイライト滲み画像）は、不自然な画像となってしまっていた。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、不自然さの少ない良好なハイライト滲み画像を得ることができる画像処理装置および画像処理プログラムを提供することである。

第１の発明の画像処理装置は、入力画像から高輝度領域を抽出する抽出手段と、抽出手段によって抽出された前記高輝度領域に対する輝度を加味した被写体認識の認識結果、入力画像に対するシーン認識の認識結果、入力画像の撮影時の設定情報のうちの一つ、又は二つ以上の組み合わせから決定した重みにより前記高輝度領域に対する重み付けを行う重み付け手段と、重み付け手段による前記重み付け後の前記高輝度領域に暈かし処理を施すと共に、その処理後の領域を入力画像の対応する領域に加算して、ハイライト滲み画像を作成する作成手段とを備える。

第２の発明は、第１の発明において、重み付け手段は、前記被写体認識の認識結果から前記高輝度領域が輝度の高い光源であると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする。

第３の発明は、第１又は第２の発明において、重み付け手段は、前記被写体認識の認識結果から前記高輝度領域が光を反射する反射物であると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする。

第４の発明は、第１〜第３の発明の何れか一の発明において、重み付け手段は、前記シーン認識の認識結果又は入力画像の撮影時の設定情報から入力画像のシーンが明るいシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする。

第５の発明は、第１〜第４の発明の何れか一の発明において、重み付け手段は、前記シーン認識の認識結果又は入力画像の撮影時の設定情報から入力画像のシーンが暗いシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする。

第６の発明は、第１〜第５の発明の何れか一の発明において、重み付け手段は、前記高輝度領域に対する重み付けを、前記高輝度領域の輝度レベルを調整することによって行う。

第７の発明の画像処理プログラムは、入力画像から高輝度領域を抽出する抽出ステップと、抽出ステップによって抽出された前記高輝度領域に対する輝度を加味した被写体認識の認識結果、入力画像に対するシーン認識の認識結果、入力画像の撮影時の設定情報のうちの一つ、又は二つ以上の組み合わせから決定した重みにより前記高輝度領域に対する重み付けを行う重み付けステップと、重み付けステップによる前記重み付け後の前記高輝度領域に暈かし処理を施すと共に、その処理後の領域を入力画像の対応する領域に加算して、ハイライト滲み画像を作成する作成ステップとをコンピュータに実行させる。

第８の発明は、第７の発明において、重み付けステップは、前記被写体認識の認識結果から前記高輝度領域が輝度の高い光源であると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする。

第９の発明は、第７又は第８の発明において、重み付けステップは、前記被写体認識の認識結果から前記高輝度領域が光を反射する反射物であると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする。

第１０の発明は、第７〜第９の発明の何れか一の発明において、重み付けステップは、前記シーン認識の認識結果又は入力画像の撮影時の設定情報から入力画像のシーンが明るいシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする。

第１１の発明は、第７〜第１０の発明の何れか一の発明において、重み付けステップは、前記シーン認識の認識結果又は入力画像の撮影時の設定情報から入力画像のシーンが暗いシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする。

第１２の発明は、第７〜第１１の発明の何れか一の発明において、重み付けステップは、前記高輝度領域に対する重み付けを、前記高輝度領域の輝度レベルを調整することによって行う。

本発明を利用すれば、不自然さの少ない良好なハイライト滲み画像を得ることができる。

本発明を適用したデジタルカメラの構成を示すブロック図。 ハイライト滲み画像の作成の動作を示すフローチャート。 重み付け方法の例を説明する図。 従来のハイライト滲み画像の作成方法を説明する図。 本発明のハイライト滲み画像の作成方法を説明する図。

以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。

図１は、本実施形態のデジタルカメラのブロック図である。

デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、表示制御部１８と、表示部１９と、制御部２０と、測光部２１と、圧縮／復号部２２と、記録インターフェース（記録Ｉ／Ｆ）２３と、記録媒体２４と、操作部２５と、バス２６とを有している。ここで、バッファメモリ１６、画像処理部１７、表示制御部１８、制御部２０、測光部２１、圧縮／復号部２２、記録Ｉ／Ｆ２３は、バス２６を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２５は、それぞれ制御部２０に接続されている。

撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。

撮像素子１３は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮像レンズ１１の像空間側に配置されている。撮像素子１３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。

アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。

また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。

ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０により記録媒体２４から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。

画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正などの画像処理を施す。画像処理部１７は、ＡＳＩＣなどとして構成される。

表示制御部１８は、制御部２０の指示に応じて、バッファメモリ１６の画像データに表示部１９の表示解像度に合わせた解像度変換（画素数変換）処理、及び所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施して得られる映像信号を表示部１９へ出力する。この出力により、画像データが表示部１９に表示される。なお、表示部１９は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどである。

測光部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに基づき、多分割測光（マルチパターン測光）、中央部重点測光、スポット測光などの公知の測光方式により被写体や撮影シーン全体の明るさを示す、或いは撮影シーンの明るさ分布を示す評価値を算出する。

圧縮／復号部２２は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。圧縮／復号部２２は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

記録Ｉ／Ｆ２３には、記録媒体２４を接続するためのコネクタが形成されている。記録Ｉ／Ｆ２３は、そのコネクタに接続された記録媒体２４にアクセスして、各種データの書き込みや読み出しを行う。制御部２０は、撮影時には、この記録Ｉ／Ｆ２３を介して、バッファメモリ１６の圧縮処理後の画像データを記録媒体２４へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、バッファメモリ１６の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体２４へ記録する。また、制御部２０は、画像再生時には、記録Ｉ／Ｆ２３を介して、その記録された画像データを記録媒体２４から読み出してバッファメモリ１６へ記録する。なお、記録媒体２４は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。

操作部２５は、レリーズ釦、モード設定釦、メニュー釦、画像再生釦等の各種の操作部材を含み、ユーザーによるそれらの操作内容に応じた操作信号を制御部２０に送る。

制御部２０は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。

例えば、モード設定釦等の操作によりデジタルカメラが撮影モードに設定されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の取得を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で駆動され、スルー画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。制御部２０は、そのスルー画像の画像データを基に、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、測光部２１を駆動して、バッファメモリ１６のスルー画像の画像データを基に被写体や撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部１４などの設定内容を調整する。また、制御部２０は、画像処理部１７を駆動してバッファメモリ１６のスルー画像の画像データに画像処理を施した後、表示制御部１８を駆動して画像処理後のスルー画像の画像データを表示部１９に順次表示させる（ライブビュー表示）。

次に、撮影モードで動作中にレリーズ釦が半押しされると、制御部２０は、本撮影に先立ち、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。

また、撮影モードで動作中にレリーズ釦が全押しされると、制御部２０は、測光部２１が算出した評価値に基づき撮影条件（絞り値、シャッター速度、ストロボ発光の有無など）を決定する。そして、制御部２０は、決定した撮影条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して本撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動され、撮影された本画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された本画像の画像データに対し画像処理を施す。また、制御部２０は、表示制御部１８を駆動して、画像処理後の本画像を表示部１９に表示させる。そして、制御部２０は、圧縮／復号部２２を駆動して、画像処理後の本画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本画像の画像データを記録Ｉ／Ｆ２３を介して記録媒体２４へ記録する。なお、制御部２０は、デジタルカメラが非圧縮記録モードに設定されている場合には、圧縮／復号部２２を駆動することなく、画像処理後の本画像の画像データを非圧縮のまま記録Ｉ／Ｆ２３を介して記録媒体２４へ記録する。

また、画像再生釦が押下されると、制御部２０は、記録媒体２４に記録された本画像等の画像データを記録Ｉ／Ｆ２３を介してバッファメモリ１６へ読み出す。その後、制御部２０は、必要に応じて圧縮／復号部２２を駆動して、そのバッファメモリ１６の画像データに復号処理を施す。そして、制御部２０は、表示制御部１８を駆動して、バッファメモリ１６の画像データを表示部１９に表示させる。

ところで、本実施形態のデジタルカメラは、あたかも光学フィルターによって生じたかのような高輝度部の光の滲み（ハイライト滲み）を画像処理によって再現したハイライト滲み画像を作成する機能を有している。

以下、この機能について、本実施形態のデジタルカメラが行う動作を、図２のフローチャートを参照して説明する。図２のフローチャートの処理は、例えば、画像再生中に表示される画像加工メニュー画面（ＧＵＩ）から、ユーザーが、「ハイライト滲み画像作成」の項目を選択して「ＯＫボタン」を押下した場合に実行されるものである。なお、画像加工メニュー画面（ＧＵＩ）は、画像再生中に、加工対象となる本画像が表示された状態で、操作部２５のメニュー釦を押下すると表示される。

ステップ１０１（Ｓ１０１）：制御部２０は、「ハイライト滲み画像作成」の加工対象としてユーザーが指定した本画像（実際には本画像を記録した画像ファイル）を、記録Ｉ／Ｆ２３を介して記録媒体２４から読み出してバッファメモリ１６へコピーする。以下では、このバッファメモリ１６にコピーされた本画像を元画像と称する。

また、必要に応じて、制御部２０は、圧縮／復号部２２を駆動して、元画像に対して復号処理を施す。

ステップ１０２：制御部２０は、元画像から高輝度領域を抽出する。高輝度領域の抽出は、元画像の各画素のＲＧＢ値から求められる輝度値や、元画像撮影時（実際には元画像のコピー元の本画像撮影時。以下の説明においても同様。）の測光センサー（本実施形態においては測光部２１）の各測光エリアの評価値が、予め定めた閾値を超えるか否かを比較することなどによって行う。なお、評価値は、例えば、元画像を記録する画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、元画像撮影時に、画像ファイルのＭａｋｅｒＮｏｔｅなどのタグ情報として記録しておくようにする。そして、本ステップでは、その評価値を画像ファイルから取得して使用するようにするとよい。

その後、制御部２０は、抽出した高輝度領域のみが含まれる画像を作成する。なお、作成された画像はバッファメモリ１６へ格納される。以下では、このバッファメモリ１６に格納された画像を中間画像と称する。

ステップ１０３：制御部２０は、中間画像の高輝度領域に対して輝度を加味した被写体認識を行う。具体的には、高輝度領域に対する被写体認識を、上記の元画像撮影時の評価値を考慮して行うようにする。例えば、評価値を考慮して、太陽や花火のような輝度の高い光源と、それよりも輝度の低い人物や動物のような光を反射する反射物とを判別するようにする。

ステップ１０４：制御部２０は、認識結果によって処理を分岐する。例えば、認識結果が「太陽」の場合にはステップ１０５へ移行する。また、例えば、認識結果が「人物」の場合にはステップ１０６へ移行する。なお、認識結果が、被写体を認識できない「不明」の場合にはステップ１０７へ移行する。

ステップ１０５：（認識結果が「太陽」等の場合の処理）
制御部２０は、認識結果から高輝度領域が輝度の高い光源であると判断して、中間画像の高輝度領域の重みを上げる（大きくする）ように重み付けを行う。具体的には、制御部２０は、当該高輝度領域の輝度レベルを現状よりも高くするように調整する。

そして、制御部２０は、ステップ１１５へ移行する。

ステップ１０６：（認識結果が「人物」等の場合の処理）
制御部２０は、認識結果から高輝度領域が光を反射する反射物であると判断して、中間画像の高輝度領域の重みを下げる（小さくする）ように重み付けを行う。具体的には、制御部２０は、当該高輝度領域の輝度レベルを現状よりも低くするように調整する。

そして、制御部２０は、ステップ１１５へ移行する。

ステップ１０７：制御部２０は、元画像に対してシーン認識を行う。なお、シーン認識は、例えば、元画像の色分布を調べることなどによって行える。また、シーン認識においては、上記の元画像撮影時の評価値を考慮するようにしてもよい。例えば、評価値を考慮して、日中のビーチのような明るいシーンと、夜景のような暗いシーンとを判別するようにする。

ステップ１０８：制御部２０は、認識結果によって処理を分岐する。例えば、認識結果が「夜景」の場合にはステップ１０９へ移行する。また、例えば、認識結果が「明るいビーチ」の場合にはステップ１１０へ移行する。なお、認識結果が、シーンを認識できない「不明」の場合にはステップ１１１へ移行する。

ステップ１０９：（認識結果が「夜景」等の場合の処理）
制御部２０は、認識結果から、高輝度領域（光源や反射物）の輝度がシーン（ここでは「夜景」）全体の明るさに比べて相対的に高くなるものと判断して、中間画像の高輝度領域の重みを上げる（大きくする）ように重み付けを行う。具体的には、制御部２０は、当該高輝度領域の輝度レベルを現状よりも高くするように調整する。

そして、制御部２０は、ステップ１１５へ移行する。

ステップ１１０：（認識結果が「明るいビーチ」等の場合の処理）
制御部２０は、認識結果から、高輝度領域（光源や反射物）の輝度がシーン（ここでは「明るいビーチ」）全体の明るさに比べて相対的に低くなるものと判断して、中間画像の高輝度領域の重みを下げる（小さくする）ように重み付けを行う。具体的には、制御部２０は、当該高輝度領域の輝度レベルを現状よりも低くするように調整する。

そして、制御部２０は、ステップ１１５へ移行する。

ステップ１１１：制御部２０は、元画像撮影時のカメラの設定情報を取得する。なお、設定情報は、例えば、元画像を記録する画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、元画像撮影時に、画像ファイルのＭａｋｅｒＮｏｔｅなどのタグ情報として記録しておくようにする。そして、本ステップでは、その設定情報を画像ファイルから取得して使用するようにするとよい。以下では、設定情報がシーンモードであるものとして説明を行う。

ステップ１１２：制御部２０は、取得したシーンモードによって処理を分岐する。例えば、シーンモードが「夜景モード」の場合にはステップ１１３へ移行する。また、例えば、シーンモードが「ポートレートモード」の場合にはステップ１１４へ移行する。なお、シーンモードが、重み付けの対象外の「それ以外」である場合にはステップ１１５へ移行する。

ステップ１１３：（シーンモードが「夜景モード」等の場合の処理）
制御部２０は、シーンモード（ここでは「夜景モード」）から元画像が暗いシーンで撮影されたと推定できるので、高輝度領域（光源や反射物）の輝度はシーン全体の明るさに比べて相対的に高くなるものと判断する。そして、制御部２０は、中間画像の高輝度領域の重みを上げる（大きくする）ように重み付けを行う。具体的には、当該高輝度領域の輝度レベルを現状よりも高くするように調整する。

その後、制御部２０は、ステップ１１５へ移行する。

ステップ１１４：（シーンモードが「ポートレートモード」等の場合の処理）
制御部２０は、シーンモード（ここでは「ポートレートモード」）から元画像が人物を写したものであると推定できるため、高輝度領域（人物の瞳や頬や唇に現れた艶部分などによる反射光の領域）の輝度はシーン全体の明るさに比べて相対的に低くなるものと判断する。そして、制御部２０は、中間画像の高輝度領域の重みを下げる（小さくする）ように重み付けを行う。具体的には、当該高輝度領域の輝度レベルを現状よりも低くするように調整する。

ステップ１１５：制御部２０は、中間画像の高輝度領域に対して暈かし処理を施す。なお、ボカシ処理は、例えば、画像に対して点広がり関数（ガウス関数など）を用いた畳み込み演算を施すことにより実行される。或いは、点広がり関数の代わりに、ローパスフィルタ等の種々のデジタルフィルタを用いても、同様のボカシ処理を施すことができる。

ステップ１１６：制御部２０は、暈かし処理を施した後の中間画像を元画像に加算することによってハイライト滲み画像を作成する。なお、作成されたハイライト滲み画像はバッファメモリ１６へ格納される。

ステップ１１７：制御部２０は、表示制御部１８を駆動して、バッファメモリ１６のハイライト滲み画像を表示部１９に表示させる。この表示により、ユーザーは、その出来映えを確認することができる。

また、必要に応じて、制御部２０は、圧縮／復号部２２を駆動して、バッファメモリ１６のハイライト滲み画像に対して圧縮処理を施す。

そして、制御部２０は、バッファメモリ１６のハイライト滲み画像を記録Ｉ／Ｆ２３を介して記録媒体２４へ記録する。このとき、ハイライト滲み画像は、その加工対象としてユーザーが指定したオリジナルの本画像とは別の画像として記録媒体２４へ記録される。

以上、本実施形態のデジタルカメラが行うハイライト滲み画像の作成の動作を説明した。

ところで、上記では、高輝度領域の重み付け方法の一例として、被写体認識やシーン認識の結果が「太陽」、「人物」、「夜景」、「明るいビーチ」である場合、また、撮影時の設定情報が「夜景モード」、「ポートレートモード」である場合を挙げた。しかし、これら以外の場合にも、例えば図３に示すような方法で高輝度領域の重み付けを行うようにしてもよい。

具体的には、図３の例に示すように、輝度を加味した被写体認識の結果が、それ自体が光ることのない「顔」や「椅子」や「木」の場合、上記ステップ１０６の処理のように、それら顔や椅子や木（高輝度領域）が光を反射する反射物であると判断して、その高輝度領域の重みを下げるように重み付けを行う。また、輝度を加味した被写体認識の結果が、それ自体が光る「街灯」や「クリスマスツリー」や「輝度が時間的に変化（光の点滅など）する被写体」の場合、上記ステップ１０５の処理のように、それら（高輝度領域）が輝度の高い光源であると判断して、その高輝度領域の重みを上げるように重み付けを行う。なお、「輝度が時間的に変化（光の点滅など）する被写体」の場合は、デジタルカメラで当該被写体の変化をスルー画像などから認識し、その認識した情報（輝度が変化すること、画像中の被写体領域の位置やサイズなど）を、元画像撮影時に、元画像の画像ファイルへ記録しておくようにする。その記録において、例えば、画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、画像ファイルのＭａｋｅｒＮｏｔｅなどのタグ情報として記録するとよい。

また、図３の例に示すように、輝度を加味した被写体認識において、高輝度領域についての測光センサーの出力、つまり、上記の元画像撮影時の評価値が、撮像センサーの飽和輝度よりも高輝度であることを示す場合には、高輝度領域の重みを上げるように重み付けを行うようにする。一般に、測光センサー（本実施形態においては測光部２１）は、撮像センサー（本実施形態においては撮像素子１３）よりも飽和しにくく、より高いレベルの輝度まで検出することができる。そのため、測光センサーの出力がそのように高輝度であることを示す場合、飽和して白飛びした画素を含んだ高輝度領域の実際の輝度は画像から判断されるよりもさらに高いと考えられるので、この場合には、高輝度領域の重みを上げるように重み付けを行うようにする。なお、元画像撮影時の評価値は、既述のとおり元画像の画像ファイルから取得する。また、輝度を加味した被写体認識において、高輝度領域についての測光センサーの出力が、撮像センサーの飽和輝度と略等しいことを示す場合には、高輝度領域の重みを下げるように重み付けを行う。

また、図３の例に示すように、シーン認識の結果が、上記の「明るいビーチ」のような「明るいシーン」の場合、上記ステップ１１０の処理のように、高輝度領域（光源や反射物）の輝度がシーン全体の明るさに比べて相対的に低くなるものと判断して、その高輝度領域の重みを下げるように重み付けを行う。

また、図３の例に示すように、シーン認識の結果が、上記の「夜景」のような「暗いシーン」の場合、上記ステップ１０９の処理のように、高輝度領域（光源や反射物）の輝度がシーン全体の明るさに比べて相対的に高くなるものと判断して、その高輝度領域の重みを上げるように重み付けを行う。

また、図３の例に示すように、元画像撮影時の設定情報（ここではシーンモード）が「キャンドルモード」の場合、元画像が比較的暗いシーンで撮影されたと推定できるので、高輝度領域（光源や反射物）の輝度はシーン全体の明るさに比べて相対的に高くなるものと判断する。そして、「キャンドルモード」で誕生日のバースデーケーキを撮影するような場面の場合、その高輝度領域のうち、大面積の部分、例えば、ケーキの部分ではなく、小面積の部分、例えば、ケーキの上にある火の灯ったローソクの部分の重みを上げるように重み付けを行うようにする。

（実施形態の補足事項）
なお、上記では、輝度を加味した被写体の認識結果、シーンの認識結果、撮影時の設定情報（シーンモードなど）の何れか１つの条件によって高輝度領域の重み付けを変えるようにしている。しかし、輝度を加味した被写体の認識結果、シーンの認識結果、撮影時の設定情報の２つ以上の条件を組み合わせて高輝度領域の重み付けを変えるようにしてもよい。

例えば、輝度を加味した被写体の認識結果が「人物」であり、シーンの認識結果が「夜景」である場合には、先ず、その被写体の認識結果から、人物（高輝度領域）の重みを下げるように重み付けを行う。具体的には、例えば、人物（高輝度領域）の輝度レベルを、現状が「１８０」（ここでは平均輝度）であるとすると、それよりも低い「１２０」にするように調整する。そして、その後に、シーンの認識結果から、その人物（高輝度領域）の重みを上げるように重み付けを行う。具体的には、例えば、人物（高輝度領域）の輝度レベルを、先の調整後の「１２０」から、それよりも高い「１６０」にするように調整する。

また、画像中に高輝度領域が複数（２つ以上）含まれる場合は、次のように重み付けを行う。例えば、２つの高輝度領域が抽出され、輝度を加味した被写体の認識結果が「人物」と「太陽」であり、シーンの認識結果が「明るいシーン（明るいビーチなど）」である場合には、先ず、その被写体の認識結果から、人物（高輝度領域１）については重みを下げるように、太陽（高輝度領域２）については重みを上げるように重み付けを行う。具体的には、人物（高輝度領域１）の輝度レベルを、例えば、現状が「１４０」（ここでは平均輝度）であるとすると、それよりも低い「１００」にするように調整する。また、太陽（高輝度領域２）の輝度レベルを、例えば、現状が「２２０」（ここでは平均輝度）であるとすると、それよりも高い「２５０」にするように調整する。そして、その後に、シーンの認識結果から、人物（高輝度領域１）と太陽（高輝度領域２）の両方の重みを下げるように重み付けを行う。具体的には、人物（高輝度領域１）の輝度レベルを、例えば、先の調整後の「１００」から、それよりも低い「７０」にするように調整する。また、太陽（高輝度領域２）の輝度レベルを、例えば、先の調整後の「２５０」から、それよりも低い「２２０」にするように調整する。

なお、高輝度領域の輝度レベル調整は、上記のように条件毎に（つまり２回に分けて）行う必要はなく、もちろん、１度で行ってもよい。

また、上記では、制御部２０が、高輝度領域の抽出、被写体やシーンの認識、撮影時の設定情報（シーンモードなど）の判定、暈かし処理、中間画像と元画像の加算など、ハイライト滲み画像の作成に係る一連の処理を行うようにした。しかし、これらの処理は、画像処理部１７が制御部２０の指示に応じて行うようにしてもよい。或いは、専用の回路を設けて、その回路が制御部２０の指示に応じて行うようにしてもよい。

また、上記では、画像再生の状態からハイライト滲み画像の作成処理を実行するように説明したが、デジタルカメラに、ハイライト滲み画像を撮影するための専用のモードを設けて、ユーザーがそのモードを有効に設定して本撮影を行った場合に、本撮影の動作の中でその処理を実行するようにしてもよい。その場合、本撮影で取得される本画像を使用してハイライト滲み画像を作成するようにする。

また、上記では説明しなかったが、上記ステップ１１５で高輝度領域に対して暈かし処理を施す場合、暈かしの形状は、一般的な円形だけでなく、三角形、四角形、星形など、如何なる形状であってもよい。また、暈かしの形状を、デジタルカメラに予め用意しておいたものの中からユーザーに選択させるようにしてもよい。

また、高輝度領域に対して暈かし処理を施す場合、当該高輝度領域の輝度の大きさに応じて暈かしの面積を変更するようにしてもよい。例えば、高輝度領域の輝度が太陽のように高輝度である場合には暈かしの面積を大きくするようにする。

また、上記ステップ１１７でハイライト滲み画像を表示させた際に、暈かし以降の処理のやり直しをユーザーに指示させるようにしてもよい。その場合、例えば、暈かしの形状、暈かしの面積、暈かしの強度（強弱）などを変更して処理のやり直しを指示できるようにするとよい。なお、暈かしの強度の変更については、画像中に複数の高輝度領域が含まれる場合、各高輝度領域の強度が個別に変更されるのではなく、全ての高輝度領域の強度が一律に「強（＋）」或いは「弱（−）」に変更されるようにするとよい。

また、上述したハイライト滲み画像の作成に係る処理では、ＲＧＢ成分を用いるようにしたが、ＲＧＢ成分を輝度成分（Ｙ）と色差成分（Ｃｒ，Ｃｂ）とに変換し、変換後の成分を用いて処理を行うようにしてもよい。

また、輝度成分（Ｙ）と色差成分（Ｃｒ，Ｃｂ）を用いる場合、高輝度領域が青色の光源（青色ＬＥＤなど）などであると、作成されたハイライト滲み画像において光源が実物と異なる不自然な色合いになってしまうことが考えられる。そのため、上記ステップ１１６では、そうならないように、輝度成分（Ｙ）の大きさに応じて色差成分（Ｃｒ，Ｃｂ）のブレンド比を変えるようにしてハイライト滲み画像を作成するとよい。

また、輝度成分（Ｙ）と色差成分（Ｃｒ，Ｃｂ）を用いる場合、元画像中に赤色ＬＥＤのような光源が含まれると、上記ステップ１０２で高輝度領域を抽出する際に、その光源の領域が抽出されないことが考えられる。これは、赤色ＬＥＤ（光源）の輝度値が、抽出に用いる閾値（予め定めた値）よりも低くなることが考えられるからである。そのため、このような場合には、輝度成分（Ｙ）だけでなく、色差成分（Ｃｒ，Ｃｂ）も加味して、高輝度領域を抽出するようにするとよい。

（実施形態の作用効果）
以下、本実施形態の作用効果を、図４及び図５を参照しながら説明する。

ここで、図４を参照して、先ず、従来のハイライト滲み画像の作成方法を簡単に説明する。例えば、図４の（１）に示すように、太陽と直方体と立方体が写った画像（元画像）があるとする。なお、太陽は高輝度であるが、直方体は輝度が低いものであるとする。また、立方体は高輝度であるが、太陽よりも輝度が低いものであるとする。

従来の方法では、先ず、この元画像から太陽及び立方体の部分を高輝度領域として抽出し、それら高輝度領域のみが含まれる画像（中間画像）を作成する。つまり、図４の（２）に示す内容の中間画像を作成する。

次に、中間画像の高輝度領域に対してそれぞれ暈かし処理を施す。これにより、中間画像は、図４の（３）に示すような内容となる。

そして、暈かし処理後の中間画像を元画像に加算することによって、図４の（４）に示すような内容のハイライト滲み画像を作成する。

このように、従来の方法では、例えば、図４の（４）に示すように、画像処理によって、太陽及び立方体の周辺に光の滲み（ハイライト滲み）が再現される。しかし、太陽の輝度は立方体よりも高いのだが、高輝度なそれらの領域に含まれる画素は飽和しているものが多いので、太陽と立方体の周辺に再現される光の滲み（ハイライト滲み）は両方とも暈け具合が同程度となってしまい、結果として、作成されるハイライト滲み画像は、不自然な画像となってしまう。

一方、本実施形態のデジタルカメラでは、例えば、図５の（１）に示すように、太陽と直方体と立方体（輝度レベルは従来の場合と同じとする）が写った画像（元画像）があるとすると、先ず、この元画像から太陽及び立方体の部分が高輝度領域としてそれぞれ抽出され、それら高輝度領域のみが含まれる画像（中間画像）が作成される。つまり、図５の（２）に示す内容の中間画像が作成される。

次に、高輝度領域に対する被写体やシーンの認識結果、また元画像撮影時の設定情報（シーンモードなど）から、高輝度領域に対する重みが決定され、その決定された重みにより中間画像中の太陽と立方体の部分（高輝度領域）に対してそれぞれ重み付けが行われる。具体的には、太陽の部分（高輝度領域）に対しては、その部分の輝度レベルが現状よりも高くなるように調整が行われる。他方、立方体の部分（高輝度領域）に対しては、その部分の輝度レベルが現状よりも低くなるように調整が行われる。この場合、立方体は、例えば、人物などの光を反射する反射物であるとしている。このような重み付けにより、中間画像は、図５の（３）に示すような内容となる。

この重み付けの後、中間画像の高輝度領域に対してそれぞれ暈かし処理が施される。これにより、中間画像は、図５の（４）に示すような内容となる。

そして、暈かし処理後の中間画像を元画像に加算することによって、図５の（５）に示すような内容のハイライト滲み画像が作成される。

つまり、この場合、本実施形態のデジタルカメラでは、太陽と反射物（立方体）とが認識され、太陽の高輝度領域に対しては重みが大きくなるように、他方、反射物の高輝度領域に対しては重みが小さくなるように重み付けが行われる。そのため、作成されるハイライト滲み画像において、太陽のハイライト滲みは相対的に強く、反射物のハイライト滲みは相対的に弱くなるように再現される。

このように、本実施形態のデジタルカメラでは、高輝度領域の重み付けを、被写体やシーンの認識結果、また撮影時の設定情報によって変えるようにしている。そのため、飽和した画素が多く含まれる高輝度領域であるが、その領域の輝度は、実際の被写体のレベルに近づけられる。これにより、各高輝度領域の周辺に再現される光の滲み（ハイライト滲み）はそれぞれに暈け具合が良好なものとなり、結果として、作成されるハイライト滲み画像は、不自然さの少ない良好な画像となる。

従って、本実施形態のデジタルカメラによれば、不自然さの少ない良好なハイライト滲み画像を得ることができる。

（その他）
なお、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。そうした場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。

また、上記ではデジタルカメラ（デジタルスチルカメラ）の実施例を説明したが、本発明は、デジタルビデオカメラや、さらに、カメラ以外の装置／機器、例えば、画像ストレージャ、画像サーバー、ＤＶＤレコーダ、ハードディスクレコーダ、プリンタ、ＦＡＸ、携帯電話機などにも適用可能である。

１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…表示制御部，１９…表示部，２０…制御部，２１…測光部，２２…圧縮／復号部，２３…記録インターフェース（記録Ｉ／Ｆ），２４…記録媒体，２５…操作部，２６…バス

Claims (12)

1. 入力画像から高輝度領域を抽出する抽出手段と、
   前記抽出手段によって抽出された前記高輝度領域に対する輝度を加味した被写体認識の認識結果、前記入力画像に対するシーン認識の認識結果、前記入力画像の撮影時の設定情報のうちの一つ、又は二つ以上の組み合わせから決定した重みにより前記高輝度領域に対する重み付けを行う重み付け手段と、
   前記重み付け手段による前記重み付け後の前記高輝度領域に暈かし処理を施すと共に、その処理後の領域を前記入力画像の対応する領域に加算して、ハイライト滲み画像を作成する作成手段と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記重み付け手段は、前記被写体認識の認識結果から前記高輝度領域が輝度の高い光源であると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記重み付け手段は、前記被写体認識の認識結果から前記高輝度領域が光を反射する反射物であると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする
   ことを特徴とする画像処理装置。
4. 請求項１〜請求項３の何れか一項に記載の画像処理装置において、
   前記重み付け手段は、前記シーン認識の認識結果又は前記入力画像の撮影時の設定情報から前記入力画像のシーンが明るいシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする
   ことを特徴とする画像処理装置。
5. 請求項１〜請求項４の何れか一項に記載の画像処理装置において、
   前記重み付け手段は、前記シーン認識の認識結果又は前記入力画像の撮影時の設定情報から前記入力画像のシーンが暗いシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする
   ことを特徴とする画像処理装置。
6. 請求項１〜請求項５の何れか一項に記載の画像処理装置において、
   前記重み付け手段は、前記高輝度領域に対する重み付けを、前記高輝度領域の輝度レベルを調整することによって行う
   ことを特徴とする画像処理装置。
7. 入力画像から高輝度領域を抽出する抽出ステップと、
   前記抽出ステップによって抽出された前記高輝度領域に対する輝度を加味した被写体認識の認識結果、前記入力画像に対するシーン認識の認識結果、前記入力画像の撮影時の設定情報のうちの一つ、又は二つ以上の組み合わせから決定した重みにより前記高輝度領域に対する重み付けを行う重み付けステップと、
   前記重み付けステップによる前記重み付け後の前記高輝度領域に暈かし処理を施すと共に、その処理後の領域を前記入力画像の対応する領域に加算して、ハイライト滲み画像を作成する作成ステップと
   をコンピュータに実行させることを特徴とする画像処理プログラム。
8. 請求項７に記載の画像処理プログラムにおいて、
   前記重み付けステップは、前記被写体認識の認識結果から前記高輝度領域が輝度の高い光源であると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする
   ことを特徴とする画像処理プログラム。
9. 請求項７又は請求項８に記載の画像処理プログラムにおいて、
   前記重み付けステップは、前記被写体認識の認識結果から前記高輝度領域が光を反射する反射物であると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする
   ことを特徴とする画像処理プログラム。
10. 請求項７〜請求項９の何れか一項に記載の画像処理プログラムにおいて、
    前記重み付けステップは、前記シーン認識の認識結果又は前記入力画像の撮影時の設定情報から前記入力画像のシーンが明るいシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを小さくする
    ことを特徴とする画像処理プログラム。
11. 請求項７〜請求項１０の何れか一項に記載の画像処理プログラムにおいて、
    前記重み付けステップは、前記シーン認識の認識結果又は前記入力画像の撮影時の設定情報から前記入力画像のシーンが暗いシーンであると判断される場合には、前記高輝度領域に対する重み付けの重みを大きくする
    ことを特徴とする画像処理プログラム。
12. 請求項７〜請求項１１の何れか一項に記載の画像処理プログラムにおいて、
    前記重み付けステップは、前記高輝度領域に対する重み付けを、前記高輝度領域の輝度レベルを調整することによって行う
    ことを特徴とする画像処理プログラム。
    

Images