JP6741881B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関し、特にハイダイナミックレンジ処理を行う画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。

デジタルカメラなどでダイナミックレンジの広い被写体についての撮影画像を取得すると、ハイライト部分の白飛びやシャドウ部分の黒つぶれが発生することがある。被写体の持つダイナミックレンジをより広く撮影画像で表現させる方法の１つとして、ハイダイナミックレンジ処理（ダイナミックレンジ拡大処理）がある。

例えば特許文献１では、逆光時の撮影であっても白飛びや黒つぶれの発生が抑制された撮影画像を取得することを目的とした技術が記載されている。具体的には、特許文献１では、高露出画像、中間露出画像、および低露出画像を合成して、合成画像を得ることにより、白飛びや黒つぶれが抑制された画像を得ることを目的とした技術が記載されている。

特開２０１３−２１４８７８号公報

ハイダイナミックレンジ処理を行う場合に、トーンマッピングという処理がある。撮影画像に対してトーンマッピングを行うことにより、画像を表示可能なコントラストにする。ここでトーンマッピングの手法として例えば、全体的にコントラストを下げることにより表示可能な画像にする場合と、局所的なコントラストを調整することにより表示可能な画像にする場合とがある。

局所的にコントラストの調整を行う場合には、代表輝度（基準輝度）を決定し、その代表輝度に基づいて、トーンマッピングが行われる。ここで代表輝度は例えば、画像全体の平均輝度を代表輝度とすることが知られている。

しかしながら、画像にはユーザが主被写体として捉えていない被写体も存在することがあり、ハイダイナミックレンジ処理における画像合成時に非主被写体の明エリア、または暗エリアの輝度についても、代表輝度の算出に使用されてしまう。このように算出された代表輝度に基づいてトーンマッピングが行われると、ハイダイナミックレンジ処理後の画像の全体のコントラストが低下したり、撮影者の意図したハイダイナミックレンジ処理後の画像が得られない場合がある。

さらに逆光シーンのようなシャドウ部とハイライト部の明暗差が大きい場合には、シャドウ部に豊かな階調を持たせるか、ハイライト部に豊かな階調を持たせるかで、得られる画像の印象は大きく変わってくる。したがって、階調を豊かにしたい輝度に応じてトーンカーブを決定する必要がある。よって、撮影者の撮影意図が反映された代表輝度に応じてトーンカーブが決定されることにより、撮影者の撮影意図に沿った画像を得ることができる。

ここで、撮影者は撮影時に自分の撮影意図を反映させるためにカメラの設定を行う場合がある。撮影者が撮影意図を反映させる場合として、例えば、撮影者は撮影時の測光モードを選択することにより、撮影画像の明るさにおいて、撮影者の撮影意図を反映させる。また、撮影者が撮影意図を反映させる他の場合として、撮影者は撮影意図をもって主被写体を決定し、その主被写体に対して合焦をさせる。このように、撮影者は自分の撮影意図に沿った画像を取得するために、カメラに設定を施す。

このような撮影者の撮影意図が反映された設定をトーンマッピングにおける代表輝度に反映させることにより、ハイダイナミックレンジ処理を行った画像において、撮影者の意図が反映された画像を得ることができる。上述の特許文献１には、撮影者の撮影意図を反映させたハイダイナミックレンジ処理に関して言及されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、撮影者の撮影意図が反映されたハイダイナミックレンジ処理を行うことができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することである。

上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部と、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部と、注目エリア設定部で設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出部と、第１の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部と、を備える。

本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、設定された測光モードを示す測光モード情報に基づいて設定された注目エリア内の輝度情報に基づいて、算出される。そして本態様では、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定される。したがって、本態様は、撮影者の撮影意図に沿ったハイダイナミックレンジ処理の条件の決定を実現することができる。

好ましくは、第１の条件決定部は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件を決定する。

本態様によれば、第１の条件決定部により、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件が決定される。これにより、本態様は、代表輝度の近傍において階調が豊かに表現されることにより、撮影者の撮影意図が反映されたハイダイナミックレンジ処理の条件の決定を実現することができる。

好ましくは、注目エリア設定部は、測光モード情報における測光エリアを注目エリアに設定する。

本態様によれば、注目エリア設定部により、測光モード情報における測光エリアが注目エリアに設定されるので、撮影者が選択した測光モードでの測光エリアと同様のエリアの輝度情報に基づいて代表輝度が算出される。

好ましくは、注目エリア設定部は、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けを設定し、第１の輝度算出部は、重み付けがされた周辺エリアの輝度情報、および注目エリアの輝度情報に基づいて、代表輝度を算出する。

本態様によれば、注目エリア設定部により、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けが設定され、第１の輝度算出部により、重み付けがされた周辺エリアの輝度情報、および注目エリア内の輝度情報に基づいて、代表輝度が算出される。これにより、本態様は、注目エリア内の輝度情報だけでなく注目エリアの周辺の周辺エリアの輝度情報に基づいて、代表輝度が算出されるので、撮影者の撮影意図を反映させつつ、撮影画像の全体の輝度が反映されたハイダイナミックレンジ処理の条件の決定を実現することができる。

好ましくは、測光モード情報取得部は、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報を取得し、第１の輝度算出部は、人物エリアの輝度情報に基づいて、代表輝度を算出する。

本態様によれば、測光モード情報取得部により、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報が取得され、第１の輝度算出部により、人物エリアの輝度情報に基づいて、代表輝度が算出される。これにより、本態様は、撮影者の撮影意図である人物の撮影に合ったハイダイナミックレンジ処理が行われる。

好ましくは、第１の輝度算出部は、人物エリアの輝度情報の寄与率を高めて、代表輝度を算出する。

本態様によれば、第１の輝度算出部により、人物エリアの輝度情報の寄与率を高めて、代表輝度が算出されるので、撮影者の撮影意図である人物の撮影エリアの輝度情報に基づいた、ハイダイナミックレンジ処理が実現される。

好ましくは、第１の条件決定部は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件を設定する。

本態様によれば、第１の条件決定部により、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件が設定されるので、ハイダイナミックレンジ処理の一つの態様である画像合成によるハイダイナミックレンジ処理においても撮影者の撮影意図を反映させることが可能となる。

好ましくは、第１の条件決定部は、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件を設定する。

本態様によれば、第１の条件決定部により、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件が設定されるので、ハイダイナミックレンジ処理の一つの態様である単数の撮影画像のトーンカーブを変えるハイダイナミックレンジ処理においても撮影者の撮影意図を反映させることが可能となる。

好ましくは、画像処理装置は、第１の条件決定部で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正を行うトーンマッピング部を備え、トーンマッピング部は、注目エリアからの距離に応じて、コントラスト補正を行う。

本態様によれば、トーンマッピング部により、第１の条件決定部で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正が行われる。また、トーンマッピング部により、注目エリアからの距離に応じてコントラスト補正が行われる。これにより、本態様は、撮影者の撮影意図を反映したトーンマッピングを実現することができる。

好ましくは、画像処理装置は、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、撮影モード情報取得部で取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報の上限または下限を決定する上限下限決定部と、を備え、第１の輝度算出部は、上限または下限が設けられた輝度情報に基づいて、代表輝度を算出する。

本態様によれば、撮影モード情報取得部により、被写体の撮影の撮影モードに関する情報である撮影モード情報が取得され、取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報に上限または下限が決定される。これにより、本態様は、特定の撮影シーンにおいて（例えば夕景撮影、夜景撮影、および花火撮影）、ダイナミックレンジの拡大範囲を大きくすることができる。

好ましくは、画像処理装置は、撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、代表輝度算出エリア内の輝度情報に基づいて、代表輝度を算出する第２の輝度算出部と、第２の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、測光モード情報に基づいて、第１の条件または第２の条件により、ハイダイナミックレンジ処理を行うかを決定する条件選択部と、を備える。

本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、設定された測光モードを示す測光モード情報に基づいて設定された注目エリア内の輝度情報に基づいて算出される場合と、合焦位置からの距離情報を用いて決定される代表輝度算出エリア内の輝度情報に基づいて算出される場合とを有する。そして、測光モード情報を用いて算出された代表輝度に基づいて決定された第１の条件、または、合焦位置からの距離情報を用いて算出された代表輝度に基づいて決定された第２の条件、を使用してハイダイナミックレンジ処理を行うかが、測光モード情報により決定される。これにより、本態様は、撮影者の撮影意図が良く反映された測光モードである場合には、測光モード情報を用いて算出された代表輝度に基づいてハイダイナミックレンジ処理を行い、撮影者の撮影意図があまり反映されないような測光モードである場合には、合焦位置による撮影者の撮影意図が反映された代表輝度に基づいてハイダイナミックレンジ処理を行う。

本発明の他の態様である画像処理装置は、撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、代表輝度算出エリア内の輝度情報に基づいて、代表輝度を算出する第２の輝度算出部と、第２の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、を備える。

本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、合焦位置からの距離情報を用いて決定される代表輝度算出エリア内の輝度情報に基づいて算出される。そして本態様では、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定される。撮影者は、撮影意図をもって主被写体を決定し、その主被写体に対して合焦させる。したがって、本態様は、撮影者の撮影意図に沿ったハイダイナミックレンジ処理を実現することができる。

好ましくは、第２の条件決定部は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第２の条件を決定する。

好ましくは、エリア決定部は、第２の距離情報と被写界深度とに基づいて、代表輝度算出エリアを決定する。

本態様によれば、エリア決定部により、撮影者の撮影意図が反映された被写界深度に応じた代表輝度算出エリアが決定されるので、撮影者の撮影意図が反映されたハイダイナミックレンジ処理を実現することができる。

好ましくは、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、撮影モード情報取得部で取得された撮影モード情報に基づいて、代表輝度を算出に用いる代表輝度算出エリア内の輝度情報に上限または下限を決定する上限下限決定部と、を備え、第２の輝度算出部は、上限または下限が設けられた輝度情報に基づいて、代表輝度を算出する。

本態様によれば、撮影モード情報取得部により、被写体の撮影の撮影モードに関する情報である撮影モード情報が取得され、取得された撮影モード情報に基づいて、代表輝度の算出に用いる代表輝度算出エリア内の輝度情報に上限または下限が決定される。これにより、本態様は、特定の撮影シーンにおいて（例えば夕景撮影、夜景撮影、および花火撮影）、ダイナミックレンジの拡大範囲を大きくすることができる。

本発明の他の態様である撮像装置は、上述の画像処理装置を備える。

本発明の他の態様である画像処理方法は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定ステップと、注目エリア設定ステップで設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出ステップと、第１の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定ステップと、を含む。

本発明の他の態様である画像処理方法は、撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、代表輝度算出エリアで得られる輝度情報に基づいて、代表輝度を算出する第２の輝度算出ステップと、第２の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、を含む。

本発明の他の態様であるプログラムは、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定ステップと、注目エリア設定ステップで設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出ステップと、第１の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定ステップと、を含む画像処理工程をコンピュータに実行させる。

本発明の他の態様であるプログラムは、撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、代表輝度算出エリアで得られる輝度情報に基づいて、代表輝度を算出する第２の輝度算出ステップと、第２の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、を含む画像処理工程をコンピュータに実行させる。

本発明によれば、撮影者の撮影意図が反映された代表輝度を算出し、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定されるので、撮影者の撮影意図に沿ったハイダイナミックレンジ処理を実現することができる。

図１は、デジタルカメラの正面斜視図である。 図２は、デジタルカメラの背面斜視図である。 図３は、デジタルカメラの制御処理系を示すブロック図である。 図４は、画像処理部の機能構成例を示すブロック図である。 図５は、撮影画像を示す図である。 図６は、代表輝度に応じたトーンカーブを示す図である。 図７は、代表輝度に応じたトーンカーブを示す図である。 図８は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。 図９は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。 図１０は、画像処理方法の例を示すフローチャートである。 図１１は、画像処理部の機能構成例を示すブロック図である。 図１２は、撮影画像にある各オブジェクトの距離情報に関して示す図である。 図１３は、画像処理方法の例を示すフローチャートである。 図１４は、画像処理部の機能構成例を示すブロック図である。 図１５は、画像処理方法の例を示すフローチャートである。 図１６は、撮影画像において注目エリアと注目エリア以外の周辺エリアを示した図である。 図１７は、画像処理部の機能構成例を示すブロック図である。

添付図面に従って本発明にかかる画像処理装置、撮像装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

以下の説明では主に、撮像装置に搭載される画像処理装置に関して説明するが、本発明の適用範囲はそれに限定されるものではない。例えば、本発明の画像処理装置は、コンピュータに搭載することも可能である。

図１は、本発明の画像処理装置が搭載された撮像装置であるデジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４およびカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６および電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮像指示を受け付ける撮像指示部であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。電源スイッチ７は、デジタルカメラ２の電源のオンおよびオフの切り換え指示をユーザから受け付ける電源切換部である。

カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮像待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード（オート撮影モード、マニュアル撮影モードおよび連写モード等）、画像を再生表示する再生モード等がある。

オート撮影モードは、焦点調節を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能、絞り値およびシャッタ速度を自動的に設定する自動露出（ＡＥ：Auto Exposure）機能等が使用されるモードであり、マニュアル撮影モードは、焦点調節、絞り値およびシャッタ速度等を、ユーザが操作部９を使用して適宜設定可能にするモードである。

一方、十字キーおよび実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

カメラ本体３の底部（図示省略）には、外部メモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。外部メモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。外部メモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体を外部メモリ１０として用いることが可能である。

図３は、デジタルカメラ２の制御処理系を示すブロック図である。

被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。レンズ部１２は、撮像レンズおよび絞りを含む撮像光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。

画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

外部メモリ１０に保存されている画像データを再生する再生モードにおいて、外部メモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にメインメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってメインメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。

デジタルカメラ２のＡＦ処理機能は、シャッタボタン６の第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

ＡＥ検出機能は、シャッタボタン６の第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。

システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、ＡＥ検出機能を動作させ、ＡＥ検出機能から入力する積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞りの絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定し、シャッタボタン６が全押しされると、決定した絞り値に基づいて絞りを制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２６を介してメカニカルシャッタ２０を制御し、また、図示しない撮像素子駆動部を介して撮像素子２１での電荷蓄積時間を制御する。

デジタルカメラ２には、被写体輝度の測定を行う複数の測光モードが予め備えられている。例えば、デジタルカメラ２には、「マルチ」、「スポット」、「アベレージ」、および「中央部重点」の測光モードが予め設定されている。例えば、「マルチ」の測光モードは、被写体の輝度分布や色、背景や構図などの情報を撮像装置が判断し、測光方式を選択する。また例えば「スポット」の測光モードは、画面中央部の露出が最適になるような測光する方法である。なお「スポット」の測光モードは、逆光時など、被写体と背景の明るさが大きく異なるときなどに使用される。また例えば「アベレージ」の測光モードは、画面全体（撮影範囲全体）を平均して測光する測光モードである。なお「アベレージ」の測光モードでは、構図や被写体により露出が変化しにくく、白や黒の服を着た人物や風景の撮影などに使用される。また例えば「中央部重点」の測光モードでは、撮影画面の中央部を重点的に測光して露出値を決定する。

このように予め設定された複数の測光モードより、撮影者は、自分の撮影意図に沿った表現が可能な撮影画像を取得できるように、測光モードを選択し設定する。例えば、撮影者は、操作部９を介して測光モードを選択して設定する。

システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、レンズ駆動部２７を介してレンズ部１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主被写体）への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。

また、システム制御部２５は、撮影画角内の被写体に関して測距を行う機能を有する。例えばシステム制御部２５は、撮像素子２１の全域に位相差画素を配することによって、撮影画角内に存在する各被写体の被写体距離を取得する。また例えば、システム制御部２５は、デジタルカメラ２に備えられたレーザ等で構成される測距装置（不図示）により得られる各被写体距離を得ることも可能である。

またシステム制御部２５は、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。

またシステム制御部２５は、シャッタボタン６、電源スイッチ７および操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオンおよびオフをコントロールする。

システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。

［第１の実施形態］
次に、本発明の第１の実施形態の画像処理部（画像処理装置）３１に関して説明する。図４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。本実施形態の画像処理部３１は、測光モード情報取得部１０１、注目エリア設定部１０３、第１の輝度算出部１０５、第１の条件決定部１０７、およびハイダイナミックレンジ処理部１０９で構成される。

測光モード情報取得部１０１は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する。すなわち、測光モード情報取得部１０１は、撮影者が撮影時に選択して設定した測光モードに関する情報を取得する。例えばデジタルカメラ２には、予めマルチ、スポット、アベレージ、および中央部重点の測光モードが用意されており、撮影者はＡＥ時に、用意された測光モードの中から自分の撮影意図に沿った表現ができるように、測光モードを選択する。測光モード情報取得部１０１が取得する情報は、測光モードにおける測光エリアまたは測光値の計算の仕方に関する情報を含む。後で説明をするが、代表輝度の算出に用いるための注目エリアを決定するのに必要な情報が含まれていれば、測光モード情報取得部１０１が取得する情報として十分である。例えば、測光モード情報取得部１０１が取得する情報としては、設定された測光モードにおける測光エリアに関する情報である。

注目エリア設定部１０３は、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する。すなわち、注目エリア設定部１０３は、撮影者が選択した測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出エリアを設定することにより、ハイダイナミックレンジ処理に撮影者の撮影意図を反映させることができる。例えば、注目エリア設定部１０３は、測光モード情報における測光エリアを注目エリアに設定する。

図５は、デジタルカメラ２で取得された撮影画像を示す図である。

撮影画像２０１にはオブジェクトとして人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅが存在している。なお、撮影画像２０１の場合では、太陽Ｂが最大輝度オブジェクトであり、地面Ｄが最低輝度オブジェクトであるものとする。

撮影画像２０１のシーンでは、従来のハイダイナミックレンジ処理では、人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅの輝度を用いてハイダイナミックレンジ処理を行うために、画像全体のコントラストが低下し、撮影者の意図した画像とならないことがあった。

スポットの測光モードの場合で測光エリア２０２が選択されていると、太陽Ｂのエリアや地面Ｄのエリアの輝度情報が非参照（または寄与率を下げて参照）となる。このように、測光エリア２０２を注目エリアと設定することにより、選択された測光モードにより測光エリア２０２のオブジェクトが適正露出で撮影され、かつ測光エリア２０２内のコントラストが低下しないようなトーンマッピング処理でハイダイナミックレンジ処理が行われた画像を生成することができる。

第１の輝度算出部１０５は、注目エリア設定部１０３で設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する。例えば第１の輝度算出部１０５は、注目エリア内の平均輝度を算出し、その平均輝度を輝度情報として代表輝度を得る。また、第１の輝度算出部１０５は、その他の計算方法により注目エリア内の輝度を輝度情報として算出してもよい。ここで、代表輝度とは、トーンマッピングを行う場合に基準となる輝度である。例えば、トーンマッピングを行う場合には、代表輝度を含む所定の範囲の輝度において、より多くの代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる。すなわち、トーンマッピングにおいて、代表輝度の近傍の範囲においてはトーンカーブが最も傾きを有するように調整が行われる。

第１の条件決定部１０７は、第１の輝度算出部１０５で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する。例えば第１の条件決定部１０７は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件を決定する。すなわち、第１の条件決定部１０７は、代表輝度Ｙａを含む全体の輝度の範囲の３から１０％、好ましくは５から７％の範囲の輝度範囲において、最もトーンカーブの傾きが傾くように、トーンマッピングを行う。なお、第１の条件決定部１０７で決定されるハイダイナミックレンジ処理の第１の条件は、代表輝度に基づいて決定されるものであり、例えばトーンマッピングで用いられるトーンカーブである。

第１の条件決定部１０７は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件を設定する。また第１の条件決定部１０７は、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件を設定する。すなわち、第１の条件決定部１０７は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理と、単数の撮影画像をコントラスト補正することにより行われるハイダイナミックレンジ処理とに関するハイダイナミックレンジ処理の条件を設定する。

図６および図７は、代表輝度に応じたトーンカーブを示す図である。

図６は、従来より行われている方法で代表輝度が算出され、決定された代表輝度により、トーンマッピングをする場合を示している。すなわち、撮影画像の全体の平均輝度を算出して、その平均輝度ＹＣｅｎｔｅｒを代表輝度としてトーンカーブ２０５の作成が行われている。トーンカーブ２０５でコントラスト補正がされる画像は、撮影画像の全域の平均輝度ＹＣｅｎｔｅｒを代表輝度としているので、必ずしも撮影者の撮影意図が反映されたトーンカーブとならない場合がある。なお、図中のＹａ、Ｙｂ、Ｙｃ、Ｙｄ、Ｙｅはそれぞれ、人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅの平均輝度を示す。

図７は、第１の輝度算出部１０５で算出された代表輝度Ｙａに基づいて、第１の条件が決定された場合を示している。例えば代表輝度Ｙａは、注目エリア設定部１０３により設定された注目エリア（測光エリア２０２）の平均輝度である。

代表輝度Ｙａに応じたトーンカーブ２０７は、代表輝度ＹＣｅｎｔｅｒに応じたトーンカーブ２０５とは異なり、撮影者の意図が反映されたトーンカーブとなっている。すなわち、代表輝度Ｙａは、撮影者が撮影意図に応じて選択した測光モードに基づいて注目エリアが設定され、その注目エリアの平均輝度が代表輝度として設定されている。したがって、トーンカーブ２０７でトーンマッピングが行われたハイダイナミックレンジ処理が行われた撮影画像は、撮影者の撮影意図が反映されたものとなる。

ハイダイナミックレンジ処理部１０９は、撮影画像に対して、ハイダイナミックレンジ処理を行う。

ハイダイナミックレンジ処理部１０９は、複数の撮影画像を合成することにより、ハイダイナミックレンジ処理を行っても良いし、単数の撮影画像のトーンカーブを適用させてハイダイナミックレンジ処理を行ってもよい。ここで、複数の撮影画像を合成することにより、ハイダイナミックレンジ処理を行う場合は、露光条件が異なる複数の撮影画像から１枚の合成画像を生成することにより、ハイダイナミックレンジ処理が行われる。また、１枚の撮影画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う場合は、暗部の黒つぶれと明部の白飛びとが抑制されるようなトーンカーブを信号にかける補正を行う。なおこの場合には、撮影画像は、通常画像よりも露光量を少なく撮像し、その撮影画像の信号の出力値を補正する方が、階調が豊かな補正画像を生成することができる。

ハイダイナミックレンジ処理部１０９は、トーンマッピング部１２５を有する。トーンマッピング部１２５は、第１の条件決定部１０７で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正を行う。なお、トーンマッピング部１２５は、ダイナミックレンジが拡大された後に、またはダイナミックレンジを拡大するのと同時に、トーンマッピングを行う。例えばトーンマッピング部１２５は、注目エリアからの距離に応じて、コントラスト補正を行う。

次に、本発明の代表輝度に基づいて、決定されたトーンカーブの例について説明する。

図８および図９は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。図８では、シャドウ側に階調を持たせるトーンカーブ２０９が示されている。すなわち撮影者の撮影意図は、シャドウ側の絵をより詳細に表現したい場合であり、シャドウ側の入力値（入力輝度）Ｃ１からＣ２の階調が豊かになるようにトーンカーブ２０９が設計されている。すなわち、入力値Ｃ１からＣ２においてトーンカーブ２０９の傾きが最大となる箇所を有するようにトーンカーブ２０９が設計されている。

また図９では、ハイライト側に階調を持たせるトーンカーブ２１１が示されている。すなわち撮影者の撮影意図は、ハイライト側の絵をより詳細に表現したい場合であり、ハイライト側の入力値（入力輝度）Ｄ１からＤ２の階調が豊かになるようにトーンカーブ２１１が設計されている。すなわち、入力値Ｄ１からＤ２においてトーンカーブ２１１の傾きが最大となる箇所を有するようにトーンカーブ２１１が設計されている。

図１０は、本発明の画像処理方法の例を示すフローチャートである。

先ず、測光モード情報取得部１０１は、撮影者が設定した測光モードの情報を取得する（ステップＳ１００：測光モード情報取得ステップ）。例えば、測光モード情報取得部１０１は、デジタルカメラ２に設定されている測光モードの測光エリアに関する情報を取得する。

その後、注目エリア設定部１０３により、注目エリアが設定される（注目エリア設定ステップ）。具体的には、注目エリア設定部１０３は、先ず設定された測光モードがスポットであるか判定する（ステップＳ１０１）。測光モードがスポットに設定されている場合には、注目エリア設定部１０３はスポット測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を算出する（ステップＳ１０４：第１の輝度算出ステップ）。そして、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を代表輝度として算出する。

また、注目エリア設定部１０３は、測光モードがスポットに設定されていない場合には、測光モードが中央部重点に設定されているか判定する（ステップＳ１０２）。測光モードが中央部重点に設定されている場合には、注目エリア設定部１０３は中央部重点測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、中央部重点測光エリアの輝度を算出する。例えば、第１の輝度算出部１０５は、中央部重点測光エリアの平均輝度を代表輝度として算出する（ステップＳ１０５：第１の輝度算出ステップ）。

また、注目エリア設定部１０３は、測光モードが中央部重点に設定されていない場合には、測光モードがマルチに設定されているか判定する（ステップＳ１０３）。測光モードがマルチに設定されている場合には、注目エリア設定部１０３は、撮影シーンに応じたエリアを注目エリアに設定する。そして、第１の輝度算出部１０５は、設定された注目エリアの輝度を算出する。例えば、注目エリア設定部１０３は、人物が検出されたエリアを注目エリアとして設定してもよいし、検出された逆光エリアを注目エリアとして設定してもよい。すなわち、注目エリア設定部１０３は、測光モードのマルチで測光されるエリアを注目エリアとして設定する。そして、第１の輝度算出部１０５は、注目エリアに設定されたエリアの平均輝度を代表輝度として算出する（ステップＳ１０６：第１の輝度算出ステップ）。

また、注目エリア設定部１０３は、測光モードがマルチに設定されていない場合には、例えば、中央部重点測光エリアの平均輝度を代表輝度とする（ステップＳ１０７：第１の輝度算出ステップ）。これは、中央部に主被写体が来ることが多く、中央部測光エリアの平均輝度を代表輝度にすることにより、主被写体の輝度を考慮したトーンマッピングを行うことができる。

なお、上述する測光モードは具体例であり、これに限定されるものではない。例えば、測光モード情報取得部１０１は、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報を取得してもよい。この場合、第１の輝度算出部１０５は、人物エリアの輝度情報（平均輝度）に基づいて、代表輝度を算出する。また、第１の輝度算出部１０５は、人物エリアの輝度の寄与率を高めて、代表輝度を算出させてもよい。

その後、第１の条件決定部１０７は、算出された代表輝度をトーンマッピングを行う場合の代表輝度に設定し、ハイダイナミックレンジ処理の条件（第１の条件）を決定する（ステップＳ１０８：第１の条件決定ステップ）。

そして、ハイダイナミックレンジ処理部１０９により、撮影画像に対して、ハイダイナミックレンジ処理が行われ（ステップＳ１０９）、この場合のトーンマッピングでは算出された代表輝度に基づいて算出または選択されたトーンカーブが設定される。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態に関して説明する。本実施形態においては、撮影画像内の各測距点エリアにおける焦点距離情報（被写体距離情報）を用いて、撮影者の撮影意図における主被写体として捉えるエリアを推定し、そのエリアの輝度情報に基づいて、代表輝度を算出する。

図１１は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。

本実施形態の画像処理部３１は、合焦情報取得部１１３、測距情報取得部１１５、距離情報算出部１１７、エリア決定部１１９、第２の輝度算出部１２１、第２の条件決定部１２３、およびハイダイナミックレンジ処理部１０９で構成される。なお、図４で既に説明を行った箇所は、同じ符号を付し説明は省略する。

合焦情報取得部１１３は、撮影画像の合焦位置に関する情報を取得する。合焦情報取得部１１３は、公知の技術により、撮影画像の合焦位置に関する情報を取得する。例えば、合焦情報取得部１１３は、撮影画像のボケを検出し、ボケが無い箇所の位置に関する情報を取得する。また例えば、撮像素子２１の全域には、位相差画素が配されており、合焦情報取得部１１３は、その位相差画素からの情報に基づいて合焦位置に関する情報を取得する。また、ＡＦ機能を用いている場合にはＡＦ枠において合焦されることから、ＡＦ枠を基準に合焦位置に関する情報を取得してもよい。合焦情報取得部１１３は、撮影画角における合焦位置に関する情報を取得する。

測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する。測距情報取得部１１５は、公知の技術を用いて撮影画像の第１の距離情報を取得する。例えば、距離情報算出部１１７は、撮像素子２１の全域に配された位相差画素で取得される距離情報に基づいて、撮影画像の各エリアにおける第１の距離情報を取得する。また、測距情報取得部１１５は、デジタルカメラ２に備えた距離計測装置（不図示）によって第１の距離情報を取得して撮影画像における複数のエリアの距離情報（第１の距離情報）としてもよい。

距離情報算出部１１７は、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する。距離情報算出部１１７は、公知の技術により第２の距離情報を取得する。ここで、第２の距離情報とは、合焦位置から光軸方向への距離のことである。

エリア決定部１１９は、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度を得る代表輝度算出エリアを決定する。例えばエリア決定部１１９は、閾値と第２の距離情報とに基づいて、代表輝度算出エリアを決定する。また例えばエリア決定部１１９は、第２の距離情報と合焦位置における被写界深度とに基づいて、代表輝度算出エリアを決定する。

第２の輝度算出部１２１は、代表輝度算出エリアで得られる輝度に基づいて、代表輝度を算出する。例えば、第２の輝度算出部１２１は、代表輝度算出エリアの平均輝度を算出することにより、代表輝度とする。

第２の条件決定部１２３は、第２の輝度算出部１２１で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する。

図１２は、撮影画像にある各オブジェクトの第１の距離情報に関して示す図である。図１２に示した場合では、至近距離から焦点距離（被写体距離）が近い順にＡ、Ｂ、Ｃ、Ｄ、Ｅと分割した際の例で、それぞれのエリア内の焦点距離は全て均一であるとする。

合焦情報取得部１１３は、エリアＡが合焦しているので、エリアＡの位置情報を取得する。また、測距情報取得部１１５は、例えば撮影画像の取得前のＡ、Ｂ、Ｃ、Ｄ、Ｅに関する焦点距離（第１の距離情報）を、例えば撮像素子２１に配された位相差画素により取得する。そして、合焦位置からのＢ、Ｃ、Ｄ、およびＥの各距離（第２の距離情報）を、距離情報算出部１１７により算出される。

ＡからＥそれぞれの焦点距離をｄｉｓ（Ａ）からｄｉｓ（Ｅ）とし、ｄｉｓ（Ａ）が合焦位置、ｄｉｓ（Ａ）からｄｉｓ（Ｄ）が被写界深度範囲内であるとした際に、ＡからＤのエリアの平均輝度が第２の輝度算出部１２１により算出され、代表輝度が算出される。

図１３は、本発明の画像処理方法の例を示すフローチャートである。

先ず、合焦情報取得部１１３により、撮影者が狙った合焦位置に関する情報を取得する（ステップＳ２００：合焦情報取得ステップ）。例えば、合焦情報取得部１１３は、撮影画像において合焦している位置の情報であるＸＹ座標を取得する。その後、測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する（ステップＳ２０１：測距情報取得ステップ）。例えば距離情報取得部１１５は、撮像素子２１に配された位相差画素により、撮影画角内の各エリアの合焦位置からの相対的な距離を第１の距離情報として取得する。

そして、距離情報算出部１１７は、第１の距離情報と合焦位置の情報から各エリアの距離情報である第２の距離情報を算出する（ステップＳ２０２：距離情報算出ステップ）。

次に、エリア決定部１１９は、各エリアの合焦位置からの距離が被写界深度の範囲内であるか否かの判定を行う（ステップＳ２０３：エリア決定ステップ）。そして、合焦位置からの距離が被写界深度の範囲以内であるエリアは、代表輝度算出エリアとして決定（カウント）され（ステップＳ２０４）、合焦位置からの距離が被写界深度の範囲外であるエリアは、代表輝度算出エリアとしないと決定される（ステップＳ２０５）。

その後、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの輝度を代表輝度として算出する（ステップＳ２０６：第２の輝度算出ステップ）。例えば、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの平均輝度を代表輝度として算出する。その後、第２の条件決定部１２３は、代表輝度に基づいてハイダイナミックレンジ処理のトーンマッピングの条件（第２の条件）を決定する（ステップＳ２０７：第２の条件決定ステップ）。具体的にはトーンマッピングを行う場合のトーンカーブを代表輝度に基づいて設定する。その後、ハイダイナミックレンジ処理部１０９により、ハイダイナミックレンジ処理の実行が行われる（ステップＳ２０８）。

［第３の実施形態］
次に、本発明の第３の実施形態に関して説明する。本実施形態では、第１の実施形態のように、測光モードの情報により注目エリアを決定する場合と、第２の実施形態のように各エリアの焦点距離（被写体距離情報）の情報に応じて注目エリアを決定する場合とを合わせもつ実施形態である。

図１４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。なお、図４および図１１で既に説明を行った箇所は、同じ符号を付し説明は省略する。

本実施形態の画像処理部３１は、測光モード情報取得部１０１、注目エリア設定部１０３、第１の輝度算出部１０５、第１の条件決定部１０７（ここまでをＡ群と記載する）、合焦情報取得部１１３、測距情報取得部１１５、距離情報算出部１１７、エリア決定部１１９、第２の輝度算出部１２１、第２の条件決定部１２３（ここまでをＢ群と記載する）、条件選択部１２７、およびハイダイナミックレンジ処理部１０９で構成される。なお、図中では、主に第一の実施形態で説明をした機能ブロックをＡ群と記載し、第二の実施形態で説明をした機能ブロックをＢ群と記載する。

条件選択部１２７は、測光モード情報に基づいて、第１の条件または第２の条件のいずれかにより、ハイダイナミックレンジ処理を行うかを決定する。すなわち、条件選択部１２７は、Ａ群に記載された機能ブロックにより決定された、ハイダイナミックレンジ処理の第１の条件、または、Ｂ群に記載された機能ブロックにより決定された、ハイダイナミックレンジ処理の第２の条件を用いるかを測光モード情報に応じて決定する。すなわち、条件選択部１２７は、測光モード情報により注目エリアが決定された第１の条件と、各エリアの焦点距離の情報により注目エリアが決定された第２の条件とを、ハイダイナミックレンジ処理において使用するかを選択する。例えば、条件選択部１２７は、スポット、または中央部重点の測光モードが設定されている場合には、撮影者の意図が測光モードに良く反映されているので、第１の条件を使用してハイダイナミックレンジ処理を行うことを決定し、その他の測光モードが設定されている場合には、第２の条件をハイダイナミックレンジ処理に使用することを決定する。

図１５は、本実施形態の画像処理方法の例を示すフローチャートである。

先ず、測光モード情報取得部１０１は、撮影者が設定した測光モードの情報を取得する（ステップＳ３００）。そして、条件選択部１２７は、取得した測光モード情報に基づいて、第１の条件または第２の条件により、ハイダイナミックレンジ処理を行うか決定する。その後、合焦情報取得部１１３により、撮影者が狙った合焦位置に関する情報を取得する（ステップＳ３０１）。そして、測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する（ステップＳ３０２）。その後、距離情報算出部１１７は、第１の距離情報と合焦位置の情報から各エリアの距離情報を取得する（ステップＳ３０３）。

その後、注目エリア設定部１０３により、注目エリアが設定される。具体的には、注目エリア設定部１０３は、先ず設定された測光モードがスポットであるか判定する（ステップＳ３０４）。測光モードがスポットに設定されている場合には、注目エリア設定部１０３はスポット測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を算出する（ステップＳ３０５）。そして、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を代表輝度として算出する。

また、注目エリア設定部１０３は、測光モードがスポットに設定されていない場合には、測光モードが中央部重点に設定されているか判定する（ステップＳ３０６）。測光モードが中央部重点に設定されている場合には、注目エリア設定部１０３は中央部重点測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、中央部重点測光エリアの輝度を算出する。例えば、第１の輝度算出部１０５は、中央部重点測光エリアの平均輝度を代表輝度として算出する（ステップＳ３０７）。

また、注目エリア設定部１０３は、測光モードが中央部重点に設定されていない場合には、エリア決定部１１９により、代表輝度算出エリアを決定させる。すなわち、エリア決定部１１９は、各エリアの合焦位置からの距離が被写界深度の範囲内であるか否かの判定を行う（ステップＳ３０８）。そして、合焦位置からの距離が被写界深度の範囲以内であるエリアは、代表輝度算出エリアとして決定され（ステップＳ３０９）、合焦位置からの距離が被写界深度の範囲外であるエリアは、代表輝度算出エリアとしないと決定される（ステップＳ３１０）。

その後、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの輝度を代表輝度として算出する（ステップＳ３１１）。例えば、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの平均輝度を代表輝度として算出する。

その後、条件選択部１２７が第１の条件を選択した場合には、第１の条件決定部１０７は、第１の輝度算出部１０５が算出した代表輝度をハイダイナミックレンジ処理のトーンマッピングを行う場合の代表輝度に設定し、ハイダイナミックレンジ処理の条件（第１の条件）を決定する（ステップＳ３１２）。一方、条件選択部１２７が第２の条件を選択した場合には、第２の条件決定部１２３は、第２の輝度算出部１２１が算出した代表輝度をハイダイナミックレンジ処理のトーンマッピングを行う場合の代表輝度に設定し、ハイダイナミックレンジ処理の条件（第２の条件）を決定する（ステップＳ３１２）。

そして、ハイダイナミックレンジ処理部１０９により、撮影画像に対して、ハイダイナミックレンジ処理が行われ（ステップＳ３１３）、この場合のトーンマッピングでは算出された代表輝度に基づいて算出または選択されたトーンカーブが設定される。

次に本発明の変形例に関して説明する。なお、以下で説明する変形例は上述した実施形態１から３のいずれにも適用することができる。

＜変形例１＞
本発明の変形例１に関して説明する。本例では、注目エリアまたは代表輝度算出エリア以外の周辺エリアの輝度も代表輝度の算出に用いる。具体的には、注目エリア設定部１０３は、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリアの輝度に重み付けを設定し、第１の輝度算出部１０５は、重み付けがされた周辺エリアの輝度、および注目エリアの輝度に基づいて、代表輝度を算出する。

図１６は、撮影画像において注目エリアと注目エリア以外の周辺エリアを示した図である。注目エリア２０３の周辺には、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、周辺エリア（ＩＩＩ）２１７が設定されている。そして、注目エリア設定部１０３は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７に対して、重み付けを設定する。例えば、注目エリア設定部１０３は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７に対して、注目エリアから近いエリアほど、代表輝度に寄与する割合が大きくなるように、重み付けを設定する。

そして、第１の輝度算出部１０５は、重み付けがされた周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７の輝度情報および注目エリアの輝度情報に基づいて、代表輝度を算出する。例えば、第１の輝度算出部１０５は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７のそれぞれの平均輝度を算出し設定された重み付けを適用したのちに、注目エリアの平均輝度を算出し、それぞれの平均輝度を加算することにより、代表輝度を算出する。なお、上述の説明は第１の実施形態（注目エリア設定部１０３、第１の輝度算出部１０５）に関して説明をしたが、第２の実施形態（エリア決定部１１９、第２の輝度算出部１２１）に関しても本例は適用される。

＜変形例２＞
本発明の変形例２に関して説明する。本例では、代表輝度を算出する場合に、輝度情報に上限または下限を設けて代表輝度が算出される。

図１７は、本例の画像処理部３１の機能構成例を示すブロック図である。なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。

撮影モード情報取得部１１１は、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する。例えば、撮影モード情報取得部１１１は、デジタルカメラ２に設定される日中の屋外や夕景、夜景、花火撮影モードに関する情報を取得する。これらの撮影モードは、撮影者により操作部９を使用して、システム制御部２５において設定される。撮影モードが設定されることにより、その被写体に沿った撮影条件がデジタルカメラ２に自動的に設定される。

上限下限決定部１２９は、撮影モード情報取得部１１１で取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報の上限または下限を決定する。すなわち上限下限決定部１２９は、撮影モードに応じて、注目エリア内の輝度情報に対する上限または下限を決定し、その上限または下限の範囲内の輝度情報を用いて代表輝度を算出する。第１の輝度算出部１０５は、上限または下限が設けられた輝度に基づいて、代表輝度を算出する。これにより、ハイダイナミックレンジ処理において表現できるダイナミックレンジをより設計意図に沿った広さにすることが可能となる。なお、図１７では第１の実施形態の適用に関して説明を行ったが、本例は、他の実施形態においても適用可能である。例えば、上限下限決定部１２９は、撮影モード情報取得部１１１で取得された撮影モード情報に基づいて、代表輝度を算出に用いる代表輝度算出エリア内の輝度情報に上限または下限を決定する。そして、第２の輝度算出部１２１は、上限または下限が設けられた輝度に基づいて、代表輝度を算出する。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２ ：デジタルカメラ
３ ：カメラ本体
４ ：レンズ鏡筒
５ ：フラッシュ発光部
６ ：シャッタボタン
７ ：電源スイッチ
８ ：表示部
９ ：操作部
１０ ：外部メモリ
１２ ：レンズ部
２０ ：メカニカルシャッタ
２１ ：撮像素子
２２ ：プロセス処理部
２３ ：ＡＤ変換部
２４ ：メインメモリ
２５ ：システム制御部
２６ ：シャッタ駆動部
２７ ：レンズ駆動部
２８ ：電源制御部
２９ ：電源
３０ ：制御メモリ
３１ ：画像処理部
３２ ：圧縮伸張部
３３ ：記憶制御部
３５ ：表示制御部
３６ ：ユーザインタフェース
１０１ ：測光モード情報取得部
１０３ ：注目エリア設定部
１０５ ：第１の輝度算出部
１０７ ：第１の条件決定部
１０９ ：ハイダイナミックレンジ処理部
１１１ ：撮影モード情報取得部
１１３ ：合焦情報取得部
１１５ ：測距情報取得部
１１７ ：距離情報算出部
１１９ ：エリア決定部
１２１ ：第２の輝度算出部
１２３ ：第２の条件決定部
１２５ ：トーンマッピング部
１２７ ：条件選択部
１２９ ：上限下限決定部
ステップＳ１００からステップＳ１０９：第１の画像処理工程
ステップＳ２００からステップＳ２０８：第２の画像処理工程
ステップＳ３００からステップＳ３１３：第３の画像処理工程

Claims (18)

1. 複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部と、
   前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部と、
   前記注目エリア設定部で設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出部と、
   前記第１の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部と、
   被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、
   前記撮影モード情報取得部で取得された撮影モード情報に基づいて、前記代表輝度の算出に用いる前記注目エリア内の前記輝度情報の上限または下限を決定する上限下限決定部と、を備え、
   前記第１の輝度算出部は、前記上限または前記下限が設けられた前記輝度情報に基づいて、前記代表輝度を算出する、
   画像処理装置。
2. 複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部と、
   前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部と、
   前記注目エリア設定部で設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出部と、
   前記第１の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部と、
   撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、
   前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、
   前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、
   前記第２の距離情報に基づいて、前記複数のエリアの各々について、前記ハイダイナミックレンジ処理に用いられる前記代表輝度の算出に用いられる前記輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、
   前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出部と、
   前記第２の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、
   前記測光モード情報に基づいて、前記第１の条件または前記第２の条件により、前記ハイダイナミックレンジ処理を行うかを決定する条件選択部と、
   を備える画像処理装置。
3. 前記第１の条件決定部は、前記代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる前記ハイダイナミックレンジ処理の前記第１の条件を決定する請求項１または２に記載の画像処理装置。
4. 前記注目エリア設定部は、前記測光モード情報における測光エリアを前記注目エリアに設定する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記注目エリア設定部は、前記注目エリアからの距離に応じて、前記注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けを設定し、
   前記第１の輝度算出部は、前記重み付けがされた前記周辺エリアの前記輝度情報、および前記注目エリアの前記輝度情報に基づいて、前記代表輝度を算出する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記測光モード情報取得部は、人物が検出された人物エリアを測光エリアとする測光モードを示す前記測光モード情報を取得し、
   前記第１の輝度算出部は、前記人物エリアの輝度情報に基づいて、前記代表輝度を算出する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第１の輝度算出部は、前記人物エリアの前記輝度情報の寄与率を高めて、前記代表輝度を算出する請求項６に記載の画像処理装置。
8. 前記第１の条件決定部は、複数の撮影画像を合成することにより行われる前記ハイダイナミックレンジ処理において、前記代表輝度に基づいてトーンマッピングの条件を設定する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第１の条件決定部は、単数の撮影画像のトーンカーブを変えることにより行われる前記ハイダイナミックレンジ処理において、前記代表輝度に基づいて選択されるトーンカーブの条件を設定する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１の条件決定部で決定された前記ハイダイナミックレンジ処理の前記第１の条件に基づいてコントラスト補正を行うトーンマッピング部を備え、
    前記トーンマッピング部は、前記注目エリアからの距離に応じて、前記コントラスト補正を行う請求項１から９のいずれか１項に記載の画像処理装置。
11. 撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、
    前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、
    前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、
    前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、
    前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出部と、
    前記第２の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、
    を備える画像処理装置。
12. 前記第２の条件決定部は、前記代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる前記ハイダイナミックレンジ処理の前記第２の条件を決定する請求項１１に記載の画像処理装置。
13. 前記エリア決定部は、前記第２の距離情報と被写界深度とに基づいて、前記代表輝度算出エリアを決定する請求項１１または１２に記載の画像処理装置。
14. 被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、
    前記撮影モード情報取得部で取得された撮影モード情報に基づいて、前記代表輝度を算出に用いる前記代表輝度算出エリア内の前記輝度情報に上限または下限を決定する上限下限決定部と、を備え、
    前記第２の輝度算出部は、前記上限または前記下限が設けられた前記輝度情報に基づいて、前記代表輝度を算出する請求項１１から１３のいずれか１項に記載の画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置を備える撮像装置。
16. 撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    を含む画像処理方法。
17. 撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    を含む画像処理工程をコンピュータに実行させるプログラム。
18. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    を含む画像処理工程をコンピュータに実行させる記録媒体。

Images