JP2017229025A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】さまざまなダイナミックレンジのシーンに対して、複雑なパラメータの用意を必要とせず、少ないビット長でのＨＤＲ合成により画質のよい合成画像を生成することができる画像処理装置を提供する。
【解決手段】異なる露出条件で同じ撮像シーンを撮像して得られた複数の画像に対し、ガンマ処理及び合成処理を行って合成画像を生成する画像処理装置であって、撮像シーンのダイナミックレンジに応じてガンマ処理において適用されるガンマ特性を調整する、調整パラメータを取得する取得手段と、取得手段にて取得された調整パラメータを適用したガンマ処理を、複数の画像に対して行うガンマ処理手段と、ガンマ処理手段にてガンマ処理が行われた複数の画像に対し、合成処理を行って合成画像を生成する合成手段とを有する。
【選択図】図４

Description

本発明は、ハイダイナミックレンジ画像を生成する技術に関する。

一般的に、デジタルカメラやデジタルビデオカメラなどの撮像装置において用いられるＣＣＤやＣＭＯＳといった撮像センサーのダイナミックレンジは、自然界のダイナミックレンジと比較して狭い。そのため、広いダイナミックレンジ（ハイダイナミックレンジと称され、本明細書では「ＨＤＲ」と略記される）を有する撮像シーンを一般的な方法で撮像した場合には、黒潰れや白飛びなどが発生してしまう。そこで、このようなダイナミックレンジの広いシーン（本明細書ではＨＤＲシーンと称される）を撮像するための手法としては、露光時間の異なる複数枚の画像を撮像し、得られた複数枚の画像を合成することにより、ＨＤＲシーンの画像を取得する方法がある。すなわち、異なる露光時間で撮像した複数枚の画像を露光時間に基づいてレベル合わせ及びガンマ処理を行う。そして、レベル合わせ及びガンマ処理を行った画像から、領域ごとに最適な画素を選択することでＨＤＲシーンの画像を取得する。以下、このような合成方法をＨＤＲ合成と称する。

しかし、ＨＤＲ合成は、想定とは異なるダイナミックレンジのシーンに対して適用すると、極端にコントラストのない画像を生成してしまうことがある。そこで、シーンのダイナミックレンジに最適な露出条件での画像取得や、最適なＨＤＲ合成を行う必要がある。特許文献１では、予備撮像画像のヒストグラムからシーンのダイナミックレンジを算出し、本撮像時の露出条件を決定することでシーンに最適な露出条件を決定し、撮像・合成を行う。また、特許文献２では、ＨＤＲ合成後の画像に対して、ヒストグラム解析によりシーンのダイナミックレンジを算出し、算出結果に基づいて合成後の画像に再度ガンマ補正を行うことで、シーンのダイナミックレンジに最適な画像を生成する。

特開２００２−１３５６４８号公報 特開２００４−１２０２０５号公報

しかし、特許文献１の方法では、予備撮像画像のヒストグラムから算出されたシーンのダイナミックレンジに応じて、本撮像時の露出条件を変更する。そのため、シーンのダイナミックレンジごとにＨＤＲ合成に必要なパラメータを用意する必要があり、膨大な組み合わせのパラメータが必要になる。

また、特許文献２では、ＨＤＲ合成後の画像に対して再度ガンマ補正を行うため、十分なデータビット長を確保しなければ、ガンマ補正後の画像において疑似輪郭が発生してしまう。つまり、ＨＤＲ合成後の画像に対して再度ガンマ補正を行う場合に、複数のガンマ補正による画質劣化（ビット落ち）、またはビット拡張によるデータ量の増幅が問題となる。

そこで、本発明は、さまざまなダイナミックレンジのシーンに対して、膨大なパラメータの用意を必要とせず、少ないビット長でのＨＤＲ合成により画質のよい合成画像を生成することができる画像処理を提供する。

本発明に係る画像処理装置は、異なる露出条件で同じ撮像シーンを撮像して得られた複数の画像に対し、ガンマ処理及び合成処理を行って合成画像を生成する画像処理装置であって、前記撮像シーンのダイナミックレンジに応じて前記ガンマ処理において適用されるガンマ特性を調整する、調整パラメータを取得する取得手段と、前記取得手段にて取得された調整パラメータを適用した前記ガンマ処理を、前記複数の画像に対して行うガンマ処理手段と、前記ガンマ処理手段にて前記ガンマ処理が行われた前記複数の画像に対し、前記合成処理を行って前記合成画像を生成する合成手段とを有することを特徴とする。

本発明によれば、さまざまなダイナミックレンジのシーンに対して、膨大なパラメータの用意を必要とせず、少ないビット長でのＨＤＲ合成により画質のよい合成画像を生成することができる。

実施例１における撮像装置の外観を示す図である。 実施例１における撮像装置の内部構成を示すブロック図である。 実施例１における撮像装置の全体処理のフローチャートである。 実施例１における画像処理部が行う画像処理の詳細を示す図である。 実施例１のＨＤＲ画像合成処理に用いる輝度値マップと合成係数値との関係を示す図である。 実施例１の調整パラメータ算出処理を説明するための図である。 実施例２における撮像装置の全体処理のフローチャートである。 実施例２における画像処理部が行う画像処理の詳細を示す図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、以下の実施形態は本発明を限定するものではなく、また、以下で説明されている特徴の組み合わせの全てが本発明の課題解決に必須のものとは限らない。尚、以下の説明において参照する各図では、原則として、他の図と同等の要素に同一の符号を付与している。

［実施例１］
本実施例では、まず、異なる露出条件で撮像した複数の画像に対し、ホワイトバランス、デモザイク、ガンマ処理などの現像処理を行った後に、ＨＤＲ合成を行う。次に、ＨＤＲ合成した画像に対してヒストグラム解析を行い、その結果に基づいてガンマ処理を撮像シーンのダイナミックレンジに適応させるための調整パラメータを算出する。そして、算出した調整パラメータを適用した本ガンマ処理を、撮像した複数の画像に対して行う。

図１は、本実施例に適応可能な撮像装置の外観を示す図である。本実施形態では撮像装置を構成する一例として、デジタルカメラの構成例を示す。なお、デジタルカメラについて述べるが、これに限られない。例えば、携帯電話やタブレットデバイス、パーソナルコンピュータなどの情報処理装置であっても良いし、カメラ付き携帯電話等の撮像装置として構成されていても良い。

図１（ａ）は撮像装置１０１の正面、図１（ｂ）は背面の外観を示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、表示部１０４、及び操作ボタン１０５を備える。光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターから構成されており、被写体の光情報を集光する。撮像ボタン１０３は、ユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。表示部１０４は、液晶ディスプレイなどが用いられており、撮像装置１０１にて処理された画像の表示や各種データなどを表示する。操作ボタン１０５は、ユーザが露出条件のパラメータなどを撮像装置１０１に指示するためのボタンである。

図２は本実施例における撮像装置１０１の内部構成を示すブロック図である。カラー撮像素子部２０１は、光学部１０２にて集光された光情報を電流値へと変換する素子で、カラーフィルタなどと組み合わせることで色情報を取得する。

ＣＰＵ２０２は、撮像装置１０１内の各構成を統括的に制御するプロセッサーである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３は、ＣＰＵ２０２によって実行されるプログラム群を格納しているメモリである。ＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４は、ＣＰＵ２０２の主メモリ、ワークエリア等として機能するメモリである。ＣＰＵ２０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３に格納されているプログラム、或いはＲＡＭ２０４にロードされたプログラムに従って処理を実行する。

また、撮像系制御部２０５は光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０２から指示された制御を行う。制御部２０６は、撮像ボタン１０３や操作ボタン１０５を介してユーザが入力した指示に基づき、撮像動作の開始及び終了の制御を行う。キャラクタージェネレーション部２０７は文字やグラフィックなどを生成する。

Ａ／Ｄ変換部２０８は、光学部１０２にて検知した被写体の光量をデジタル信号値に変換して、ＲＡＷ画像を生成する。尚、本実施例において、ＲＡＷ画像は各画素にＲ，Ｇ，Ｂのいずれか１つの色しか持たない画像を例にして説明を行う。

画像処理部２０９は上記のＲＡＷ画像に対して、ホワイトバランス処理、デモザイク処理、ガンマ処理及びＨＤＲ合成を含む画像処理を行う。エンコーダ部２１０は、画像処理部２０９による処理結果の画像をＪｐｅｇなどのファイルフォーマットに変換する。

メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）との間で画像データを送受信するためのインタフェースである。システムバス２１２は、撮像装置１０１内の各構成の間で各種データを送受信するためのバスである。

図３は本実施例の撮像装置１０１の全体処理のフローチャートである。図４は画像処理部２０９が行う画像処理の詳細を示す図である。以下、図３及び図４を参照して詳細に説明する。

ステップＳ３０１では、ユーザが操作ボタン１０５を介して、レンズの絞り値、ＩＳＯ感度などの露出条件を設定する。尚、露光時間に関しては、シーンごとに変更するのではなく、予め準備した条件を設定する。また、本実施例では２種類の露光時間によるＨＤＲシーンの撮像を例にして説明する。また、以下では２種類の露光時間のうち、相対的に短い露光時間で撮像した画像を短秒画像、相対的に長い露光時間で撮像した画像を長秒画像と呼ぶ。

ステップＳ３０２において制御部２０６は、撮像ボタン１０３が押下されたか否かを判定する。押下された場合には、処理はステップＳ３０３に進み、押下されていない場合には、処理はステップＳ３０１に戻る。

ステップＳ３０３において制御部２０６は、オートフォーカスによるピント位置の設定や、ステップＳ３０１にてユーザが設定した露出条件（撮像パラメータ）を撮像系制御部２０５に設定し、撮像系制御部２０５に撮像動作の開始を指示する。そして、撮像系制御部２０５は、設定された露出条件に基づき露光時間が異なる複数の撮像（多段階露光撮像）を行うよう制御する。具体的に、撮像系制御部２０５は、光学部１０２を駆動させることで被写体の光量を取得し、さらに、Ａ／Ｄ変換部２０８は、取得された被写体の光量をデジタル信号値に変換することで、ＲＡＷ画像を取得する。本実施例では、ＲＡＷ画像として、同じシーンに対して長い露光時間（例えば、１／１２０秒）で撮像した長秒画像４１、及び短い露光時間（例えば、１／２０００秒）で撮像した短秒画像４２が取得され、画像処理部２０９に入力される。

ステップＳ３０４において画像処理部２０９は、入力された長秒画像４１及び短秒画像４２の各々に対してホワイトバランス処理４０１を行う。ステップＳ３０５において画像処理部２０９は、ステップＳ３０４にてホワイトバランス処理を行った画像の各々に対してデモザイク処理４０２を行う。これによって、長秒画像４３及び短秒画像４４が取得される。

ステップＳ３０６において画像処理部２０９は、ステップＳ３０５にて取得された長秒画像４３及び短秒画像４４の各々に対して、長秒用予備ガンマ処理４０３及び短秒用予備ガンマ処理４０４を行う。本ステップの予備ガンマ処理の詳細については後述する。

ステップＳ３０７において画像処理部２０９は、ステップＳ３０６にて予備ガンマ処理を行った画像に対して、予備ＨＤＲ合成処理４０５を行う。以下では、予備ＨＤＲ合成処理による処理結果の画像を予備ＨＤＲ合成画像と呼ぶ。また、本ステップの予備ＨＤＲ合成処理の詳細については後述する。

ステップＳ３０８において画像処理部２０９は、ステップＳ３０７の処理結果の予備ＨＤＲ合成画像（参照画像）に対して、ヒストグラム算出４０６を行う。尚、ヒストグラムの算出は、予備ＨＤＲ合成画像の輝度値Ｙ及びＲ，Ｇ，Ｂ値のそれぞれについて行う。

ステップＳ３０９において画像処理部２０９は、ステップＳ３０８にて算出されたヒストグラムに基づき、調整パラメータ算出４０７を行う。すなわち、シーンのダイナミックレンジに応じてガンマ処理において適用されるガンマ特性を調整する調整パラメータ４５を算出する。また、本ステップの調整パラメータ算出の詳細については後述する。

ステップＳ３１０において画像処理部２０９は、ステップＳ３０９にて算出された調整パラメータ４５に基づいて、ステップＳ３０５にて取得された長秒画像４３及び短秒画像４４の各々に対して本ガンマ処理を行う。すなわち、長秒用ガンマ処理４０８及び短秒用ガンマ処理４０９が行われる。

ステップＳ３１１において画像処理部２０９は、ステップＳ３１０にて本ガンマ処理を行った画像に対して、ＨＤＲ合成処理４１０を行い、合成画像４６を生成する。本ステップのＨＤＲ合成処理の詳細については後述する。

ステップＳ３１２において画像処理部２０９は、ステップＳ３１１にて生成された合成画像４６をエンコーダ部２１０に出力したり、メディアＩ／Ｆ２１１を介してＰＣ／メディア２１３に出力したりする。

本実施例において、画像処理部２０９は、入力された画像のＲ，Ｇ，Ｂ値から輝度値Ｙ，色差値Ｕ，Ｖを算出する。すなわちＲＧＢ→ＹＵＶの色空間変換処理を行う。そして、画像処理部２０９はＹＵＶ色空間上のｌｏｇガンマ補正を行って、ガンマ補正後の輝度値Ｙ，色差値Ｕ，Ｖを算出する。さらに、画像処理部２０９はガンマ補正後の輝度値Ｙ，色差値Ｕ，Ｖからガンマ補正後のＲ，Ｇ，Ｂ値を算出する。

＜予備ガンマ処理＞
本実施例の予備ガンマ処理は、所定のガンマ特性に基づくガンマ処理である。以下、ステップＳ３０６の予備ガンマ処理として、長秒画像４３に対して行う長秒用予備ガンマ処理４０３及び短秒画像４４に対して行う短秒用予備ガンマ処理４０４について詳細に説明する。

長秒画像４３に対して、長秒用予備ガンマ処理４０３は、次の式（１）により行う。ここで、長秒画像４３のＲ，Ｇ，Ｂ値をそれぞれＲ_long，Ｇ_long，Ｂ_longとし、ガンマ補正後のＲ，Ｇ，Ｂ値をＲ_long′，Ｇ_long′，Ｂ_long′とする。長秒画像４３の輝度値Ｙ，色差値Ｕ，ＶをそれぞれＹ_long，Ｕ_long，Ｖ_longとし、ガンマ補正後の輝度値Ｙ，色差値Ｕ，ＶをＹ_long′，Ｕ_long′，Ｖ_long′とする。また、Ｍａｘ及びＯ_maxは、予め設定されたガンマ補正係数であり、それぞれ予備ガンマ補正前の輝度値Ｙの上限値及び予備ガンマ補正後の輝度値Ｙの上限値に設定されている。例えば、Ｍａｘは、２＾²³−１及びＯ_maxは、１０ビットで出力する場合には、１０２３に設定することができる。

また、短秒画像４４に対して、短秒用予備ガンマ処理４０４は、次の式（２）により行う。ここで、短秒画像４４のＲ，Ｇ，Ｂ値をそれぞれＲ_short，Ｇ_short，Ｂ_shortとし、ガンマ補正後のＲ，Ｇ，Ｂ値をＲ_short′，Ｇ_short′，Ｂ_short′とする。短秒画像４４の輝度値Ｙ，色差値Ｕ，ＶをそれぞれＹ_short，Ｕ_short，Ｖ_shortとし、ガンマ補正後の輝度値Ｙ，色差値Ｕ，ＶをＹ_short′，Ｕ_short′，Ｖ_short′とする。また、短秒画像４４の露光時間をｔ_short、長秒画像４３の露光時間をｔ_longとする。

＜予備ＨＤＲ合成処理＞
ステップＳ３０７の予備ＨＤＲ合成処理４０５の詳細について図５を参照して説明する。ステップＳ３０６にて予備ガンマ処理を行った長秒画像及び短秒画像に対して、予備ＨＤＲ合成処理４０５は、次の式（３）により行う。

ここで、ｘとｙは画素位置である。Ｏｕｔ（ｘ，ｙ）は合成後の出力画像の画素位置（ｘ，ｙ）に格納された画素値（Ｒ，Ｇ，Ｂ値）である。Ｉ_short（ｘ，ｙ）は予備ガンマ処理を適用した後の短秒画像の画素位置（ｘ，ｙ）に格納された画素値、すなわちＲ_short′（ｘ，ｙ），Ｇ_short′（ｘ，ｙ），Ｂ_short′（ｘ，ｙ）である。Ｉ_long（ｘ，ｙ）は予備ガンマ処理を適用した後の長秒画像の画素位置（ｘ，ｙ）に格納された画素値、すなわちＲ_long′（ｘ，ｙ），Ｇ_long′（ｘ，ｙ），Ｂ_long′（ｘ，ｙ）である。また、Ａは合成係数マップの画素位置（ｘ，ｙ）に格納された合成係数値である。合成係数マップは、予備ＨＤＲ合成処理において用いられる短秒画像の合成係数値を画素毎に格納したマップである。以下、合成係数マップの生成方法について説明する。

図５は、輝度値に対して合成係数マップの合成係数値Ａを決定するためのグラフである。本実施例における合成係数マップは、短秒画像の合成係数値を格納したマップであり、予備ガンマ処理を適用した後の短秒画像及び図５のグラフに基づいて生成される。具体的に、短秒画像の画素値Ｉ_short（Ｒ，Ｇ，Ｂ値）から各画素の輝度値を算出し、算出された輝度値に対して平滑化処理を行う。平滑化処理は、例えば５ｘ５のガウシアンフィルタを適用することができる。そして、平滑化処理後の輝度値に対して、図５のグラフに基づいて合成係数マップの合成係数値Ａを決定する。図５に示すように、閾値Ｔｈ１及び閾値Ｔｈ２が設定されており、輝度値が閾値Ｔｈ１以下であれば合成係数値Ａは０、輝度値が閾値Ｔｈ２以上であれば合成係数値Ａは１とする。また、輝度値が閾値Ｔｈ１と閾値Ｔｈ２の間にあれば、合成係数値Ａは線形補間した結果を用いている。このように、各画素における合成係数値Ａが決定され、合成係数マップが生成される。

尚、本実施例では２つの閾値を持って補間することで合成係数値Ａを決定するものとして説明したが、合成係数値Ａの決定方法はこれに限定されない。例えば、３つ以上の閾値を持って補間することで合成係数値Ａを決定してもよいし、他の式を用いて合成係数値Ａを決定してもよい。

＜調整パラメータ算出＞
ステップＳ３０９の調整パラメータ算出の詳細について図６を参照して説明する。図６は、本実施例の調整パラメータ算出処理を説明するための図であり、予備合成画像に対して、輝度値Ｙ及びＲ，Ｇ，Ｂ値のヒストグラムを算出した例を示している。各ヒストグラムの最大値及び最小値を、Ｙｍｉｎ，Ｙｍａｘ，Ｒｍｉｎ，Ｒｍａｘ，Ｇｍｉｎ、Ｇｍａｘ，Ｂｍｉｎ，Ｂｍａｘとすると、次の式（４）により輝度値用の調整パラメータＡｙ、Ｂｙ及び色差値用の調整パラメータＡｃ，Ｂｃを算出する。

ここで、Ｍ_outは、予め設定された係数である。例えば、Ｍ_outは出力ビット数が１０ビットの場合、１０２３に設定することができる。式（４）で示したように、ＹｍｉｎとＹｍａｘの差分が大きくなると、Ａｙが小さくなる。Ｙｍｉｎが小さくなると、Ｂｙが小さくなる。また、ＣｍｉｎとＣｍａｘの差分が大きくなると、Ａｃが小さくなる。Ｃｍｉｎが小さくなると、Ｂｃが小さくなる。例えば、Ｙｍｉｎ及びＹｍａｘがそれぞれ５００、８００である場合に、Ａｙは３．４１となり、Ｂｙは１７０５となる。また、Ｙｍｉｎ及びＹｍａｘがそれぞれ７５０、８００である場合に、Ａｙは２０．４６となり、Ｂｙは１５３４５となる。

＜本ガンマ処理＞
ステップＳ３１０の本ガンマ処理として、長秒画像４３に対して行う長秒用ガンマ処理４０８及び短秒画像４４に対して行う短秒用ガンマ処理４０９について詳細に説明する。

長秒画像４３に対して、長秒用ガンマ処理４０８は、次の式（５）により行う。ここで、長秒画像４３の入力のＲ，Ｇ，Ｂ値をそれぞれＲ_long，Ｇ_long，Ｂ_longとし、ガンマ補正後のＲ，Ｇ，Ｂ値をＲ_long′，Ｇ_long′，Ｂ_long′とする。長秒画像４３の輝度値Ｙ，色差値Ｕ，ＶをそれぞれＹ_long，Ｕ_long，Ｖ_longとし、ガンマ補正後の輝度値Ｙ，色差値Ｕ，ＶをＹ_long′，Ｕ_long′，Ｖ_long′とする。また、Ｍａｘ及びＯ_maxは、式（１）で説明したものと同じで、予め設定されたガンマ補正係数である。さらに、調整パラメータＡｙ，Ｂｙ，Ａｃ，Ｂｃは、ステップＳ３０９にて算出されたパラメータである。

Ａｙ及びＡｃは、ガンマ処理における入力値に対する出力値の傾きを調整することができるパラメータである。具体的に式（５）で示すように、Ａｙが小さくなると、ｌｏｇ（Ｙ_long）に対するＹ_long′の傾きが小さくなり、Ａｃが小さくなると、ｌｏｇ（Ｕ_long）に対するＵ_long′の傾き、及びｌｏｇ（Ｖ_long）に対するＶ_long′の傾きが小さくなる。つまり、Ａｙ及びＡｃが小さくなると、ガンマ処理において入力値に対する出力値の傾きが小さくなる。また、前述の式（４）によっては、ＹｍｉｎとＹｍａｘの差分が大きい場合に、Ａｙ及びＡｃが小さく算出される。そのため、本実施例の本ガンマ処理は、ＹｍｉｎとＹｍａｘの差分が大きいほど、入力値に対する出力値の傾きが小さくなるように調整されたガンマ処理となる。

また、Ｂｙ及びＢｃは、ガンマ処理における出力値を全体的に低減させる補正定数を調整することができるパラメータである。具体的に式（５）で示すように、Ｂｙ及びＢｃが小さくなると、補正定数が大きくなる。また、前述の式（４）によっては、Ｙｍｉｎが大きい場合に、Ｂｙ及びＢｃが大きく算出される。そのため、本実施例の本ガンマ処理は、Ｙｍｉｎが大きい場合に、出力値を全体的に下げる補正定数が大きくなるように調整されたガンマ処理となる。

また、短秒画像４４に対して、短秒用ガンマ処理４０９は、次の式（６）により行う。ここで、短秒画像４４のＲ，Ｇ，Ｂ値をそれぞれＲ_short，Ｇ_short，Ｂ_shortとし、ガンマ補正後のＲ，Ｇ，Ｂ値をＲ_short′，Ｇ_short′，Ｂ _short′とする。短秒画像４４の輝度値Ｙ，色差値Ｕ，ＶをそれぞれＹ_short，Ｕ_short，Ｖ_shortとし、ガンマ補正後の輝度値Ｙ，色差値Ｕ，ＶをＹ_short′，Ｕ_short′，Ｖ_short′とする。また、短秒画像４４の露光時間をｔ_short、長秒画像４３の露光時間をｔ_longとする。

なお、長秒画像４３の場合と同様に、短秒画像４４に対して式（６）により行う本ガンマ処理は、ＹｍｉｎとＹｍａｘの差分が大きいほど、入力値に対する出力値の傾きが小さくなるように調整されたガンマ処理である。また、ＹｍｉｎとＹｍａｘの差分が大きいほど、入力値に対する出力値の傾きが小さくなるように調整されたガンマ処理でもある。

＜ＨＤＲ合成処理＞
ステップＳ３１１の本ＨＤＲ合成処理について説明する。予備ＨＤＲ合成処理において予備ガンマ処理後の画像を合成するのに対し、本ＨＤＲ合成処理では本ガンマ処理後の画像を合成する。本ＨＤＲ合成処理は、予備ＨＤＲ合成処理とほぼ同様であるが、合成係数マップを生成する際の閾値設定が異なる。本ＨＤＲ合成処理における閾値Ｔｈ１′及びＴｈ２′は、予備ＨＤＲ合成処理におけるＴｈ１，Ｔｈ２から、調整パラメータＡｙ，Ｂｙを用いて、次の式（７）のように算出される。

以上、説明したように本実施例では、長秒画像及び短秒画像に対して予備ガンマ処理及び予備ＨＤＲ合成処理を行った結果に基づいて、ガンマ処理をシーンのダイナミックレンジに適応させるための調整パラメータを算出する。算出された調整パラメータを適用した本ガンマ処理を、長秒画像及び短秒画像のそれぞれに対して行い、そして、得られたガンマ処理後の長秒画像及び短秒画像に対して本ＨＤＲ合成処理を行う。このように、シーンのダイナミックレンジに適応したガンマ処理を行い、該ガンマ処理後の画像をＨＤＲ合成することにより、少ないビット長での合成処理でも画質のよい合成画像を生成することが可能となる。また、シーンごとに露光時間の組み合わせなどの露出条件を変更しなくても、シーンのダイナミックレンジに適応したＨＤＲ合成を行うことが可能となる。

尚、以上では２種類の露光時間の異なる画像をＨＤＲ合成する例を説明したが、本実施例では、３種類以上の露光時間の異なる画像をＨＤＲ合成することもできる。３種類以上の露光時間の異なる画像をＨＤＲ合成する際に、露光時間の長い画像または短い画像から順に合成することができる。例えば、３つの露光時間の異なる画像を露光時間の長い画像から順に合成する場合を説明する。まず、露光時間の最も長い画像及び露光時間の２番目に長い画像を合成する。合成結果の画像の画素値はＯｕｔとする。そして、次の式（８）のように、露光時間の最も短い画像をさらに合成する。

ここで、Ｏｕｔ′は新たな合成後の画像の画素値、Ｉ_short′はＯｕｔに対して新たに合成する、露光時間の最も短い画像の画素値である。なお、式（８）における合成係数Ａは、合成される画像のうち、露光時間の短い画像の画素値（ここでは、Ｉ_short′）をもとに生成される。

なお、本実施例では、画像処理部２０９が撮像装置１０１に含まれるものとして説明したが、これに限定されず、画像処理部２０９は撮像装置１０１と通信可能な他の装置に含まれてもよい。または、画像処理部２０９は、撮像装置１０１と通信可能な画像処理装置として構成されてもよい。

［実施例２］
本実施例では、実施例１を動画に適用した場合について説明する。本実施例では、予備ガンマ処理及び予備ＨＤＲ合成を行わず、動画の連続するフレームのうち前フレームの出力画像に基づいて算出された調整パラメータを用いて、現フレームの本ガンマ処理において適用されるガンマ特性を調整する。なお、実施例１と共通する処理について説明を省略する。

図７は、本実施例における撮像装置１０１の全体処理のフローチャートを示す図である。図８は、本実施例における画像処理部２０９が行う画像処理の詳細を示す図である。

ステップＳ７０１では、ユーザが操作ボタン１０５を介して、レンズの絞り値、ＩＳＯ感度などの露出条件を設定する。尚、露光時間に関しては、シーンごとに変更するのではなく、予め準備した条件を設定する。

ステップＳ７０２において制御部２０６は、撮像ボタン１０３が押下されたか否かを判定する。押下された場合には、処理はステップＳ７０３に進み、押下されていない場合には、処理はステップＳ７０１に戻る。

ステップＳ７０３において制御部２０６は、オートフォーカスによるピント位置の設定や、ステップＳ７０１にてユーザが設定した露出条件（撮像パラメータ）を撮像系制御部２０５に設定し、撮像系制御部２０５に撮像動作の開始を指示する。そして、撮像系制御部２０５は、フレーム毎に、設定された露出条件に基づき露光時間が異なる複数の撮像（多段階露光撮像）を行い、長秒画像及び短秒画像を取得する。ここで、第ｎフレームにおいて長秒画像８１及び短秒画像８２が取得される。取得された長秒画像８１及び短秒画像８２が画像処理部２０９に入力される。

ステップＳ７０４において画像処理部２０９は、ステップＳ７０３にて取得された長秒画像８１及び短秒画像８２に対してＨＤＲ合成処理８０１を行い、現フレームの出力画像８３を生成する。本実施例のＨＤＲ合成処理８０１では、ステップＳ３０４と同様なホワイトバランス処理、ステップＳ３０５と同様なデモザイク処理、ステップＳ３１０と同様な本ガンマ処理、さらに、ステップＳ３１１と同様な本ＨＤＲ合成処理を行う。ただし、本実施例では、予備ガンマ処理及び予備ＨＤＲ合成処理を行わず、前フレームの出力画像（参照画像）に基づいて算出された調整パラメータを用いて、現フレームの本ガンマ処理において適用されるガンマ特性を調整する。ここで、調整パラメータ８０は第（ｎ−１）フレームにおいて該フレームの出力画像に基づいて算出される。また、算出された調整パラメータ８０は、保持部に保持され、第ｎフレームにおいて保持部から読み出されて長秒画像８１及び短秒画像８２に対する本ガンマ処理及び本ＨＤＲ合成処理に用いられる。尚、処理の開始直後の場合には、第１フレームに対するＨＤＲ合成処理を行うために、Ａｙ＝０，Ｂｙ＝０，Ａｃ＝０、Ｂｃ＝０を設定する。

ステップＳ７０５において画像処理部２０９は、ステップＳ７０４にて生成された現フレームの出力画像８３に基づき、調整パラメータ算出８０２を行う。本実施例の調整パラメータ算出８０２では、まず、ステップ３０８と同様なヒストグラム算出を行う。すなわち、現フレームの出力画像８３に対して、輝度値Ｙ及びＲ，Ｇ，Ｂ値のヒストグラムを算出する。そして、算出された出力画像８３のヒストグラム及び前フレームにおいて算出された調整パラメータ８０に基づいて、次の式（９）により調整パラメータ８４を算出する。

ここで、Ａｙ（ｎ），Ｂｙ（ｎ），Ａｃ（ｎ），Ｂｃ（ｎ）は現フレームにおいて算出される調整パラメータ８４であり、Ａｙ（ｎ−１），Ｂｙ（ｎ−１），Ａｃ（ｎ−１），Ｂｃ（ｎ−１）は前フレームにおいて算出された調整パラメータ８０である。また、Ｙｍａｘ，Ｙｍｉｎ，Ｒｍａｘ，Ｒｍｉｎ，Ｇｍａｘ，Ｇｍｉｎ，Ｂｍａｘ，Ｂｍｉｎは現フレームの出力画像８３のヒストグラムから算出されたＹ，Ｒ，Ｇ，Ｂの最大値及び最小値である。

ステップＳ７０６において画像処理部２０９は、ステップＳ７０４にて生成された出力画像８３をエンコーダ部２１０に出力したり、メディアＩ／Ｆ２１１を介してＰＣ／メディア２１３に出力したりする。

ステップＳ７０７において制御部２０６は、終了ボタンが押下されたか否かを判定する。終了ボタンが押下された場合には、本フローの処理は終了し、そうでない場合には、処理はステップＳ７０３に戻り、ステップＳ７０３からＳ７０７までの処理を繰り返す。

以上、説明したように本実施例では、動画の連続するフレームのうち前フレームの出力画像に基づいて算出された調整パラメータを、現フレームのガンマ処理及びＨＤＲ合成に適用する。これにより、シーンのダイナミックレンジに適応したガンマ補正及びＨＤＲ合成を行うことができる。また、動画撮像時においてもガンマ処理後の画像をＨＤＲ合成することにより、少ないビット長での合成処理でも画質のよい合成画像を生成することが可能となる。さらに、シーンごとに露光時間の組み合わせを変更しなくても、シーンのダイナミックレンジに適応したガンマ処理及びＨＤＲ合成を行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
２０９ 画像処理部
４３ 長秒画像
４４ 短秒画像
４０３ 長秒用予備ガンマ
４０４ 短秒用予備ガンマ
４０５ 予備ＨＤＲ合成
４０７ 調整パラメータ算出
４０８ 長秒用ガンマ
４０９ 短秒用ガンマ
４１０ ＨＤＲ合成
４６ ＨＤＲ合成画像

Claims (13)

1. 異なる露出条件で同じ撮像シーンを撮像して得られた複数の画像に対し、ガンマ処理及び合成処理を行って合成画像を生成する画像処理装置であって、
   前記撮像シーンのダイナミックレンジに応じて前記ガンマ処理において適用されるガンマ特性を調整する、調整パラメータを取得する取得手段と、
   前記取得手段にて取得された調整パラメータを適用した前記ガンマ処理を、前記複数の画像に対して行うガンマ処理手段と、
   前記ガンマ処理手段にて前記ガンマ処理が行われた前記複数の画像に対し、前記合成処理を行って前記合成画像を生成する合成手段と
   を有することを特徴とする画像処理装置。
2. 前記複数の画像に対し、所定のガンマ特性に基づく予備ガンマ処理を行う予備ガンマ処理手段と、
   前記予備ガンマ処理が行われた前記複数の画像を合成する予備合成手段と
   をさらに有し、
   前記取得手段は、前記予備合成手段による合成結果を参照画像とし、前記参照画像に基づいて前記調整パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像は、動画の連続するフレームのうち１つのフレームにおいて撮像された画像であり、
   前記取得手段は、前記１つのフレームの前フレームについて生成された前記合成画像を参照画像とし、前記参照画像に基づいて前記調整パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記参照画像について画素の最大値及び最小値を算出する算出手段をさらに有し、
   前記取得手段は、前記算出手段にて算出された最大値及び最小値に基づいて前記調整パラメータを算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記調整パラメータは、
   前記最大値と前記最小値の差分が大きいほど、前記ガンマ処理における入力値に対する出力値の傾きを小さくし、
   前記最小値が大きいほど、前記ガンマ処理における出力値を全体的に低減させる補正定数を大きくする
   ように前記ガンマ特性を調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記最大値および最小値は、輝度、Ｒ，Ｇ，Ｂのそれぞれについて算出されることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記算出手段は、前記参照画像のヒストグラムを算出し、算出されたヒストグラムを用いて前記最大値および最小値を算出することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記合成手段は、前記調整パラメータに基づいて前記合成処理における各画像の合成係数を変更し、前記撮像シーンのダイナミックレンジに応じた合成処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成処理は、ＨＤＲ合成であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数の画像は、少なくとも相対的に短い露光時間で撮像した第１の画像と、相対的に長い露光時間で撮像した第２の画像とを含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ガンマ処理は、ＹＵＶ色空間上のｌｏｇガンマ補正であり、
    前記画像のＹＵＶ色空間の画素値をｘ、ガンマ補正後のＹＵＶ色空間の画素値をｙ、予め設定された係数をｋとし、前記ガンマ処理の調整パラメータは、ｙ＝Ａ・ｋ・ｌｏｇ（ｘ）−Ｂの、Ａ，Ｂとして設定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 異なる露出条件で同じ撮像シーンを撮像して得られた複数の画像に対し、ガンマ処理及び合成処理を行って合成画像を生成する画像処理方法であって、
    前記撮像シーンのダイナミックレンジに応じて前記ガンマ処理において適用されるガンマ特性を調整する、調整パラメータを取得する取得工程と、
    前記取得工程にて取得された調整パラメータを適用した前記ガンマ処理を、前記複数の画像に対して行うガンマ処理工程と、
    前記ガンマ処理工程にて前記ガンマ処理が行われた前記複数の画像に対し、前記合成処理を行って前記合成画像を生成する合成工程と
    を含むことを特徴とする画像処理方法。
13. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。