JP2013118492A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】高解像度の広ダイナミックレンジ画像を生成すること。
【解決手段】第１のライン群は第１の露光量で撮像し、第２のライン群は第２の露光量で撮像した撮影画像について、第２のライン群で形成される第２の画像から、第１のライン群の画素値を推定して第１の推定画像を生成し、第１の画像の輝度を第２の画像と同じ輝度に調整して第１の調整画像を生成し、第１の推定画像と第１の調整画像とをブレンドした第１のブレンド画像と第２の画像とを合成して第１の合成画像を生成し、第１のライン群で形成される第１の画像から、第２のライン群の画素値を推定して第２の推定画像を生成し、第２の画像の輝度を第１の画像と同じ輝度に調整して第２の調整画像を生成し、第２の推定画像と第２の調整画像とをブレンドした第２のブレンド画像と第１の画像とを合成して第２の合成画像を生成する、画像処理装置が提供される。
【選択図】図２

Description

本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの撮像素子は、写真フィルムに比べるとダイナミックレンジが狭い傾向にある。そのため、こうした撮像素子を用いて撮像する場合、露光量を高くすると入射光量が多い画素で白飛びが生じてしまうことがあり、一方で、露光量を低くすると入射光量が少ない画素で黒つぶれが生じてしまうことがある。こうした課題に対し、同一の被写体を複数の異なる露光量で撮像した画像を合成し、ダイナミックレンジの広い撮像素子で撮像した場合と同等の画質を有する画像（以下、ＨＤＲ画像）を得る方法が考案された。

例えば、下記の特許文献１には、高露光量で撮像した画像と、低露光量で撮像した画像とを合成することによりＨＤＲ画像を得る方法が開示されている。また、下記の特許文献２及び３には、画像のライン毎に異なる露光量で撮像し、高露光量で撮像されたラインを利用した補間処理により、低露光量で撮像されたラインに対応するラインの画素値を算出して高輝度の補間画像を生成し、低露光量で撮像されたラインを利用した補間処理により、高露光量で撮像されたラインに対応するラインの画素値を算出して低輝度の補間画像を生成して両補間画像を合成する構成が開示されている。

特開２００１−０１６４９９号公報 特開２００８−１１８５７３号公報 特開２００５−３４８３０１号公報

確かに、上記の特許文献１に記載の技術を用いると、高露光量で撮像される画像成分と、低露光量で撮像される画像成分とを含むＨＤＲ画像が得られる。しかし、高露光量で撮像するタイミングと低露光量で撮像するタイミングとが同時ではないため、被写体が完全に静止していない場合には、ぶれが生じてしまう。また、上記の特許文献２及び３に記載の技術のように、隣接ラインを用いた補間処理により補間画像を生成した場合、補間処理により得られたラインには、隣接ラインの情報しか含まれない。その結果、補間処理の対象としたラインが本来含むべき情報が欠落している分、解像度が低下してしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、高解像度の広ダイナミックレンジ画像を生成することが可能な、新規かつ改良された画像処理装置、撮像装置、及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して得られる撮影画像を取得する画像取得部と、前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成部と、前記第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成部と、前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成部と、前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成部と、前記撮影画像の第１のライン群で形成される第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成部と、前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成部と、前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成部と、前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成部と、前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、を備える、画像処理装置が提供される。

仮に、第１の推定画像と第２の画像とを合成して第１の合成画像を生成した場合、第１の推定画像を生成する際に第１のライン群の情報を利用していないため、欠落している情報の分だけ第１の合成画像の解像度が低下してしまう。同様に、第２の推定画像と第１の画像とを合成して第２の合成画像を生成した場合、第２の推定画像を生成する際に第２のライン群の情報を利用していないため、欠落している情報の分だけ第２の合成画像の解像度が低下してしまう。しかし、上記の画像処理装置は、第１の合成画像を生成する際、第１のブレンド画像を利用している。この第１のブレンド画像は第１の画像の輝度を調整した第１の調整画像を用いて生成されており、第１のライン群の情報を含んでいる。そのため、上記の画像処理装置が生成する第１の合成画像は、第１のライン群の情報が含まれた高い解像度の画像である。第２の合成画像についても同様である。従って、上記の画像処理装置が生成する広ダイナミックレンジ画像は高い解像度を有することになる。

また、前記第１の推定画像生成部は、前記撮像画像の第２のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第１のライン群を構成する各画像の画素値を推定し、前記第２の推定画像生成部は、前記撮像画像の第１のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第２のライン群を構成する各画像の画素値を推定するように構成されていてもよい。このように、比較的負荷の低い補間処理を用いることにより、処理負荷を低減することが可能になる。

また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の画素値を当該推定対象となる画素の画素値として利用する近傍補間であってもよい。かかる構成により、低い処理負荷で画素値の推定が実現可能になる。

また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた線形近似によって当該推定対象となる画素の画素値を推定する線形補間であってもよい。かかる構成により、ある程度の精度を実現しつつ、低い処理負荷で画素値の推定が実現可能になる。

また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた多項式近似によって当該推定対象となる画素の画素値を推定する多項式補間であってもよい。かかる構成により、ある程度の精度を実現しつつ、低い処理負荷で画素値の推定が実現可能になる。

また、前記第１及び第２の推定画像生成部は、推定対象となる画素の近傍に位置する近傍画素のエッジ情報により重み付けした画素値を用いて前記補間処理を実行するように構成されていてもよい。かかる構成により、より高い精度で画素値の推定が実現される。

また、前記第１のブレンド画像生成部は、前記第１の推定画像と前記第１の調整画像とをアルファブレンドして前記第１のブレンド画像を生成し、前記第２のブレンド画像生成部は、前記第２の推定画像と前記第２の調整画像とをアルファブレンドして前記第２のブレンド画像を生成するように構成されていてもよい。

また、前記第１のブレンド画像生成部は、被写体の明るさが所定の閾値を上回る画素領域について前記第１の推定画像を利用し、当該所定の閾値を下回る画素領域について前記第１の調整画像を利用するように前記第１の推定画像と前記第１の調整画像とをブレンドして前記第１のブレンド画像を生成し、前記第２のブレンド画像生成部は、被写体の明るさが所定の閾値を下回る画素領域について前記第２の推定画像を利用し、当該所定の閾値を上回る画素領域について前記第２の調整画像を利用するように前記第２の推定画像と前記第２の調整画像とをブレンドして前記第２のブレンド画像を生成するように構成されていてもよい。かかる構成により、情報の欠落を抑制し、より高解像度のブレンド画像を生成することが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して撮影画像を得る撮像部と、前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成部と、前記第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成部と、前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成部と、前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成部と、前記撮影画像の第１のライン群で形成される第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成部と、前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成部と、前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成部と、前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成部と、前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、を備える、撮像装置が提供される。

上記の撮像装置は、第１の合成画像を生成する際、第１のブレンド画像を利用している。この第１のブレンド画像は第１の画像の輝度を調整した第１の調整画像を用いて生成されており、第１のライン群の情報を含んでいる。そのため、上記の撮像装置が生成する第１の合成画像は、第１のライン群の情報が含まれた高い解像度の画像である。第２の合成画像についても同様である。従って、上記の撮像装置が生成する広ダイナミックレンジ画像は高い解像度を有することになる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して得られる撮影画像を取得する画像取得工程と、前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成工程と、前記第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成工程と、前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成工程と、前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成工程と、前記撮影画像の第１のライン群で形成される第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成工程と、前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成工程と、前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成工程と、前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成工程と、前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成工程と、を含む、画像処理方法が提供される。

上記の画像処理方法は、第１の合成画像を生成する際、第１のブレンド画像を利用している。この第１のブレンド画像は第１の画像の輝度を調整した第１の調整画像を用いて生成されており、第１のライン群の情報を含んでいる。そのため、上記の撮像装置が生成する第１の合成画像は、第１のライン群の情報が含まれた高い解像度の画像である。第２の合成画像についても同様である。従って、上記の画像処理方法で生成する広ダイナミックレンジ画像は高い解像度を有することになる。

以上説明したように本発明によれば、高解像度の広ダイナミックレンジ画像を生成することが可能になる。

本発明の一実施形態に係る撮像装置の機能構成を示した説明図である。 同実施形態に係る撮像装置の画像信号処理部について詳細な機能構成を示した説明図である。 同実施形態に係るＨＤＲ画像の生成方法を示した説明図である。 同実施形態に係る画像処理の流れを示した説明図である。 同実施形態に係る補間処理方法の一例を示した説明図である。 同実施形態に係る補間処理方法の一例を示した説明図である。 同実施形態に係る補間処理方法の一例を示した説明図である。 同実施形態に係る補間処理方法の一例を示した説明図である。 同実施形態に係る補間処理方法の一例を示した説明図である。 同実施形態に係るブレンド処理について説明するための説明図である。 同実施形態に係るブレンド処理について説明するための説明図である。 同実施形態に係るブレンド処理について説明するための説明図である。 同実施形態に係るブレンド処理について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本実施形態に係る撮像装置１００の全体的な構成について説明する。次いで、図２を参照しながら、本実施形態に係る撮像装置１００が有する画像信号処理部１０３の詳細な機能構成について説明する。次いで、図３〜図１３を参照しながら、本実施形態に係るＨＤＲ画像の生成方法について説明する。

［概要］
本実施形態は、一定の露光量で撮像した場合に撮像素子が表現できるダイナミックレンジよりも広いダイナミックレンジを有する画像（ＨＤＲ画像）を生成する方法に関する。特に、本実施形態は、１枚の撮影画像を利用して高解像度のＨＤＲ画像を生成する方法に関する。なお、本稿において、ダイナミックレンジとは、撮像素子の飽和信号出力レベルとノイズの最大値との差を意味する。

＜１：撮像装置１００の構成＞
以下、本実施形態に係るＨＤＲ画像の生成方法を実現することが可能な撮像装置１００の構成について説明する。

［１−１：撮像装置１００の全体構成］
まず、図１を参照しながら、本実施形態に係る撮像装置１００の全体構成について説明する。図１は、本実施形態に係る撮像装置１００の全体構成を示した説明図である。なお、図１に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置１００は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。

図１に示すように、撮像装置１００は、主に、レンズ１０１と、撮像素子１０２と、画像信号処理部１０３と、ＣＰＵ１０４と、ＤＲＡＭ１０５と、ＲＯＭ１０６と、制御部１０７と、操作部１０８と、圧縮処理部１０９と、モニタ駆動部１１０と、ＬＣＤモニタ１１１と、メモリインターフェース１１２と、メモリカード１１３とにより構成される。但し、メモリカード１１３は、着脱可能な状態で接続されていてもよい。

レンズ１０１は、外部の光情報を撮像素子１０２に結像させる光学系の一部を成し、被写体からの光を撮像素子１０２まで導光する。また、レンズ１０１を含む光学系は、例えば、ズームレンズ、絞り、フォーカスレンズなどで構成される。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１０２の撮像面に被写体像を合焦させる。また、フォーカスレンズは、制御部１０７によって駆動制御される。

撮像素子１０２は、レンズ１０１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。各光電素子は、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１０２としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどがある。また、撮像素子１０２の露光量を制御するために、撮像装置１００には、メカニカルシャッター（非図示）及び／又は電子シャッターが搭載されている。これらメカニカルシャッター及び電子シャッターは、ユーザによる操作部１０８の操作（シャッターボタンの押下など）に応じて動作する。なお、撮像素子１０２における露光制御については後述する。

また、撮像素子１０２は、ＣＤＳ／ＡＭＰ回路（非図示）に接続される。さらに、ＣＤＳ／ＡＭＰ回路は、Ａ／Ｄ変換回路（非図示）などに接続される。なお、ＣＤＳはCorrelated Double Sampling（相関二重サンプリング）の略であり、ＡＭＰはAmplifier（増幅器）の略である。ＣＤＳ／ＡＭＰ回路は、撮像素子１０２から出力された電気信号に含まれるリセットノイズ及びアンプノイズを除去する。さらに、ＣＤＳ／ＡＭＰ回路は、リセットノイズ及びアンプノイズを除去した電気信号を所定のレベルまで増幅する。一方、Ａ／Ｄ変換回路は、ＣＤＳ／ＡＭＰ回路から出力されたアナログの電気信号をデジタル信号に変換する。そして、Ａ／Ｄ変換回路により生成されたデジタル信号は、画像信号処理部１０３に入力される。

画像信号処理部１０３は、入力されたデジタル信号を利用してＨＤＲ画像を生成する。なお、画像信号処理部１０３の詳細な機能構成及びＨＤＲ画像の生成方法については後述する。まず、デジタル信号が入力されると、画像信号処理部１０３は、撮像素子１０２の画素欠陥補正、黒レベル補正、シェーディング補正などの前処理を実行する。また、画像信号処理部１０３は、前処理後のデジタル信号を輝度信号と色信号とに変換する。さらに、画像信号処理部１０３は、ホワイトバランス制御値、γ値、エッジ強調制御値などに基づいてデジタル信号を補正し、ＨＤＲ画像の生成に利用可能な画像信号を生成する。

この画像信号は、ＤＲＡＭ１０５やメモリカード１１３に記録されるか、或いは、圧縮処理部１０９により圧縮符号化（例えば、ＪＰＥＧ形式やＭＰＥＧ形式など）された後でメモリカード１１３に記録される。なお、メモリカード１１３への記録は、メモリインターフェース１１２を介して実行される。また、この画像信号は、スルー画像としてＬＣＤモニタ１１１に表示されたり、操作部１０８を利用したユーザの操作に応じてＬＣＤモニタ１１１に表示されたりする。なお、ＬＣＤモニタ１１１への表示は、モニタ駆動部１１０を介して実行される。また、ここでは表示手段としてＬＣＤモニタ１１１を例示しているが、有機ＥＬディスプレイなどを利用することも可能である。

ところで、画像信号処理部１０３、制御部１０７、圧縮処理部１０９などは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１０４の制御に応じて動作する。ＣＰＵ１０４は、ＲＯＭ１０６などに格納されたプログラムに従って演算処理を実行する演算処理装置であり、撮像装置１００を構成する各構成要素の処理を制御する制御手段として機能する。例えば、ＣＰＵ１０４は、制御部１０７に制御信号を入力してフォーカスレンズを駆動させる。また、ＣＰＵ１０４は、画像信号処理部１０３が実行するＨＤＲ画像の生成処理に係る演算などを実行するように構成されていてもよい。

ところで、上記の説明においては、記録手段としてメモリカード１１３を例示したが、カード状ではない半導体記憶媒体、磁気記録媒体、光記録媒体、光磁気記録媒体などを画像信号の記録に利用してもよい。また、操作部１０８は、上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどで構成されていてもよい。なお、シャッターボタンは、半押し、全押し、解除などの押下状態を検出可能なものであってもよい。例えば、シャッターボタンが半押しされた場合にフォーカス制御が開始され、半押し解除でフォーカス制御が終了するように構成されていてもよい。さらに、シャッターボタンが全押しされた場合に撮影が開始されるように構成されていてもよい。

（露光制御について）
ここで、本実施形態に係る露光制御について説明する。なお、メカニカルシャッター及び／又は電子シャッターによる露光制御は、制御部１０７の機能により実現される。

本実施形態に係る制御部１０７は、撮像面を複数の撮像領域に分け、撮像領域毎に異なる露光量で撮像するように露光制御する機能を有する。例えば、制御部１０７は、一又は複数のラインを撮像領域の単位（以下、ライン群）とし、奇数番目のライン群に対する露光量を低く設定し、偶数番目のライン群に対する露光量を高く設定する。このように設定すると、図３に模式的に示した撮影画像ＰＩＮのように、奇数番目のライン群を構成する画素が低輝度となり、偶数番目のライン群を構成する画素が高輝度となる。このように、本実施形態に係る制御部１０７は、撮像領域毎に異なる露光量で撮像するように露光制御する。なお、以下では、説明の都合上、奇数番目のライン群に対する露光量を低く設定し、偶数番目のライン群に対する露光量を高く設定する露光制御が行われたことを前提として説明を進めるが、本実施形態に係る技術の適用範囲はこれに限定されない。

以上、撮像装置１００の全体構成について説明した。

［１−２：画像信号処理部１０３の構成］
次に、図２を参照しながら、画像信号処理部１０３の詳細な機能構成について説明する。図２は、画像信号処理部１０３の詳細な機能構成を示した説明図である。なお、図２には主にＨＤＲ画像の生成に係る構成要素を示し、その他の構成要素については記載を省略している。

図２に示すように、画像信号処理部１０３は、主に、画像分離部１３１と、高輝度画像補間部１３２と、輝度低減部１３３と、輝度増加部１３４と、低輝度画像補間部１３５と、高輝度画像ブレンド部１３６と、高輝度画像マージ部１３７と、低輝度画像ブレンド部１３８と、低輝度画像マージ部１３９と、ＨＤＲ処理部１４０とにより構成される。

画像信号処理部１０３には、撮像領域毎に異なる露光量で撮像された画像信号（以下、撮影画像ＰＩＮ）が入力される。ここでは、撮影画像ＰＩＮを構成する奇数番目のライン群が低露光量で撮像されたものであり、偶数番目のライン群が高露光量で撮像されたものであると仮定して説明を進める。この撮影画像ＰＩＮは、まず、画像分離部１３１に入力される。撮影画像ＰＩＮが入力されると、画像分離部１３１は、図３に示すように、入力された撮影画像ＰＩＮを偶数番目のライン群で構成される画像（以下、高輝度画像Ｐ１）と、奇数番目のライン群で構成される画像（以下、低輝度画像Ｐ２）とに分離する。

図２に示すように、高輝度画像Ｐ１は、高輝度画像補間部１３２、輝度低減部１３３、及び高輝度画像マージ部１３７に入力される。一方、低輝度画像Ｐ２は、輝度増加部１３４、低輝度画像補間部１３５、及び低輝度画像マージ部１３９に入力される。

高輝度画像Ｐ１が入力された高輝度画像補間部１３２は、図３に示すように、入力された高輝度画像Ｐ１を構成する偶数番目のライン群を用いて補間処理を実行し、奇数番目のライン群に対応する画素情報を推定して高輝度補間画像ＰＩＰ１を生成する。なお、補間処理の詳細については後述する。また、高輝度補間画像ＰＩＰ１は、高輝度画像ブレンド部１３６に入力される。また、高輝度画像Ｐ１が入力された輝度低減部１３３は、図３に示すように、高輝度画像Ｐ１の輝度を低輝度画像Ｐ２と同じ輝度まで低減（ゲインダウン）し、輝度低減画像ＰＧＤを生成する。そして、輝度低減画像ＰＧＤは、低輝度画像ブレンド部１３８に入力される。

一方で、低輝度画像Ｐ２が入力された低輝度画像補間部１３５は、図３に示すように、入力された低輝度画像Ｐ２を構成する奇数番目のライン群を用いて補間処理を実行し、偶数番目のライン群に対応する画素情報を推定して低輝度補間画像ＰＩＰ２を生成する。なお、補間処理の詳細については後述する。また、低輝度補間画像ＰＩＰ２は、低輝度画像ブレンド部１３８に入力される。また、低輝度画像Ｐ２が入力された輝度増加部１３４は、図３に示すように、低輝度画像Ｐ２の輝度を高輝度画像Ｐ１と同じ輝度まで増加（ゲインアップ）し、輝度増加画像ＰＧＵを生成する。そして、輝度増加画像ＰＧＵは、高輝度画像ブレンド部１３６に入力される。

上記の通り、高輝度画像ブレンド部１３６には、高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵが入力される。高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵが入力されると、高輝度画像ブレンド部１３６は、入力された高輝度補間画像ＰＩＰ１と輝度増加画像ＰＧＵとをブレンドし、高輝度ブレンド画像ＰＢＬ１を生成する。なお、ブレンド処理の詳細については後述する。高輝度ブレンド画像ＰＢＬ１は、高輝度画像マージ部１３７に入力される。このとき、高輝度画像マージ部１３７には、偶数番目のライン群で構成される高輝度画像Ｐ１と、奇数番目のライン群で構成される高輝度ブレンド画像ＰＢＬ１とが入力されている。

高輝度画像Ｐ１及び高輝度ブレンド画像ＰＢＬ１が入力されると、高輝度画像マージ部１３７は、入力された高輝度画像Ｐ１と高輝度ブレンド画像ＰＢＬ１とをマージして高輝度マージ画像ＰＭ１を生成する。つまり、高輝度マージ画像ＰＭ１を構成する偶数番目のライン群は、高輝度画像Ｐ１を構成する偶数番目のライン群で形成されている。一方、高輝度マージ画像ＰＭ１を構成する奇数番目のライン群は、高輝度ブレンド画像ＰＢＬ１を構成する奇数番目のライン群で形成されている。このようにして生成された高輝度マージ画像ＰＭ１は、ＨＤＲ処理部１４０に入力される。

一方で、低輝度画像ブレンド部１３８には、低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤが入力される。低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤが入力されると、低輝度画像ブレンド部１３８は、入力された低輝度補間画像ＰＩＰ２と輝度低減画像ＰＧＤとをブレンドし、低輝度ブレンド画像ＰＢＬ２を生成する。なお、ブレンド処理の詳細については後述する。低輝度ブレンド画像ＰＢＬ２は、低輝度画像マージ部１３９に入力される。このとき、低輝度画像マージ部１３９には、奇数番目のライン群で構成される低輝度画像Ｐ２と、偶数番目のライン群で構成される低輝度ブレンド画像ＰＢＬ２とが入力されている。

低輝度画像Ｐ２及び低輝度ブレンド画像ＰＢＬ２が入力されると、低輝度画像マージ部１３９は、入力された低輝度画像Ｐ２と低輝度ブレンド画像ＰＢＬ２とをマージして低輝度マージ画像ＰＭ２を生成する。つまり、低輝度マージ画像ＰＭ２を構成する奇数番目のライン群は、低輝度画像Ｐ２を構成する奇数番目のライン群で形成されている。一方、低輝度マージ画像ＰＭ２を構成する偶数番目のライン群は、低輝度ブレンド画像ＰＢＬ２を構成する偶数番目のライン群で形成されている。このようにして生成された低輝度マージ画像ＰＭ２は、ＨＤＲ処理部１４０に入力される。

高輝度マージ画像ＰＭ１及び低輝度マージ画像ＰＭ２が入力されると、ＨＤＲ処理部１４０は、入力された高輝度マージ画像ＰＭ１と低輝度マージ画像ＰＭ２とを合成してＨＤＲ画像ＰＨＤＲを生成する。このようにして生成されたＨＤＲ画像ＰＨＤＲは、画像信号処理部１０３から出力され、圧縮処理部１０９により圧縮処理が施されたり、ＬＣＤモニタ１１１に表示されたり、メモリカード１１３に記録されたりする。

以上、画像信号処理部１０３の詳細な機能構成について説明した。なお、上記の説明において詳細な説明を省略した補間処理やブレンド処理などについては後述する。

＜２：ＨＤＲ画像の生成方法＞
次に、本実施形態に係るＨＤＲ画像の生成方法について説明する。

［２−１：全体的な流れ］
まず、図４を参照しながら、本実施形態に係るＨＤＲ画像の生成処理の全体的な流れを説明する。図４は、本実施形態に係るＨＤＲ画像の生成処理の全体的な流れを説明するための説明図である。なお、図４に示した処理は、上述した画像信号処理部１０３の機能により実現される。

図４に示すように、まず、画像信号処理部１０３は、撮影画像ＰＩＮを高輝度画像Ｐ１と低輝度画像Ｐ２とに分離する（Ｓ１０１）。次いで、画像信号処理部１０３は、補間処理により高輝度画像Ｐ１から高輝度補間画像ＰＩＰ１を生成する（Ｓ１０２）。次いで、画像信号処理部１０３は、高輝度画像Ｐ１をゲインダウンして輝度低減画像ＰＧＤを生成する（Ｓ１０３）。

次いで、画像信号処理部１０３は、補間処理により低輝度画像Ｐ２から低輝度補間画像ＰＩＰ２を生成する（Ｓ１０４）。次いで、画像信号処理部１０３は、低輝度画像Ｐ２をゲインアップして輝度増加画像ＰＧＵを生成する（Ｓ１０５）。次いで、画像信号処理部１０３は、高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵをブレンドして高輝度ブレンド画像ＰＢＬ１を生成する（Ｓ１０６）。次いで、画像信号処理部１０３は、低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤをブレンドして低輝度ブレンド画像ＰＢＬ２を生成する（Ｓ１０７）。

次いで、画像信号処理部１０３は、高輝度ブレンド画像ＰＢＬ１と高輝度画像Ｐ１とをマージして高輝度マージ画像ＰＭ１を生成する（Ｓ１０８）。次いで、画像信号処理部１０３は、低輝度ブレンド画像ＰＢＲ２と低輝度画像Ｐ２とをマージして低輝度マージ画像ＰＭ２を生成する（Ｓ１０９）。次いで、画像信号処理部１０３は、高輝度マージ画像ＰＭ１と低輝度マージ画像ＰＭ２とを合成してＨＤＲ画像ＰＨＤＲを生成し（Ｓ１１０）、一連の処理を終了する。

以上、ＨＤＲ画像の生成処理の全体的な流れについて説明した。なお、一部の処理ステップについては、処理の順序を入れ替えてもよい。

（Ｌｉｎｔｅｒｐｏｌａｔｉｏｎ：図５）
ここで、図５を参照しながら、ブレンド画像（上記の高輝度ブレンド画像ＰＢＬ１又は低輝度ブレンド画像ＰＢＬ２）の生成方法について、より具体的に説明する。

図５には、一例として、低輝度ブレンド画像ＰＢＬ２の具体的な生成方法を示した。図５に示すように、本実施形態に係るブレンド画像の生成方法は、近隣画素と、輝度値の異なる同一位置の画素とを利用する方法である。図５の例では、高露光量で撮像されたライン群に含まれる画素Ｑと、低露光量で撮像された近隣のライン群に含まれる画素１〜画素６とを利用して、画素Ｑの位置に対応する低露光量で撮像された画素（低輝度の画素）を推定している。

図５に示すように、画素Ｑの位置にある低輝度の画素を推定する場合、その画素と同色で近隣に位置する画素（この例では画素１〜画素６）が選択される。そして、画素１〜画素６の画素値を用いた補間処理により、画素Ｑの位置における画素の画素値が算出される。ここで用いる補間処理としては、例えば、最近傍補間（図６を参照）、線形補間（図７を参照）、多項式補間（図８を参照）などが利用可能である。さらに、画素１〜画素６の位置におけるエッジ情報を補間処理に利用してもよい（図９を参照）。

一方で、画素Ｑの位置にある高輝度の画素（高露光量で撮像された画素）が低露光量で撮像された画素と同じ輝度までゲインダウンされる。そして、ゲインダウン後の画素と、上記の補間処理により生成された画素とがブレンドされ、画素Ｑの位置における補間画素（低露光量で撮像された画素の推定画素）が生成される。このように、補間処理とブレンド処理とを組み合わせた画素推定手法を本稿においてはＬｉｎｔｅｒｐｏｌａｔｉｏｎと呼ぶことがある。この画素推定手法を用いることで、解像度の低下と位置ずれとを抑制することができる。

［２−２：補間画像の生成方法］
ここで、図６〜図９を参照しながら、補間処理の詳細について説明する。

（最近傍補間：図６）
最も単純な補間手法としては、図６に示すような最近傍補間がある。最近傍補間とは、補間対象の位置に最も近い点を選択し、選択した点の値を補間対象の位置における点の値とする補間手法である。つまり、補間処理により画素値を推定したい画素（以下、推定画素）に最も近い画素を選択し、選択した画素の画素値を推定画素の画素値とする補間手法である。この補間手法は、最近傍画素の画素値をそのまま利用するため、推定精度は劣るが、処理負荷はとても低い。

（線形補間：図７）
また、比較的単純な補間手法としては、図７に示すような線形補間がある。線形補間とは、隣接する２点を直線で結び、その直線上の値を補間対象の位置における点の値とする補間手法である。例えば、位置ｘにある画素の画素値ＰＩＰは、下記の式（１）に基づいて算出される。但し、係数Ａ及びＢは、近隣画素の位置及び画素値から算出される。この補間手法は、最近傍補間に比べて推定精度が高く、また、一次式を利用しているため、比較的処理負荷も低い。

ＰＩＰ（ｘ）＝Ａ＊ｘ＋Ｂ
…（１）

（多項式補間：図８）
また、やや高度な補間手法としては、図８に示すような多項式補間がある。多項式補間とは、近隣にある複数の点を多項式でフィッティングし、その多項式上の点を補間対象の位置における点の値とする補間手法である。例えば、位置ｘにある画素の画素値ＰＩＰは、下記の式（２）に基づいて算出される。但し、係数Ａ０，…，Ａｎは、近隣にある画素の位置及び画素値から算出される。この補間手法は、線形補間よりも推定精度が高いが、多項式を利用しているため、次数ｎが大きくなると処理負荷が高くなる。

ＰＩＰ（ｘ）＝Ａ０＋Ａ１＊ｘ＋…＋Ａｎ＊ｘｎ
…（２）

（エッジ情報を考慮した補間：図９）
さらに高度な補間手法として、図９に示すように、近隣画素のエッジ情報を考慮した補間手法（以下、エッジ考慮手法）が考えられる。なお、この補間手法は、上述した線形補間などと組み合わせて利用する。ここでは線形補間と組み合わせる例を念頭において説明を進めることにする。

まず、画像信号処理部１０３は、線形補間により近隣画素の画素値から推定画素の画素値を算出する。例えば、画像信号処理部１０３は、画素ｐｘ３と画素ｐｘ３’とを用いて、線形補間により推定画素の画素値ＰＩＰ３を算出する。さらに、画像信号処理部１０３は、近隣画素の画素値から各方向についてエッジ情報を抽出する。例えば、画像信号処理部１０３は、画素ｐｘ３と画素ｐｘ３’とを結ぶ方向についてエッジ情報ｅ３を抽出する。そして、画像信号処理部１０３は、線形補間により算出した画素値ＰＩＰｄ及びエッジ情報ｅｄ（図９の例ではｄ＝−３〜３）を用いて推定画素の画素値ＰＩＰを算出する。

画素値ＰＩＰは、下記の式（３）に基づいて算出される。また、下記の式（３）に含まれる関数ｗ（・）は、下記の式（４）により定義される。但し、σｄは、カーネルの大きさを表す。

…（３）

…（４）

以上、補間処理の詳細について説明した。

［２−３：ブレンド画像の生成方法］
次に、図１０〜図１３を参照しながら、ブレンド処理の詳細について説明する。

（閾値を用いたブレンド手法）
図１０に示すように、長時間露光の場合、シーンの明るさがｂｌ１からｂｌ２の領域で感度が得られる。しかし、シーンの明るさがｂｌ２を超えると、撮像素子の飽和出力レベルを超えてしまい、出力レベルが一定となって感度が得られなくなる。一方、短時間露光の場合、シーンの明るさがｂｌ３（ｂｌ３＞ｂｌ１）からｂｌ４（ｂｌ４＞ｂｌ２）の領域で感度が得られる。つまり、シーンの明るさがｂｌ３を下回る領域では黒つぶれしてしまうが、シーンの明るさがｂｌ２を超えてもｂｌ４までの領域については白飛びせずに感度が得られる。従って、長時間露光で撮像された画像と、短時間露光で撮像された画像とを合成することにより、広いダイナミックレンジの画像が得られる。

ここで、長時間露光で撮像された画像（以下、長時間露光画像）をゲインダウンする場合について考えてみよう。長時間露光画像をゲインダウンするということは、図１１に示すように、長時間露光で撮像した場合の出力信号特性を全体的に抑圧することと等価である（一点鎖線を参照）。ゲインダウンした長時間露光画像に対応する出力信号特性は、シーンの明るさがｂｌ２までの領域において、短時間露光で撮像した場合の出力信号特性と近似しているが、ｂｌ２よりもシーンの明るさが大きい領域において異なる。具体的には、シーンの明るさがｂｌ２を超える領域において、ゲインダウンした長時間露光画像に対応する出力信号は、飽和信号レベルよりも低いレベルに抑圧されてしまっている。つまり、ゲインダウンにより明るいシーンの情報が欠落してしまっているのである。

そこで、図１２に示すように、シーンの明るさｂｌ２を閾値とし、閾値よりシーンの明るさが大きい領域については短時間露光画像を利用し、閾値よりシーンの明るさが小さい領域についてはゲインダウンした長時間露光画像を利用するブレンド手法が考案された。このブレンド手法を低輝度ブレンド画像ＰＢＬ２の生成に適用する場合（図４のステップＳ１０７への適用）、シーンの明るさが閾値を上回る領域については低輝度補間画像ＰＩＰ２を利用し、閾値を下回る領域については輝度低減画像ＰＧＤを利用するように両画像がブレンドされる。このように閾値を用いたブレンド手法を適用することで、情報の欠落が抑制され、高解像度のブレンド画像が得られる。

（αブレンド）
また、図１３に示すように、ゲインダウンした長時間露光画像と短時間露光で撮像した画像とをαブレンドする方法も考えられる。αブレンドとは、下記の式（５）のように、係数αを用いてブレンド画像の画素値を算出する方法である。例えば、低輝度補間画像ＰＩＰ２の画素値をｐｘＩＰとし、対応する輝度低減画像ＰＧＤの画素値をｐｘＧＤとすると、低輝度ブレンド画像ＰＢＬ２の画素値ｐｘＢＬは、下記の式（５）に基づいて算出される。

ｐｘＢＬ＝α＊ｐｘＩＰ＋（α−１）＊ｐｘＧＤ
…（５）

以上、ブレンド処理の詳細について説明した。なお、上記の説明においては、低輝度ブレンド画像ＰＢＬ２の生成方法を例に挙げて説明したが、閾値を用いたブレンド手法及びαブレンドは、いずれも、高輝度ブレンド画像ＰＢＬ１の生成にも応用可能である。

以上説明したように、本実施形態に係るＨＤＲ画像の生成方法及び撮像装置１００の構成を適用すると、高解像度のＨＤＲ画像を得ることが可能になる。特に、本実施形態の技術を適用すると、広いダイナミックレンジの画像が得られることはもちろん、一回の撮影でＨＤＲ画像の生成が実現できるため、動体の撮影に対する適応性が得られる。さらに、位置ずれが無くなり、シャギーなどが発生しない。そして、合成した画像において、重複するダイナミックレンジの解像度が維持される。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の説明においては、撮像面を２種類のライン群に分け、それぞれ異なる露光量で撮像した画像を利用してＨＤＲ画像を生成する方法について紹介したが、３種類以上のライン群に分けてもよいし、ライン群の分け方も様々に変形することができる。さらに、ライン群を構成するライン数も任意である。また、補間手法やブレンド手法の組み合わせも自由であり、複数の手法を組み合わせてもよい。また、上記の説明ではデジタルスチルカメラやデジタルビデオカメラなどの撮像機能を搭載した装置を念頭において説明を進めてきたが、こうした装置で撮像された画像を利用してＨＤＲ画像を生成する画像処理装置を実現することも可能である。その場合、上記説明から、画像処理装置の各機能を実現することが可能なコンピュータプログラムや、こうしたコンピュータプログラムが記録された記録媒体などの実現方法にも想到可能であろう。

１００ 撮像装置
１０１ レンズ
１０２ 撮像素子
１０３ 画像信号処理部
１０４ ＣＰＵ
１０５ ＤＲＡＭ
１０６ ＲＯＭ
１０７ 制御部
１０８ 操作部
１０９ 圧縮処理部
１１０ モニタ駆動部
１１１ ＬＣＤモニタ
１１２ メモリインターフェース
１１３ メモリカード
１３１ 画像分離部
１３２ 高輝度画像補間部
１３３ 輝度低減部
１３４ 輝度増加部
１３５ 低輝度画像補間部
１３６ 高輝度画像ブレンド部
１３７ 高輝度画像マージ部
１３８ 低輝度画像ブレンド部
１３９ 低輝度画像マージ部
１４０ ＨＤＲ処理部

Claims (10)

1. 撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して得られる撮影画像を取得する画像取得部と、
   前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成部と、
   前記撮影画像の第１のライン群で形成される第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成部と、
   前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成部と、前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成部と、
   前記第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成部と、
   前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成部と、
   前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成部と、前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成部と、
   前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、
   を備える
   ことを特徴とする、画像処理装置。
2. 前記第１の推定画像生成部は、前記撮像画像の第２のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第１のライン群を構成する各画像の画素値を推定し、
   前記第２の推定画像生成部は、前記撮像画像の第１のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第２のライン群を構成する各画像の画素値を推定する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の画素値を当該推定対象となる画素の画素値として利用する近傍補間である
   ことを特徴とする、請求項２に記載の画像処理装置。
4. 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた線形近似によって当該推定対象となる画素の画素値を推定する線形補間である
   ことを特徴とする、請求項２に記載の画像処理装置。
5. 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた多項式近似によって当該推定対象となる画素の画素値を推定する多項式補間である
   ことを特徴とする、請求項２に記載の画像処理装置。
6. 前記第１及び第２の推定画像生成部は、推定対象となる画素の近傍に位置する近傍画素のエッジ情報により重み付けした画素値を用いて前記補間処理を実行する
   ことを特徴とする、請求項２〜５のいずれか１項に記載の画像処理装置。
7. 前記第１のブレンド画像生成部は、前記第１の推定画像と前記第１の調整画像とをアルファブレンドして前記第１のブレンド画像を生成し、
   前記第２のブレンド画像生成部は、前記第２の推定画像と前記第２の調整画像とをアルファブレンドして前記第２のブレンド画像を生成する
   ことを特徴とする、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記第１のブレンド画像生成部は、被写体の明るさが所定の閾値を上回る画素領域について前記第１の推定画像を利用し、当該所定の閾値を下回る画素領域について前記第１の調整画像を利用するように前記第１の推定画像と前記第１の調整画像とをブレンドして前記第１のブレンド画像を生成し、
   前記第２のブレンド画像生成部は、被写体の明るさが所定の閾値を下回る画素領域について前記第２の推定画像を利用し、当該所定の閾値を上回る画素領域について前記第２の調整画像を利用するように前記第２の推定画像と前記第２の調整画像とをブレンドして前記第２のブレンド画像を生成する
   ことを特徴とする、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して撮影画像を得る撮像部と、
   前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成部と、
   前記第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成部と、
   前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成部と、
   前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成部と、
   前記撮影画像の第１のライン群で形成される第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成部と、
   前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成部と、
   前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成部と、
   前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成部と、
   前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、
   を備える
   ことを特徴とする、撮像装置。
10. 撮像素子の撮像面を第１のライン群と第２のライン群とに分け、前記第１のライン群については第１の露光量で撮像し、前記第２のライン群については前記第１の露光量と異なる第２の露光量で撮像して得られる撮影画像を取得する画像取得工程と、
    前記撮影画像の第２のライン群で形成される第２の画像から、前記第１のライン群を構成する各画素の画素値を推定して第１の推定画像を生成する第１の推定画像生成工程と、
    前記第１の画像の輝度を前記第２の画像と同じ輝度に調整して第１の調整画像を生成する第１の調整画像生成工程と、
    前記第１の推定画像と前記第１の調整画像とをブレンドして第１のブレンド画像を生成する第１のブレンド画像生成工程と、
    前記第１のブレンド画像と前記第２の画像とを合成して第１の合成画像を生成する第１の画像合成工程と、
    前記撮影画像の第１のライン群で形成される第１の画像から、前記第２のライン群を構成する各画素の画素値を推定して第２の推定画像を生成する第２の推定画像生成工程と、
    前記第２の画像の輝度を前記第１の画像と同じ輝度に調整して第２の調整画像を生成する第２の調整画像生成工程と、
    前記第２の推定画像と前記第２の調整画像とをブレンドして第２のブレンド画像を生成する第２のブレンド画像生成工程と、
    前記第２のブレンド画像と前記第１の画像とを合成して第２の合成画像を生成する第２の画像合成工程と、
    前記第１の合成画像と前記第２の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成工程と、
    を含む
    ことを特徴とする、画像処理方法。
    

Images