JP2013118492A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents
画像処理装置、撮像装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP2013118492A JP2013118492A JP2011264803A JP2011264803A JP2013118492A JP 2013118492 A JP2013118492 A JP 2013118492A JP 2011264803 A JP2011264803 A JP 2011264803A JP 2011264803 A JP2011264803 A JP 2011264803A JP 2013118492 A JP2013118492 A JP 2013118492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- estimated
- line group
- pixel
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】高解像度の広ダイナミックレンジ画像を生成すること。
【解決手段】第1のライン群は第1の露光量で撮像し、第2のライン群は第2の露光量で撮像した撮影画像について、第2のライン群で形成される第2の画像から、第1のライン群の画素値を推定して第1の推定画像を生成し、第1の画像の輝度を第2の画像と同じ輝度に調整して第1の調整画像を生成し、第1の推定画像と第1の調整画像とをブレンドした第1のブレンド画像と第2の画像とを合成して第1の合成画像を生成し、第1のライン群で形成される第1の画像から、第2のライン群の画素値を推定して第2の推定画像を生成し、第2の画像の輝度を第1の画像と同じ輝度に調整して第2の調整画像を生成し、第2の推定画像と第2の調整画像とをブレンドした第2のブレンド画像と第1の画像とを合成して第2の合成画像を生成する、画像処理装置が提供される。
【選択図】図2
【解決手段】第1のライン群は第1の露光量で撮像し、第2のライン群は第2の露光量で撮像した撮影画像について、第2のライン群で形成される第2の画像から、第1のライン群の画素値を推定して第1の推定画像を生成し、第1の画像の輝度を第2の画像と同じ輝度に調整して第1の調整画像を生成し、第1の推定画像と第1の調整画像とをブレンドした第1のブレンド画像と第2の画像とを合成して第1の合成画像を生成し、第1のライン群で形成される第1の画像から、第2のライン群の画素値を推定して第2の推定画像を生成し、第2の画像の輝度を第1の画像と同じ輝度に調整して第2の調整画像を生成し、第2の推定画像と第2の調整画像とをブレンドした第2のブレンド画像と第1の画像とを合成して第2の合成画像を生成する、画像処理装置が提供される。
【選択図】図2
Description
本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。
CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの撮像素子は、写真フィルムに比べるとダイナミックレンジが狭い傾向にある。そのため、こうした撮像素子を用いて撮像する場合、露光量を高くすると入射光量が多い画素で白飛びが生じてしまうことがあり、一方で、露光量を低くすると入射光量が少ない画素で黒つぶれが生じてしまうことがある。こうした課題に対し、同一の被写体を複数の異なる露光量で撮像した画像を合成し、ダイナミックレンジの広い撮像素子で撮像した場合と同等の画質を有する画像(以下、HDR画像)を得る方法が考案された。
例えば、下記の特許文献1には、高露光量で撮像した画像と、低露光量で撮像した画像とを合成することによりHDR画像を得る方法が開示されている。また、下記の特許文献2及び3には、画像のライン毎に異なる露光量で撮像し、高露光量で撮像されたラインを利用した補間処理により、低露光量で撮像されたラインに対応するラインの画素値を算出して高輝度の補間画像を生成し、低露光量で撮像されたラインを利用した補間処理により、高露光量で撮像されたラインに対応するラインの画素値を算出して低輝度の補間画像を生成して両補間画像を合成する構成が開示されている。
確かに、上記の特許文献1に記載の技術を用いると、高露光量で撮像される画像成分と、低露光量で撮像される画像成分とを含むHDR画像が得られる。しかし、高露光量で撮像するタイミングと低露光量で撮像するタイミングとが同時ではないため、被写体が完全に静止していない場合には、ぶれが生じてしまう。また、上記の特許文献2及び3に記載の技術のように、隣接ラインを用いた補間処理により補間画像を生成した場合、補間処理により得られたラインには、隣接ラインの情報しか含まれない。その結果、補間処理の対象としたラインが本来含むべき情報が欠落している分、解像度が低下してしまう。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、高解像度の広ダイナミックレンジ画像を生成することが可能な、新規かつ改良された画像処理装置、撮像装置、及び画像処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して得られる撮影画像を取得する画像取得部と、前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成部と、前記第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成部と、前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成部と、前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成部と、前記撮影画像の第1のライン群で形成される第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成部と、前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成部と、前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成部と、前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成部と、前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、を備える、画像処理装置が提供される。
仮に、第1の推定画像と第2の画像とを合成して第1の合成画像を生成した場合、第1の推定画像を生成する際に第1のライン群の情報を利用していないため、欠落している情報の分だけ第1の合成画像の解像度が低下してしまう。同様に、第2の推定画像と第1の画像とを合成して第2の合成画像を生成した場合、第2の推定画像を生成する際に第2のライン群の情報を利用していないため、欠落している情報の分だけ第2の合成画像の解像度が低下してしまう。しかし、上記の画像処理装置は、第1の合成画像を生成する際、第1のブレンド画像を利用している。この第1のブレンド画像は第1の画像の輝度を調整した第1の調整画像を用いて生成されており、第1のライン群の情報を含んでいる。そのため、上記の画像処理装置が生成する第1の合成画像は、第1のライン群の情報が含まれた高い解像度の画像である。第2の合成画像についても同様である。従って、上記の画像処理装置が生成する広ダイナミックレンジ画像は高い解像度を有することになる。
また、前記第1の推定画像生成部は、前記撮像画像の第2のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第1のライン群を構成する各画像の画素値を推定し、前記第2の推定画像生成部は、前記撮像画像の第1のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第2のライン群を構成する各画像の画素値を推定するように構成されていてもよい。このように、比較的負荷の低い補間処理を用いることにより、処理負荷を低減することが可能になる。
また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の画素値を当該推定対象となる画素の画素値として利用する近傍補間であってもよい。かかる構成により、低い処理負荷で画素値の推定が実現可能になる。
また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた線形近似によって当該推定対象となる画素の画素値を推定する線形補間であってもよい。かかる構成により、ある程度の精度を実現しつつ、低い処理負荷で画素値の推定が実現可能になる。
また、前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた多項式近似によって当該推定対象となる画素の画素値を推定する多項式補間であってもよい。かかる構成により、ある程度の精度を実現しつつ、低い処理負荷で画素値の推定が実現可能になる。
また、前記第1及び第2の推定画像生成部は、推定対象となる画素の近傍に位置する近傍画素のエッジ情報により重み付けした画素値を用いて前記補間処理を実行するように構成されていてもよい。かかる構成により、より高い精度で画素値の推定が実現される。
また、前記第1のブレンド画像生成部は、前記第1の推定画像と前記第1の調整画像とをアルファブレンドして前記第1のブレンド画像を生成し、前記第2のブレンド画像生成部は、前記第2の推定画像と前記第2の調整画像とをアルファブレンドして前記第2のブレンド画像を生成するように構成されていてもよい。
また、前記第1のブレンド画像生成部は、被写体の明るさが所定の閾値を上回る画素領域について前記第1の推定画像を利用し、当該所定の閾値を下回る画素領域について前記第1の調整画像を利用するように前記第1の推定画像と前記第1の調整画像とをブレンドして前記第1のブレンド画像を生成し、前記第2のブレンド画像生成部は、被写体の明るさが所定の閾値を下回る画素領域について前記第2の推定画像を利用し、当該所定の閾値を上回る画素領域について前記第2の調整画像を利用するように前記第2の推定画像と前記第2の調整画像とをブレンドして前記第2のブレンド画像を生成するように構成されていてもよい。かかる構成により、情報の欠落を抑制し、より高解像度のブレンド画像を生成することが可能になる。
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して撮影画像を得る撮像部と、前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成部と、前記第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成部と、前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成部と、前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成部と、前記撮影画像の第1のライン群で形成される第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成部と、前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成部と、前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成部と、前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成部と、前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、を備える、撮像装置が提供される。
上記の撮像装置は、第1の合成画像を生成する際、第1のブレンド画像を利用している。この第1のブレンド画像は第1の画像の輝度を調整した第1の調整画像を用いて生成されており、第1のライン群の情報を含んでいる。そのため、上記の撮像装置が生成する第1の合成画像は、第1のライン群の情報が含まれた高い解像度の画像である。第2の合成画像についても同様である。従って、上記の撮像装置が生成する広ダイナミックレンジ画像は高い解像度を有することになる。
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して得られる撮影画像を取得する画像取得工程と、前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成工程と、前記第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成工程と、前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成工程と、前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成工程と、前記撮影画像の第1のライン群で形成される第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成工程と、前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成工程と、前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成工程と、前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成工程と、前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成工程と、を含む、画像処理方法が提供される。
上記の画像処理方法は、第1の合成画像を生成する際、第1のブレンド画像を利用している。この第1のブレンド画像は第1の画像の輝度を調整した第1の調整画像を用いて生成されており、第1のライン群の情報を含んでいる。そのため、上記の撮像装置が生成する第1の合成画像は、第1のライン群の情報が含まれた高い解像度の画像である。第2の合成画像についても同様である。従って、上記の画像処理方法で生成する広ダイナミックレンジ画像は高い解像度を有することになる。
以上説明したように本発明によれば、高解像度の広ダイナミックレンジ画像を生成することが可能になる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[説明の流れについて]
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図1を参照しながら、本実施形態に係る撮像装置100の全体的な構成について説明する。次いで、図2を参照しながら、本実施形態に係る撮像装置100が有する画像信号処理部103の詳細な機能構成について説明する。次いで、図3〜図13を参照しながら、本実施形態に係るHDR画像の生成方法について説明する。
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図1を参照しながら、本実施形態に係る撮像装置100の全体的な構成について説明する。次いで、図2を参照しながら、本実施形態に係る撮像装置100が有する画像信号処理部103の詳細な機能構成について説明する。次いで、図3〜図13を参照しながら、本実施形態に係るHDR画像の生成方法について説明する。
[概要]
本実施形態は、一定の露光量で撮像した場合に撮像素子が表現できるダイナミックレンジよりも広いダイナミックレンジを有する画像(HDR画像)を生成する方法に関する。特に、本実施形態は、1枚の撮影画像を利用して高解像度のHDR画像を生成する方法に関する。なお、本稿において、ダイナミックレンジとは、撮像素子の飽和信号出力レベルとノイズの最大値との差を意味する。
本実施形態は、一定の露光量で撮像した場合に撮像素子が表現できるダイナミックレンジよりも広いダイナミックレンジを有する画像(HDR画像)を生成する方法に関する。特に、本実施形態は、1枚の撮影画像を利用して高解像度のHDR画像を生成する方法に関する。なお、本稿において、ダイナミックレンジとは、撮像素子の飽和信号出力レベルとノイズの最大値との差を意味する。
<1:撮像装置100の構成>
以下、本実施形態に係るHDR画像の生成方法を実現することが可能な撮像装置100の構成について説明する。
以下、本実施形態に係るHDR画像の生成方法を実現することが可能な撮像装置100の構成について説明する。
[1−1:撮像装置100の全体構成]
まず、図1を参照しながら、本実施形態に係る撮像装置100の全体構成について説明する。図1は、本実施形態に係る撮像装置100の全体構成を示した説明図である。なお、図1に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置100は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
まず、図1を参照しながら、本実施形態に係る撮像装置100の全体構成について説明する。図1は、本実施形態に係る撮像装置100の全体構成を示した説明図である。なお、図1に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置100は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
図1に示すように、撮像装置100は、主に、レンズ101と、撮像素子102と、画像信号処理部103と、CPU104と、DRAM105と、ROM106と、制御部107と、操作部108と、圧縮処理部109と、モニタ駆動部110と、LCDモニタ111と、メモリインターフェース112と、メモリカード113とにより構成される。但し、メモリカード113は、着脱可能な状態で接続されていてもよい。
レンズ101は、外部の光情報を撮像素子102に結像させる光学系の一部を成し、被写体からの光を撮像素子102まで導光する。また、レンズ101を含む光学系は、例えば、ズームレンズ、絞り、フォーカスレンズなどで構成される。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子102の撮像面に被写体像を合焦させる。また、フォーカスレンズは、制御部107によって駆動制御される。
撮像素子102は、レンズ101を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。各光電素子は、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子102としては、例えば、CCDイメージセンサやCMOSイメージセンサなどがある。また、撮像素子102の露光量を制御するために、撮像装置100には、メカニカルシャッター(非図示)及び/又は電子シャッターが搭載されている。これらメカニカルシャッター及び電子シャッターは、ユーザによる操作部108の操作(シャッターボタンの押下など)に応じて動作する。なお、撮像素子102における露光制御については後述する。
また、撮像素子102は、CDS/AMP回路(非図示)に接続される。さらに、CDS/AMP回路は、A/D変換回路(非図示)などに接続される。なお、CDSはCorrelated Double Sampling(相関二重サンプリング)の略であり、AMPはAmplifier(増幅器)の略である。CDS/AMP回路は、撮像素子102から出力された電気信号に含まれるリセットノイズ及びアンプノイズを除去する。さらに、CDS/AMP回路は、リセットノイズ及びアンプノイズを除去した電気信号を所定のレベルまで増幅する。一方、A/D変換回路は、CDS/AMP回路から出力されたアナログの電気信号をデジタル信号に変換する。そして、A/D変換回路により生成されたデジタル信号は、画像信号処理部103に入力される。
画像信号処理部103は、入力されたデジタル信号を利用してHDR画像を生成する。なお、画像信号処理部103の詳細な機能構成及びHDR画像の生成方法については後述する。まず、デジタル信号が入力されると、画像信号処理部103は、撮像素子102の画素欠陥補正、黒レベル補正、シェーディング補正などの前処理を実行する。また、画像信号処理部103は、前処理後のデジタル信号を輝度信号と色信号とに変換する。さらに、画像信号処理部103は、ホワイトバランス制御値、γ値、エッジ強調制御値などに基づいてデジタル信号を補正し、HDR画像の生成に利用可能な画像信号を生成する。
この画像信号は、DRAM105やメモリカード113に記録されるか、或いは、圧縮処理部109により圧縮符号化(例えば、JPEG形式やMPEG形式など)された後でメモリカード113に記録される。なお、メモリカード113への記録は、メモリインターフェース112を介して実行される。また、この画像信号は、スルー画像としてLCDモニタ111に表示されたり、操作部108を利用したユーザの操作に応じてLCDモニタ111に表示されたりする。なお、LCDモニタ111への表示は、モニタ駆動部110を介して実行される。また、ここでは表示手段としてLCDモニタ111を例示しているが、有機ELディスプレイなどを利用することも可能である。
ところで、画像信号処理部103、制御部107、圧縮処理部109などは、CPU(Central Processor Unit)104の制御に応じて動作する。CPU104は、ROM106などに格納されたプログラムに従って演算処理を実行する演算処理装置であり、撮像装置100を構成する各構成要素の処理を制御する制御手段として機能する。例えば、CPU104は、制御部107に制御信号を入力してフォーカスレンズを駆動させる。また、CPU104は、画像信号処理部103が実行するHDR画像の生成処理に係る演算などを実行するように構成されていてもよい。
ところで、上記の説明においては、記録手段としてメモリカード113を例示したが、カード状ではない半導体記憶媒体、磁気記録媒体、光記録媒体、光磁気記録媒体などを画像信号の記録に利用してもよい。また、操作部108は、上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどで構成されていてもよい。なお、シャッターボタンは、半押し、全押し、解除などの押下状態を検出可能なものであってもよい。例えば、シャッターボタンが半押しされた場合にフォーカス制御が開始され、半押し解除でフォーカス制御が終了するように構成されていてもよい。さらに、シャッターボタンが全押しされた場合に撮影が開始されるように構成されていてもよい。
(露光制御について)
ここで、本実施形態に係る露光制御について説明する。なお、メカニカルシャッター及び/又は電子シャッターによる露光制御は、制御部107の機能により実現される。
ここで、本実施形態に係る露光制御について説明する。なお、メカニカルシャッター及び/又は電子シャッターによる露光制御は、制御部107の機能により実現される。
本実施形態に係る制御部107は、撮像面を複数の撮像領域に分け、撮像領域毎に異なる露光量で撮像するように露光制御する機能を有する。例えば、制御部107は、一又は複数のラインを撮像領域の単位(以下、ライン群)とし、奇数番目のライン群に対する露光量を低く設定し、偶数番目のライン群に対する露光量を高く設定する。このように設定すると、図3に模式的に示した撮影画像PINのように、奇数番目のライン群を構成する画素が低輝度となり、偶数番目のライン群を構成する画素が高輝度となる。このように、本実施形態に係る制御部107は、撮像領域毎に異なる露光量で撮像するように露光制御する。なお、以下では、説明の都合上、奇数番目のライン群に対する露光量を低く設定し、偶数番目のライン群に対する露光量を高く設定する露光制御が行われたことを前提として説明を進めるが、本実施形態に係る技術の適用範囲はこれに限定されない。
以上、撮像装置100の全体構成について説明した。
[1−2:画像信号処理部103の構成]
次に、図2を参照しながら、画像信号処理部103の詳細な機能構成について説明する。図2は、画像信号処理部103の詳細な機能構成を示した説明図である。なお、図2には主にHDR画像の生成に係る構成要素を示し、その他の構成要素については記載を省略している。
次に、図2を参照しながら、画像信号処理部103の詳細な機能構成について説明する。図2は、画像信号処理部103の詳細な機能構成を示した説明図である。なお、図2には主にHDR画像の生成に係る構成要素を示し、その他の構成要素については記載を省略している。
図2に示すように、画像信号処理部103は、主に、画像分離部131と、高輝度画像補間部132と、輝度低減部133と、輝度増加部134と、低輝度画像補間部135と、高輝度画像ブレンド部136と、高輝度画像マージ部137と、低輝度画像ブレンド部138と、低輝度画像マージ部139と、HDR処理部140とにより構成される。
画像信号処理部103には、撮像領域毎に異なる露光量で撮像された画像信号(以下、撮影画像PIN)が入力される。ここでは、撮影画像PINを構成する奇数番目のライン群が低露光量で撮像されたものであり、偶数番目のライン群が高露光量で撮像されたものであると仮定して説明を進める。この撮影画像PINは、まず、画像分離部131に入力される。撮影画像PINが入力されると、画像分離部131は、図3に示すように、入力された撮影画像PINを偶数番目のライン群で構成される画像(以下、高輝度画像P1)と、奇数番目のライン群で構成される画像(以下、低輝度画像P2)とに分離する。
図2に示すように、高輝度画像P1は、高輝度画像補間部132、輝度低減部133、及び高輝度画像マージ部137に入力される。一方、低輝度画像P2は、輝度増加部134、低輝度画像補間部135、及び低輝度画像マージ部139に入力される。
高輝度画像P1が入力された高輝度画像補間部132は、図3に示すように、入力された高輝度画像P1を構成する偶数番目のライン群を用いて補間処理を実行し、奇数番目のライン群に対応する画素情報を推定して高輝度補間画像PIP1を生成する。なお、補間処理の詳細については後述する。また、高輝度補間画像PIP1は、高輝度画像ブレンド部136に入力される。また、高輝度画像P1が入力された輝度低減部133は、図3に示すように、高輝度画像P1の輝度を低輝度画像P2と同じ輝度まで低減(ゲインダウン)し、輝度低減画像PGDを生成する。そして、輝度低減画像PGDは、低輝度画像ブレンド部138に入力される。
一方で、低輝度画像P2が入力された低輝度画像補間部135は、図3に示すように、入力された低輝度画像P2を構成する奇数番目のライン群を用いて補間処理を実行し、偶数番目のライン群に対応する画素情報を推定して低輝度補間画像PIP2を生成する。なお、補間処理の詳細については後述する。また、低輝度補間画像PIP2は、低輝度画像ブレンド部138に入力される。また、低輝度画像P2が入力された輝度増加部134は、図3に示すように、低輝度画像P2の輝度を高輝度画像P1と同じ輝度まで増加(ゲインアップ)し、輝度増加画像PGUを生成する。そして、輝度増加画像PGUは、高輝度画像ブレンド部136に入力される。
上記の通り、高輝度画像ブレンド部136には、高輝度補間画像PIP1及び輝度増加画像PGUが入力される。高輝度補間画像PIP1及び輝度増加画像PGUが入力されると、高輝度画像ブレンド部136は、入力された高輝度補間画像PIP1と輝度増加画像PGUとをブレンドし、高輝度ブレンド画像PBL1を生成する。なお、ブレンド処理の詳細については後述する。高輝度ブレンド画像PBL1は、高輝度画像マージ部137に入力される。このとき、高輝度画像マージ部137には、偶数番目のライン群で構成される高輝度画像P1と、奇数番目のライン群で構成される高輝度ブレンド画像PBL1とが入力されている。
高輝度画像P1及び高輝度ブレンド画像PBL1が入力されると、高輝度画像マージ部137は、入力された高輝度画像P1と高輝度ブレンド画像PBL1とをマージして高輝度マージ画像PM1を生成する。つまり、高輝度マージ画像PM1を構成する偶数番目のライン群は、高輝度画像P1を構成する偶数番目のライン群で形成されている。一方、高輝度マージ画像PM1を構成する奇数番目のライン群は、高輝度ブレンド画像PBL1を構成する奇数番目のライン群で形成されている。このようにして生成された高輝度マージ画像PM1は、HDR処理部140に入力される。
一方で、低輝度画像ブレンド部138には、低輝度補間画像PIP2及び輝度低減画像PGDが入力される。低輝度補間画像PIP2及び輝度低減画像PGDが入力されると、低輝度画像ブレンド部138は、入力された低輝度補間画像PIP2と輝度低減画像PGDとをブレンドし、低輝度ブレンド画像PBL2を生成する。なお、ブレンド処理の詳細については後述する。低輝度ブレンド画像PBL2は、低輝度画像マージ部139に入力される。このとき、低輝度画像マージ部139には、奇数番目のライン群で構成される低輝度画像P2と、偶数番目のライン群で構成される低輝度ブレンド画像PBL2とが入力されている。
低輝度画像P2及び低輝度ブレンド画像PBL2が入力されると、低輝度画像マージ部139は、入力された低輝度画像P2と低輝度ブレンド画像PBL2とをマージして低輝度マージ画像PM2を生成する。つまり、低輝度マージ画像PM2を構成する奇数番目のライン群は、低輝度画像P2を構成する奇数番目のライン群で形成されている。一方、低輝度マージ画像PM2を構成する偶数番目のライン群は、低輝度ブレンド画像PBL2を構成する偶数番目のライン群で形成されている。このようにして生成された低輝度マージ画像PM2は、HDR処理部140に入力される。
高輝度マージ画像PM1及び低輝度マージ画像PM2が入力されると、HDR処理部140は、入力された高輝度マージ画像PM1と低輝度マージ画像PM2とを合成してHDR画像PHDRを生成する。このようにして生成されたHDR画像PHDRは、画像信号処理部103から出力され、圧縮処理部109により圧縮処理が施されたり、LCDモニタ111に表示されたり、メモリカード113に記録されたりする。
以上、画像信号処理部103の詳細な機能構成について説明した。なお、上記の説明において詳細な説明を省略した補間処理やブレンド処理などについては後述する。
<2:HDR画像の生成方法>
次に、本実施形態に係るHDR画像の生成方法について説明する。
次に、本実施形態に係るHDR画像の生成方法について説明する。
[2−1:全体的な流れ]
まず、図4を参照しながら、本実施形態に係るHDR画像の生成処理の全体的な流れを説明する。図4は、本実施形態に係るHDR画像の生成処理の全体的な流れを説明するための説明図である。なお、図4に示した処理は、上述した画像信号処理部103の機能により実現される。
まず、図4を参照しながら、本実施形態に係るHDR画像の生成処理の全体的な流れを説明する。図4は、本実施形態に係るHDR画像の生成処理の全体的な流れを説明するための説明図である。なお、図4に示した処理は、上述した画像信号処理部103の機能により実現される。
図4に示すように、まず、画像信号処理部103は、撮影画像PINを高輝度画像P1と低輝度画像P2とに分離する(S101)。次いで、画像信号処理部103は、補間処理により高輝度画像P1から高輝度補間画像PIP1を生成する(S102)。次いで、画像信号処理部103は、高輝度画像P1をゲインダウンして輝度低減画像PGDを生成する(S103)。
次いで、画像信号処理部103は、補間処理により低輝度画像P2から低輝度補間画像PIP2を生成する(S104)。次いで、画像信号処理部103は、低輝度画像P2をゲインアップして輝度増加画像PGUを生成する(S105)。次いで、画像信号処理部103は、高輝度補間画像PIP1及び輝度増加画像PGUをブレンドして高輝度ブレンド画像PBL1を生成する(S106)。次いで、画像信号処理部103は、低輝度補間画像PIP2及び輝度低減画像PGDをブレンドして低輝度ブレンド画像PBL2を生成する(S107)。
次いで、画像信号処理部103は、高輝度ブレンド画像PBL1と高輝度画像P1とをマージして高輝度マージ画像PM1を生成する(S108)。次いで、画像信号処理部103は、低輝度ブレンド画像PBR2と低輝度画像P2とをマージして低輝度マージ画像PM2を生成する(S109)。次いで、画像信号処理部103は、高輝度マージ画像PM1と低輝度マージ画像PM2とを合成してHDR画像PHDRを生成し(S110)、一連の処理を終了する。
以上、HDR画像の生成処理の全体的な流れについて説明した。なお、一部の処理ステップについては、処理の順序を入れ替えてもよい。
(Linterpolation:図5)
ここで、図5を参照しながら、ブレンド画像(上記の高輝度ブレンド画像PBL1又は低輝度ブレンド画像PBL2)の生成方法について、より具体的に説明する。
ここで、図5を参照しながら、ブレンド画像(上記の高輝度ブレンド画像PBL1又は低輝度ブレンド画像PBL2)の生成方法について、より具体的に説明する。
図5には、一例として、低輝度ブレンド画像PBL2の具体的な生成方法を示した。図5に示すように、本実施形態に係るブレンド画像の生成方法は、近隣画素と、輝度値の異なる同一位置の画素とを利用する方法である。図5の例では、高露光量で撮像されたライン群に含まれる画素Qと、低露光量で撮像された近隣のライン群に含まれる画素1〜画素6とを利用して、画素Qの位置に対応する低露光量で撮像された画素(低輝度の画素)を推定している。
図5に示すように、画素Qの位置にある低輝度の画素を推定する場合、その画素と同色で近隣に位置する画素(この例では画素1〜画素6)が選択される。そして、画素1〜画素6の画素値を用いた補間処理により、画素Qの位置における画素の画素値が算出される。ここで用いる補間処理としては、例えば、最近傍補間(図6を参照)、線形補間(図7を参照)、多項式補間(図8を参照)などが利用可能である。さらに、画素1〜画素6の位置におけるエッジ情報を補間処理に利用してもよい(図9を参照)。
一方で、画素Qの位置にある高輝度の画素(高露光量で撮像された画素)が低露光量で撮像された画素と同じ輝度までゲインダウンされる。そして、ゲインダウン後の画素と、上記の補間処理により生成された画素とがブレンドされ、画素Qの位置における補間画素(低露光量で撮像された画素の推定画素)が生成される。このように、補間処理とブレンド処理とを組み合わせた画素推定手法を本稿においてはLinterpolationと呼ぶことがある。この画素推定手法を用いることで、解像度の低下と位置ずれとを抑制することができる。
[2−2:補間画像の生成方法]
ここで、図6〜図9を参照しながら、補間処理の詳細について説明する。
ここで、図6〜図9を参照しながら、補間処理の詳細について説明する。
(最近傍補間:図6)
最も単純な補間手法としては、図6に示すような最近傍補間がある。最近傍補間とは、補間対象の位置に最も近い点を選択し、選択した点の値を補間対象の位置における点の値とする補間手法である。つまり、補間処理により画素値を推定したい画素(以下、推定画素)に最も近い画素を選択し、選択した画素の画素値を推定画素の画素値とする補間手法である。この補間手法は、最近傍画素の画素値をそのまま利用するため、推定精度は劣るが、処理負荷はとても低い。
最も単純な補間手法としては、図6に示すような最近傍補間がある。最近傍補間とは、補間対象の位置に最も近い点を選択し、選択した点の値を補間対象の位置における点の値とする補間手法である。つまり、補間処理により画素値を推定したい画素(以下、推定画素)に最も近い画素を選択し、選択した画素の画素値を推定画素の画素値とする補間手法である。この補間手法は、最近傍画素の画素値をそのまま利用するため、推定精度は劣るが、処理負荷はとても低い。
(線形補間:図7)
また、比較的単純な補間手法としては、図7に示すような線形補間がある。線形補間とは、隣接する2点を直線で結び、その直線上の値を補間対象の位置における点の値とする補間手法である。例えば、位置xにある画素の画素値PIPは、下記の式(1)に基づいて算出される。但し、係数A及びBは、近隣画素の位置及び画素値から算出される。この補間手法は、最近傍補間に比べて推定精度が高く、また、一次式を利用しているため、比較的処理負荷も低い。
また、比較的単純な補間手法としては、図7に示すような線形補間がある。線形補間とは、隣接する2点を直線で結び、その直線上の値を補間対象の位置における点の値とする補間手法である。例えば、位置xにある画素の画素値PIPは、下記の式(1)に基づいて算出される。但し、係数A及びBは、近隣画素の位置及び画素値から算出される。この補間手法は、最近傍補間に比べて推定精度が高く、また、一次式を利用しているため、比較的処理負荷も低い。
PIP(x)=A*x+B
…(1)
(多項式補間:図8)
また、やや高度な補間手法としては、図8に示すような多項式補間がある。多項式補間とは、近隣にある複数の点を多項式でフィッティングし、その多項式上の点を補間対象の位置における点の値とする補間手法である。例えば、位置xにある画素の画素値PIPは、下記の式(2)に基づいて算出される。但し、係数A0,…,Anは、近隣にある画素の位置及び画素値から算出される。この補間手法は、線形補間よりも推定精度が高いが、多項式を利用しているため、次数nが大きくなると処理負荷が高くなる。
また、やや高度な補間手法としては、図8に示すような多項式補間がある。多項式補間とは、近隣にある複数の点を多項式でフィッティングし、その多項式上の点を補間対象の位置における点の値とする補間手法である。例えば、位置xにある画素の画素値PIPは、下記の式(2)に基づいて算出される。但し、係数A0,…,Anは、近隣にある画素の位置及び画素値から算出される。この補間手法は、線形補間よりも推定精度が高いが、多項式を利用しているため、次数nが大きくなると処理負荷が高くなる。
PIP(x)=A0+A1*x+…+An*xn
…(2)
(エッジ情報を考慮した補間:図9)
さらに高度な補間手法として、図9に示すように、近隣画素のエッジ情報を考慮した補間手法(以下、エッジ考慮手法)が考えられる。なお、この補間手法は、上述した線形補間などと組み合わせて利用する。ここでは線形補間と組み合わせる例を念頭において説明を進めることにする。
さらに高度な補間手法として、図9に示すように、近隣画素のエッジ情報を考慮した補間手法(以下、エッジ考慮手法)が考えられる。なお、この補間手法は、上述した線形補間などと組み合わせて利用する。ここでは線形補間と組み合わせる例を念頭において説明を進めることにする。
まず、画像信号処理部103は、線形補間により近隣画素の画素値から推定画素の画素値を算出する。例えば、画像信号処理部103は、画素px3と画素px3’とを用いて、線形補間により推定画素の画素値PIP3を算出する。さらに、画像信号処理部103は、近隣画素の画素値から各方向についてエッジ情報を抽出する。例えば、画像信号処理部103は、画素px3と画素px3’とを結ぶ方向についてエッジ情報e3を抽出する。そして、画像信号処理部103は、線形補間により算出した画素値PIPd及びエッジ情報ed(図9の例ではd=−3〜3)を用いて推定画素の画素値PIPを算出する。
画素値PIPは、下記の式(3)に基づいて算出される。また、下記の式(3)に含まれる関数w(・)は、下記の式(4)により定義される。但し、σdは、カーネルの大きさを表す。
以上、補間処理の詳細について説明した。
[2−3:ブレンド画像の生成方法]
次に、図10〜図13を参照しながら、ブレンド処理の詳細について説明する。
次に、図10〜図13を参照しながら、ブレンド処理の詳細について説明する。
(閾値を用いたブレンド手法)
図10に示すように、長時間露光の場合、シーンの明るさがbl1からbl2の領域で感度が得られる。しかし、シーンの明るさがbl2を超えると、撮像素子の飽和出力レベルを超えてしまい、出力レベルが一定となって感度が得られなくなる。一方、短時間露光の場合、シーンの明るさがbl3(bl3>bl1)からbl4(bl4>bl2)の領域で感度が得られる。つまり、シーンの明るさがbl3を下回る領域では黒つぶれしてしまうが、シーンの明るさがbl2を超えてもbl4までの領域については白飛びせずに感度が得られる。従って、長時間露光で撮像された画像と、短時間露光で撮像された画像とを合成することにより、広いダイナミックレンジの画像が得られる。
図10に示すように、長時間露光の場合、シーンの明るさがbl1からbl2の領域で感度が得られる。しかし、シーンの明るさがbl2を超えると、撮像素子の飽和出力レベルを超えてしまい、出力レベルが一定となって感度が得られなくなる。一方、短時間露光の場合、シーンの明るさがbl3(bl3>bl1)からbl4(bl4>bl2)の領域で感度が得られる。つまり、シーンの明るさがbl3を下回る領域では黒つぶれしてしまうが、シーンの明るさがbl2を超えてもbl4までの領域については白飛びせずに感度が得られる。従って、長時間露光で撮像された画像と、短時間露光で撮像された画像とを合成することにより、広いダイナミックレンジの画像が得られる。
ここで、長時間露光で撮像された画像(以下、長時間露光画像)をゲインダウンする場合について考えてみよう。長時間露光画像をゲインダウンするということは、図11に示すように、長時間露光で撮像した場合の出力信号特性を全体的に抑圧することと等価である(一点鎖線を参照)。ゲインダウンした長時間露光画像に対応する出力信号特性は、シーンの明るさがbl2までの領域において、短時間露光で撮像した場合の出力信号特性と近似しているが、bl2よりもシーンの明るさが大きい領域において異なる。具体的には、シーンの明るさがbl2を超える領域において、ゲインダウンした長時間露光画像に対応する出力信号は、飽和信号レベルよりも低いレベルに抑圧されてしまっている。つまり、ゲインダウンにより明るいシーンの情報が欠落してしまっているのである。
そこで、図12に示すように、シーンの明るさbl2を閾値とし、閾値よりシーンの明るさが大きい領域については短時間露光画像を利用し、閾値よりシーンの明るさが小さい領域についてはゲインダウンした長時間露光画像を利用するブレンド手法が考案された。このブレンド手法を低輝度ブレンド画像PBL2の生成に適用する場合(図4のステップS107への適用)、シーンの明るさが閾値を上回る領域については低輝度補間画像PIP2を利用し、閾値を下回る領域については輝度低減画像PGDを利用するように両画像がブレンドされる。このように閾値を用いたブレンド手法を適用することで、情報の欠落が抑制され、高解像度のブレンド画像が得られる。
(αブレンド)
また、図13に示すように、ゲインダウンした長時間露光画像と短時間露光で撮像した画像とをαブレンドする方法も考えられる。αブレンドとは、下記の式(5)のように、係数αを用いてブレンド画像の画素値を算出する方法である。例えば、低輝度補間画像PIP2の画素値をpxIPとし、対応する輝度低減画像PGDの画素値をpxGDとすると、低輝度ブレンド画像PBL2の画素値pxBLは、下記の式(5)に基づいて算出される。
また、図13に示すように、ゲインダウンした長時間露光画像と短時間露光で撮像した画像とをαブレンドする方法も考えられる。αブレンドとは、下記の式(5)のように、係数αを用いてブレンド画像の画素値を算出する方法である。例えば、低輝度補間画像PIP2の画素値をpxIPとし、対応する輝度低減画像PGDの画素値をpxGDとすると、低輝度ブレンド画像PBL2の画素値pxBLは、下記の式(5)に基づいて算出される。
pxBL=α*pxIP+(α−1)*pxGD
…(5)
以上、ブレンド処理の詳細について説明した。なお、上記の説明においては、低輝度ブレンド画像PBL2の生成方法を例に挙げて説明したが、閾値を用いたブレンド手法及びαブレンドは、いずれも、高輝度ブレンド画像PBL1の生成にも応用可能である。
以上説明したように、本実施形態に係るHDR画像の生成方法及び撮像装置100の構成を適用すると、高解像度のHDR画像を得ることが可能になる。特に、本実施形態の技術を適用すると、広いダイナミックレンジの画像が得られることはもちろん、一回の撮影でHDR画像の生成が実現できるため、動体の撮影に対する適応性が得られる。さらに、位置ずれが無くなり、シャギーなどが発生しない。そして、合成した画像において、重複するダイナミックレンジの解像度が維持される。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の説明においては、撮像面を2種類のライン群に分け、それぞれ異なる露光量で撮像した画像を利用してHDR画像を生成する方法について紹介したが、3種類以上のライン群に分けてもよいし、ライン群の分け方も様々に変形することができる。さらに、ライン群を構成するライン数も任意である。また、補間手法やブレンド手法の組み合わせも自由であり、複数の手法を組み合わせてもよい。また、上記の説明ではデジタルスチルカメラやデジタルビデオカメラなどの撮像機能を搭載した装置を念頭において説明を進めてきたが、こうした装置で撮像された画像を利用してHDR画像を生成する画像処理装置を実現することも可能である。その場合、上記説明から、画像処理装置の各機能を実現することが可能なコンピュータプログラムや、こうしたコンピュータプログラムが記録された記録媒体などの実現方法にも想到可能であろう。
100 撮像装置
101 レンズ
102 撮像素子
103 画像信号処理部
104 CPU
105 DRAM
106 ROM
107 制御部
108 操作部
109 圧縮処理部
110 モニタ駆動部
111 LCDモニタ
112 メモリインターフェース
113 メモリカード
131 画像分離部
132 高輝度画像補間部
133 輝度低減部
134 輝度増加部
135 低輝度画像補間部
136 高輝度画像ブレンド部
137 高輝度画像マージ部
138 低輝度画像ブレンド部
139 低輝度画像マージ部
140 HDR処理部
101 レンズ
102 撮像素子
103 画像信号処理部
104 CPU
105 DRAM
106 ROM
107 制御部
108 操作部
109 圧縮処理部
110 モニタ駆動部
111 LCDモニタ
112 メモリインターフェース
113 メモリカード
131 画像分離部
132 高輝度画像補間部
133 輝度低減部
134 輝度増加部
135 低輝度画像補間部
136 高輝度画像ブレンド部
137 高輝度画像マージ部
138 低輝度画像ブレンド部
139 低輝度画像マージ部
140 HDR処理部
Claims (10)
- 撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して得られる撮影画像を取得する画像取得部と、
前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成部と、
前記撮影画像の第1のライン群で形成される第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成部と、
前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成部と、前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成部と、
前記第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成部と、
前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成部と、
前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成部と、前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成部と、
前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、
を備える
ことを特徴とする、画像処理装置。 - 前記第1の推定画像生成部は、前記撮像画像の第2のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第1のライン群を構成する各画像の画素値を推定し、
前記第2の推定画像生成部は、前記撮像画像の第1のライン群を構成する各画素の画素値を用いて補間処理を実行することで前記第2のライン群を構成する各画像の画素値を推定する
ことを特徴とする、請求項1に記載の画像処理装置。 - 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の画素値を当該推定対象となる画素の画素値として利用する近傍補間である
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた線形近似によって当該推定対象となる画素の画素値を推定する線形補間である
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記補間処理は、推定対象となる画素の近傍に位置する近傍画素の輝度情報を用いた多項式近似によって当該推定対象となる画素の画素値を推定する多項式補間である
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記第1及び第2の推定画像生成部は、推定対象となる画素の近傍に位置する近傍画素のエッジ情報により重み付けした画素値を用いて前記補間処理を実行する
ことを特徴とする、請求項2〜5のいずれか1項に記載の画像処理装置。 - 前記第1のブレンド画像生成部は、前記第1の推定画像と前記第1の調整画像とをアルファブレンドして前記第1のブレンド画像を生成し、
前記第2のブレンド画像生成部は、前記第2の推定画像と前記第2の調整画像とをアルファブレンドして前記第2のブレンド画像を生成する
ことを特徴とする、請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記第1のブレンド画像生成部は、被写体の明るさが所定の閾値を上回る画素領域について前記第1の推定画像を利用し、当該所定の閾値を下回る画素領域について前記第1の調整画像を利用するように前記第1の推定画像と前記第1の調整画像とをブレンドして前記第1のブレンド画像を生成し、
前記第2のブレンド画像生成部は、被写体の明るさが所定の閾値を下回る画素領域について前記第2の推定画像を利用し、当該所定の閾値を上回る画素領域について前記第2の調整画像を利用するように前記第2の推定画像と前記第2の調整画像とをブレンドして前記第2のブレンド画像を生成する
ことを特徴とする、請求項1〜6のいずれか1項に記載の画像処理装置。 - 撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して撮影画像を得る撮像部と、
前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成部と、
前記第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成部と、
前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成部と、
前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成部と、
前記撮影画像の第1のライン群で形成される第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成部と、
前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成部と、
前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成部と、
前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成部と、
前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部と、
を備える
ことを特徴とする、撮像装置。 - 撮像素子の撮像面を第1のライン群と第2のライン群とに分け、前記第1のライン群については第1の露光量で撮像し、前記第2のライン群については前記第1の露光量と異なる第2の露光量で撮像して得られる撮影画像を取得する画像取得工程と、
前記撮影画像の第2のライン群で形成される第2の画像から、前記第1のライン群を構成する各画素の画素値を推定して第1の推定画像を生成する第1の推定画像生成工程と、
前記第1の画像の輝度を前記第2の画像と同じ輝度に調整して第1の調整画像を生成する第1の調整画像生成工程と、
前記第1の推定画像と前記第1の調整画像とをブレンドして第1のブレンド画像を生成する第1のブレンド画像生成工程と、
前記第1のブレンド画像と前記第2の画像とを合成して第1の合成画像を生成する第1の画像合成工程と、
前記撮影画像の第1のライン群で形成される第1の画像から、前記第2のライン群を構成する各画素の画素値を推定して第2の推定画像を生成する第2の推定画像生成工程と、
前記第2の画像の輝度を前記第1の画像と同じ輝度に調整して第2の調整画像を生成する第2の調整画像生成工程と、
前記第2の推定画像と前記第2の調整画像とをブレンドして第2のブレンド画像を生成する第2のブレンド画像生成工程と、
前記第2のブレンド画像と前記第1の画像とを合成して第2の合成画像を生成する第2の画像合成工程と、
前記第1の合成画像と前記第2の合成画像とを用いて広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成工程と、
を含む
ことを特徴とする、画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011264803A JP2013118492A (ja) | 2011-12-02 | 2011-12-02 | 画像処理装置、撮像装置、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011264803A JP2013118492A (ja) | 2011-12-02 | 2011-12-02 | 画像処理装置、撮像装置、及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013118492A true JP2013118492A (ja) | 2013-06-13 |
Family
ID=48712770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011264803A Pending JP2013118492A (ja) | 2011-12-02 | 2011-12-02 | 画像処理装置、撮像装置、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013118492A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
-
2011
- 2011-12-02 JP JP2011264803A patent/JP2013118492A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP5756099B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
JP6019964B2 (ja) | 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法 | |
JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
US9398230B2 (en) | Imaging device and imaging method | |
JP2012050073A (ja) | 撮像装置及び画像合成プログラム | |
KR20110126053A (ko) | 촬상 장치, 손떨림 보정 방법 및 기록 매체 | |
US20130286254A1 (en) | Image capturing apparatus, control method, and recording medium | |
JP4606486B2 (ja) | 画像処理装置および撮影装置 | |
JP2006245999A (ja) | 撮像装置、およびプログラム | |
JP5105139B2 (ja) | 撮像装置および表示方法、並びにプログラム | |
JP6706167B2 (ja) | 撮像装置、画像合成方法、およびプログラム | |
JP6032912B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
JP2008294524A (ja) | 画像処理装置および画像処理方法 | |
JP2008236739A (ja) | 撮像装置および撮像方法 | |
JP4705146B2 (ja) | 撮像装置及び撮像方法 | |
JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2013118492A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2012044377A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP5256888B2 (ja) | オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム | |
JP2006121165A (ja) | 撮像装置、画像形成方法 | |
JP5316098B2 (ja) | 撮像装置、撮像方法、および、プログラム |