JP2016163327A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像が合成されない領域のゲインアップにより発生する画像ノイズを防止することができる画像処理装置を提供することを課題とする。
【解決手段】画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成する。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

明暗差が大きいシーンでの黒潰れや白とびを抑制するために、ハイダイナミックレンジ（ＨＤＲ）画像を生成する技術が知られている。アンダー、適正、オーバーなど、露出を変えながら複数枚の画像を撮影し、基準画像となる画像に対して他の画像を位置合わせしながらゲイン調整により重み付け加算を行うことにより、ハイダイナミックレンジ画像が生成される。特許文献１では、基準画像及び参照画像の画像信号成分をリニア特性の状態に戻してゲイン調整を適切に行えるようにするため、それら基準画像及び他の画像に対し逆ガンマ補正をかける技術が開示されている。

特開２０１１−２９６９５号公報

しかし、基準画像の画角を記録画像にする場合に、基準画像を位置合わせのために情報量の多いアンダー露出の画像を採用しようとすると、画像の位置ずれにより合成画像である適正露出の画像もオーバー露出の画像も使用されない領域が発生することがある。基準画像であるアンダー露出画像において、他の画像が合成されない領域は、合成された領域と輝度レベルを合わせるためにゲインアップをする必要があり、画像信号成分がリニア特性状態に戻されていてもゲインアップのために信号が増幅される。これにより、画像ノイズが発生する。

本発明の目的は、画像が合成されない領域のゲインアップにより発生する画像ノイズを防止することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする。

画像が合成されない領域がない場合には、情報量が多いアンダー露出画像を基準に合成することにより、高画質の合成画像を得ることができる。これに対し、画像が合成されない領域がある場合には、標準露出画像を基準に合成することにより、画像が合成されない領域のゲインアップが必要なくなるので、ゲインアップによる画像ノイズを防止することができる。

本実施形態による画像処理装置の構成例を示すブロック図である。 本実施形態による画像合成の分割単位の例を示す図である。 本実施形態による画像合成のためのゲインの例を示す図である。 本実施形態による画像合成の領域の例を示す図である。 本実施形態によるＲＡＷデータ領域の例を示す図である。 本実施形態による画像処理方法を示すフローチャートである。

図１は、本発明の実施形態による画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、例えば、デジタルカメラである。保護手段１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するためのバリアである。撮影レンズ１０は、光学像を撮像素子１４上に結像する。シャッタ１２は、絞り機能を備える機械式シャッタである。撮像素子１４は、光学像を電気信号に変換し、アナログ画像信号を出力する。アナログ／デジタル（Ａ／Ｄ）変換器１６は、撮像素子１４が出力するアナログ信号をデジタル信号に変換する。タイミング発生回路 １８は、撮像素子１４、 Ａ／Ｄ変換器１６及びデジタル／アナログ（ Ｄ／Ａ）変換器２６にクロック信号及び制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。シャッタ１２以外にも、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッタとして、撮像素子１４の電荷蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理回路２０は、 Ａ／Ｄ変換器１６が出力する画像データ又はメモリ制御回路２２が出力する画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、画像の切り出し又は変倍処理を行うことで電子ズーム機能を実現したり、画像やアルバム再生のために画像の色や大きさを調節したり、画像にフィルタを掛けることができる。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。システム制御回路５０は、画像処理回路２０の演算結果に基づいて、露光制御手段４０及び測距制御手段４２を制御し、ＴＴＬ方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、ＥＦ処理を行う。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。メモリ制御回路２２は、画像処理回路２０の出力データを画像表示メモリ２４又はメモリ３０に書き込む。また、メモリ制御回路２２は、Ａ／Ｄ変換器１６の出力データを画像表示メモリ２４又はメモリ３０に書き込む。また、メモリ制御部２２は、画像表示メモリ２４に書き込まれた表示用の画像データを読み出し、Ｄ／Ａ変換器２６に出力する。Ｄ／Ａ変換器２６は、画像データをデジタルからアナログに変換し、画像表示部２８に出力する。画像表示部２８は、液晶ディスプレイ等を有し、画像データを表示する。画像表示部２８が、撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示メモリ２４には、撮影画像の再生やアルバム再生のための画像データが書き込まれる。その画像データは、画像表示メモリ２４からメモリ制御回路２２及びＤ／Ａ変換器２６を介して画像表示部２８に出力され、画像表示部２８がその画像データを表示する。

メモリ３０は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、画像処理装置１００は、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ３０に書き込むことができる。また、メモリ３０は、画像再生やアルバム再生のための作業領域、システム制御回路５０の作業領域としても使用することが可能である。圧縮伸長回路３２は、メモリ３０に格納された画像を読み込み、圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。例えば、圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。

露光制御手段４０は、絞り機能を備えるシャッタ１２を制御し、フラッシュ４８と連携することによりフラッシュ調光機能を有する。測距制御手段４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。バリア制御手段４６は、バリアである保護手段１０２の動作を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。システム制御回路５０は、画像処理回路２０の演算結果に基づき、露光制御手段４０及び測距制御手段４２を制御する。露光制御手段４０及び測距制御手段４２は、ＴＴＬ方式を用いて制御される。

システム制御回路５０は、画像処理装置１００全体を制御する。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。表示部５４は、システム制御回路５０のプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置及びスピーカー等を有する。また、表示部５４は、画像処理装置１００の操作部７０近辺の視認し易い位置に設置され、例えば液晶ディスプレイやＬＥＤ、発音素子等を有する。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、液晶ディスプレイ等に以下の種々の情報を表示することができる。その表示内容は、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示などである。また、表示部５４は、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示等も可能である。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。不揮発性メモリ５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

モードダイアルスイッチ６０、第１のシャッタスイッチ６２、第２のシャッタスイッチ６４、表示切替スイッチ６６、操作部７０、ズームスイッチ７２及び動画再生指示部７４は、システム制御回路５０の各種の動作指示を入力するための操作手段である。それらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。

モードダイアルスイッチ６０は、電源オン／オフ、静止画撮影モード、ハイダイナミックレンジ撮影モード、動画撮影モード、再生モード、マルチ画面再生、ＰＣ接続モード、テレビ受信モード等の各機能モードを切り替え設定することができる。第１のシャッタスイッチ（ＳＷ１）６２は、シャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の撮影準備動作開始を指示する。第２のシャッタスイッチ（ＳＷ２）６４は、シャッタボタンの操作完了でオンとなる。

これにより、画像処理装置１００は、撮像素子１２の出力信号をＡ／Ｄ変換器１６及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む画像取り込み処理を行う。続いて、画像処理装置１００は、画像処理回路２０やメモリ制御回路２２の出力データを用いた現像処理を行い、メモリ３０の画像データを圧縮伸長回路３２に読み出し、圧縮伸長回路３２で圧縮処理を行う。続いて、画像処理装置１００は、記録媒体２００又は２１０に画像データを書き込む記録処理を行う。

表示切替スイッチ６６は、画像表示部２８の表示切り替えを行うためのスイッチである。この表示切り替えにより、光学ファインダ１０４を用いて撮影を行う際に、液晶ディスプレイ等から成る画像表示部２８への電流供給を遮断し、省電力化を図ることが可能となる。操作部７０は、各種ボタンやタッチパネル等であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン等を有する。また、操作部７０は、メニューや再生画像を移動するための上下左右を割り当てた十字ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を有する。

ズームスイッチ７２は、ユーザが撮像画像の倍率変更指示を行うズーム操作手段である。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチを有する。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ７２を用いることにより、画像処理回路２０による画像の切り出しや画素補間処理などによる撮像画角の電子的な変更のトリガとなる。動画再生指示部７４は、動画撮影後の所定の時間内に操作することにより、撮影した動画の再生を開始させるための指示部である。

電源制御手段８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等を有し、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御手段８０は、その検出結果及びシステム制御回路５０の指示に基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００及び２１０を含む各部へ供給する。コネクタ８２は、画像処理装置１００本体のコネクタである。コネクタ８４は、電源手段８６のコネクタである。電源手段８６は、アルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。

インタフェース９０及び９４は、メモリカードやハードディスク等の記録媒体２００及び２１０とのインタフェースである。コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体２００及び２１０と接続を行うためのコネクタである。 なお、本実施形態では、記録媒体２００，２１０を取り付けるインタフェース９０，９４及びコネクタ９２，９６を２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数又は複数系統でもよい。また、異なる規格のインタフェース及びコネクタを組み合わせてもよい。インタフェース９０，９４及びコネクタ９２，９６としては、ＳＤカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いることができる。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いることができる。すなわち、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが行われる。

通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。コネクタ（アンテナ）１１２は、通信手段１１０により画像処理装置１００を他の機器と接続するためのコネクタ又は無線通信のためのアンテナである。

記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等の記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うためのコネクタ２０６を有する。記録媒体２１０も、メモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等の記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うためのコネクタ２１６を有する。

次に、ハイダイナミックレンジ画像の生成の方法について説明する。画像処理装置１００は、露出量が異なる３枚の画像を撮像素子１４で撮像し、画像処理回路２０によりその３枚の画像の位置を合わせて合成することにより、ハイダイナミックレンジ画像を生成する。まず、画像処理装置１００は、露光制御手段４０のＡＥ処理により被写体に対して感度やシャッタスピードを変えて、アンダー露出、適正露出及びオーバー露出で撮影された３枚の画像のＲＡＷデータを撮像素子１４で生成し、メモリ３０に記憶する。適正露出画像（標準露出画像）は、適正露出（標準露出）で撮影された画像である。アンダー露出画像は、適正露出画像より露出量が少ないアンダー露出で撮影された画像である。オーバー露出画像は、適正露出画像より露出量が多いオーバー露出で撮影された画像である。

次に、画像処理装置１００は、画像処理回路２０により３枚のＲＡＷデータをＹＵＶデータに変換し、メモリ３０に記憶し、画像処理回路２０によりエッジ抽出処理を行う。エッジ抽出処理は。ＹＵＶデータの輝度情報を基に、輝度差の多い領域を抽出する処理である。次に、画像処理回路２０は、抽出したエッジ情報に対して、撮影時の露出の影響を除くため、露光量の差分を基にゲイン増幅処理を行う。ゲイン増幅処理は、適正露出画像に合わせてゲインを調整してもよいし、画像合成の基準画像の露出に合わせてゲインを調整してもよい。例えば、基準画像はアンダー露出で撮影された画像であり、参照画像は適正露出及びオーバー露出で撮影された画像である。

次に、画像処理回路２０は、ゲイン増幅処理されたエッジ情報を基に、基準画像に対する参照画像の移動量を算出し、移動量に応じて参照画像を基準画像の位置に合わせることにより位置合わせを行う。移動量を求める例として、基準画像及び基準画像のパターンマッチングにより、被写体検出を行い、基準画像と参照画像の被写体の位置の差分により、移動量を求めることができる。移動量を求める方法は、他の方法でもよい。

なお、画像処理回路２０は、図２に示すように、画面２２０を複数のブロック２２１に分割し、ブロック２２１単位で、上記の基準画像と合成画像の位置合わせを行う。また、参照画像のずれが回転方向にずれることなどにより、参照画像を基準画像の位置に合わせようとすると、参照画像を変形する必要がある場合がある。画像処理回路２０は、ブロック２２１毎に参照画像の移動量を求め、その求めた移動量を基にブロック２２１毎の射影変形量を求め、参照画像のブロック２２１を射影変換して、参照画像の位置合わせを行う。さらに、基準画像に対する参照画像の移動量演算の精度を向上させるために、黒つぶれや白飛びしている領域は位置合わせの演算に使用しない、又は露出が低い画像の明るい領域や露出が高い画像の暗い領域に重みを付けるなどの処理をしてもよい。

次に、画像処理回路２０は、上記の位置合わせを行った後、基準画像及び参照画像のゲイン増幅処理を行い、ゲイン増幅処理された基準画像及び参照画像を加算することにより、基準画像及び参照画像の合成を行う。画像合成は、黒潰れや白とび領域をなくすように基準画像及び参照画像を合成するため、高照度部分に対してはアンダー露出画像の比率を高くし、低照度部分に対してはオーバー露出画像の比率を高めて合成する必要がある。

図３（Ａ）は、照度と画像データのゲインの関係を示す図である。画像処理回路２０は、照度に応じて、オーバー露出画像に対してゲインＫ１で増幅処理し、適正露出に対してゲインＫ２で増幅し、アンダー露出に対してゲインＫ３で増幅し、増幅した３枚の画像を加算することにより、ハイダイナミックレンジ画像を生成する。画像の加算は、ブロック２２１単位で行われる。画像処理回路２０がブロック２２１単位で画像を合成した結果の例を図４に示す。画像処理回路２０が基準画像４０１であるアンダー露出画像に対して、参照画像４０３である適正露出画像を加算した例を示す。画像処理回路２０は、基準画像４０１に対して、参照画像４０３のブロック単位で位置合わせをする。位置合わせされた参照画像４０３の内接矩形が基準画像４０１内の合成領域４０２である。画像処理回路２０は、基準画像４０１内の合成領域４０２に対して、位置合わせされた参照画像４０３をブロック単位で合成する。

次に、３枚の画像を加算する方法を説明する。まず、画像処理回路２０は、図３（Ｂ）に示すように、基準画像であるアンダー露出画像に対してゲインＫ３で増幅処理し、参照画像である適正露出画像に対してゲインＫ２ａで増幅処理し、増幅処理されたアンダー露出画像及び適正露出画像を加算する。次に、画像処理回路２０は、図３（Ｃ）に示すように、アンダー露出画像及び適正露出画像を合成した画像に対してゲインＫ２ａで増幅処理し、参照画像であるオーバー露出画像に対してゲインＫ１で増幅処理し、増幅処理された両方の画像を加算する。上記の２回の加算を行うことにより、オーバー露出画像と適正露出画像とアンダー露出画像は、それぞれ、図３（Ａ）のゲインＫ１、Ｋ２、Ｋ３で増幅後に合成されたことになる。すなわち、画像処理回路２０は、オーバー露出画像と適正露出画像とアンダー露出画像を照度に応じた比率で合成する。

基準画像のアンダー露出画像に対して適正露出画像もオーバー露出画像も合成されない領域は、ゲイン増幅処理前のアンダー露出画像のみとなり、合成された領域よりも画像が暗くなる。基準画像の画角を記録領域にするためには、周辺の合成された領域との明るさを合わせるために、合成されていないアンダー露出画像のみの領域を１より大きいゲインで増幅処理して明るさを増加させる必要がある。

次に、本実施形態によるハイダイナミックレンジ画像生成処理の例を示す。図５に示すように、ＲＡＷデータ領域５０１は、ＲＡＷデータの画像領域である。画像データ出力領域５０２は、ＲＡＷデータ領域５０１の一部の領域である。画像記録領域５０３は、画像データ出力領域５０２の一部の領域である。画像処理回路２０は、ハイダイナミックレンジ画像を生成するために、以下の処理を行う。すなわち、画像処理回路２０は、メモリ３０に記憶されたアンダー露出画像、適正露出画像、オーバー露出画像の３個のＲＡＷデータ領域５０１のＲＡＷデータをＹＵＶデータに変換するときに、画像データ出力領域５０２の画角に対してＹＵＶデータを生成する。画像を合成せずに記録する場合など、通常の撮影では、画像処理回路２０は、画像記録領域５０３を除く画像データ出力領域５０２をノイズリダクションのための参照領域として使用し、画像記録領域５０３の画角のＹＵＶデータを生成する。ハイダイナミックレンジ撮影では、画像処理回路２０は、広くＹＵＶデータを生成するために、画像データ出力領域５０２のＹＵＶデータを生成する。そのために、画像処理回路２０は、画像データ出力領域５０２の端の数画素を外側に向かってメモリ３０上でコピーを繰り返し、コピーした領域をノイズリダクションなどの参照領域として使用しながらＹＵＶデータを生成する。次に、画像処理回路２０は、通常撮影より広い画角で生成したＹＵＶデータに対してアンダー露出、適正露出、オーバー露出の３枚の画像に対して、エッジ抽出処理とゲイン増幅処理を行う。次に、画像処理回路２０は、その処理結果を基に、図６に示すハイダイナミックレンジ画像作成のための処理を行う。

図６は、本実施形態による画像処理装置１００の画像処理方法を示すフローチャートであり、ハイダイナミックレンジ画像作成のための処理を示す。まず、ステップＳ６０１では、画像処理回路（画像合成部）２０は、アンダー露出画像を基準画像として設定する。次に、ステップＳ６０２では、画像処理回路２０は、アンダー露出画像に対する適正露出画像の位置合わせにより、アンダー露出画像と適正露出画像の合成領域を算出する。合成領域については、前述したエッジ抽出処理によるエッジ情報のレベル調整を行ったものを基に、基準画像であるアンダー露出画像に対して参照画像である適正露出画像のブロック単位での位置合わせをするための演算を行い、画像の合成領域を算出する。位置合わせ及び画像の合成領域の算出方法は、前述した位置合わせや合成の方法を用いてもよいし、他の方法を用いてもよい。前述した方法を用いた場合、画像合成を行った場合と合成領域の算出の例は、図４のようになる。

次に、ステップＳ６０３では、画像処理回路２０は、上記のアンダー露出画像と適正露出画像の合成領域をメモリ３０に記憶する。次に、ステップＳ６０４では、画像処理回路２０は、ステップＳ６０２と同様に、アンダー露出画像に対するオーバー露出画像の位置合わせにより、アンダー露出画像とオーバー露出画像の合成領域を算出する。次に、ステップＳ６０５では、画像処理回路２０は、基準画像であるアンダー露出画像に対して、ファイルとして記録する画像記録領域５０３の画角に対して適正露出画像もオーバー露出画像も合成されない領域があるか否かを判定する。適正露出画像もオーバー露出画像も合成されない領域がない場合はステップＳ６０６に進み、適正露出画像もオーバー露出画像も合成されない領域がある場合はステップＳ６０８に進む。

すなわち、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がない場合には、ステップＳ６０６に進む。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がある場合には、ステップＳ６０８に進む。

なお、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より狭い場合には、ステップＳ６０６に進むようにしてもよい。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より広い場合には、ステップＳ６０８に進むようにしてもよい。

また、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より小さい場合には、ステップＳ６０６に進むようにしてもよい。これに対し、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より大きい場合には、ステップＳ６０８に進むようにしてもよい。

ステップＳ６０６では、画像処理回路２０は、アンダー露出画像（基準画像）に対して適正露出画像を位置合わせし、上記の図３（Ｂ）を参照しながら説明した方法により、アンダー露出画像と適正露出画像を合成する。次に、ステップＳ６０７では、画像処理回路２０は、アンダー露出画像（基準画像）に対してオーバー露出画像を位置合わせし、上記の図３（Ｃ）を参照しながら説明した方法により、ステップＳ６０６で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。

ステップＳ６０８では、画像処理回路２０は、適正露出画像を基準画像として設定する。次に、ステップＳ６０９では、画像処理回路２０は、適正露出画像（基準画像）に対してアンダー露出画像を位置合わせし、上記の図３（Ｂ）を参照しながら説明した方法と同様に、適正露出画像とアンダー露出画像を合成する。次に、ステップＳ６１０では、画像処理回路２０は、適正露出画像（基準画像）に対してオーバー露出画像を位置合わせし、上記の図３（Ｃ）を参照しながら説明した方法と同様に、ステップＳ６０９で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。この場合、適正露出画像（基準画像）に対してアンダー露出画像もオーバー露出画像も合成されなかった領域があっても、適正露出画像は、合成画像に対して明るさが変わらないため、ゲイン増幅処理する必要がない。

以上のように、ステップＳ６０６及びＳ６０７では、画像処理回路２０は、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせ、アンダー露出画像に対して、位置を合わせた画像を合成する。これに対し、ステップＳ６０９及びＳ６１０では、画像処理回路２０は、適正露出画像に対して、撮影された複数の画像のうちの適正露出画像を除く画像の位置を合わせ、適正露出画像に対して、位置を合わせた画像を合成する。

本実施形態では、図４に示すように、画像を合成するための基準画像４０１及び参照画像４０３のＹＵＶデータの領域を合成画像の領域４０２よりも広くする。すなわち、画像処理回路２０により合成された合成画像の領域４０２のサイズは、撮影された基準画像４１及び参照画像４０３のサイズより小さい。これにより、ステップＳ６０６及びＳ６０７では、アンダー露出画像、適正露出画像、オーバー露出画像の位置ずれがあっても、情報量が多いアンダー露出画像を基準画像として使用し、高画質の合成画像を生成することができる。また、ステップＳ６０９及びＳ６１０では、画像間の位置ずれが大きくアンダー露出画像をゲインアップしなければならない場合においても、基準画像を適正露出画像に設定することで、合成領域と合成されない領域との輝度レベルを合わせる必要なくなる。この場合、合成領域と合成されない領域との輝度レベルは合っているので、合成されない領域のゲインアップの必要がなくなり、ゲインアップのための増幅による画像ノイズを防止することができる。

本実施形態では、３枚の画像を合成してハイダイナミックレンジ画像を生成しているが、アンダー露出画像と適正露出画像の２枚の画像を合成してハイダイナミックレンジ画像を生成してもよい。また、画像の位置合わせに画像のエッジを抽出して位置合わせを行っているが、カメラのジャイロ情報や加速度センサなどを用いてカメラの移動量と画像の撮影タイミングを基に画像間の位置ずれを求めるなど、他の方法を用いてもよい。

また、画像合成は、画像を四角形のブロック２２１に分割して合成したが、この方法に限らずに、画像を分割せずに画像合成を行ったり、分割方法を変えて合成してもよい。また、画像の合成領域４０２は、２枚の画像が重なる部分の内接矩形を合成領域４０２としたが、矩形以外の形で合成できる領域を合成可能な範囲まで広げてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 撮影レンズ、１２ シャッタ、１４ 撮像素子、１６ Ａ／Ｄ変換器、１８ タイミング発生回路、２０ 画像処理回路

Claims (11)

1. 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
   前記画像合成部は、
   前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
   前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。
2. 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
   前記画像合成部は、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。
3. 前記画像合成部は、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がない場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がある場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする請求項２記載の画像処理装置。
4. 前記画像合成部は、前記標準露出画像、前記アンダー露出画像及び前記標準露出画像より露出量が多いオーバー露出画像を含む異なる露出量で撮影された複数の画像を合成することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像合成部により合成された合成画像のサイズは、前記撮影された複数の画像のサイズより小さいことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像合成部は、前記画像を複数のブロックに分割し、前記ブロック単位で合成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記画像合成部は、前記撮影された複数の画像を照度に応じた比率で合成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
   前記画像合成ステップは、
   前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
   前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。
9. 画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
   前記画像合成ステップは、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
   前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。
10. 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
    前記画像合成ステップは、
    前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
    前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。
11. 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
    前記画像合成ステップは、
    前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
    前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。

Images