JP2016163327A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2016163327A JP2016163327A JP2015043835A JP2015043835A JP2016163327A JP 2016163327 A JP2016163327 A JP 2016163327A JP 2015043835 A JP2015043835 A JP 2015043835A JP 2015043835 A JP2015043835 A JP 2015043835A JP 2016163327 A JP2016163327 A JP 2016163327A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- under
- aligned
- exposure image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像が合成されない領域のゲインアップにより発生する画像ノイズを防止することができる画像処理装置を提供することを課題とする。
【解決手段】画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成する。
【選択図】図6
【解決手段】画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成する。
【選択図】図6
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
明暗差が大きいシーンでの黒潰れや白とびを抑制するために、ハイダイナミックレンジ(HDR)画像を生成する技術が知られている。アンダー、適正、オーバーなど、露出を変えながら複数枚の画像を撮影し、基準画像となる画像に対して他の画像を位置合わせしながらゲイン調整により重み付け加算を行うことにより、ハイダイナミックレンジ画像が生成される。特許文献1では、基準画像及び参照画像の画像信号成分をリニア特性の状態に戻してゲイン調整を適切に行えるようにするため、それら基準画像及び他の画像に対し逆ガンマ補正をかける技術が開示されている。
しかし、基準画像の画角を記録画像にする場合に、基準画像を位置合わせのために情報量の多いアンダー露出の画像を採用しようとすると、画像の位置ずれにより合成画像である適正露出の画像もオーバー露出の画像も使用されない領域が発生することがある。基準画像であるアンダー露出画像において、他の画像が合成されない領域は、合成された領域と輝度レベルを合わせるためにゲインアップをする必要があり、画像信号成分がリニア特性状態に戻されていてもゲインアップのために信号が増幅される。これにより、画像ノイズが発生する。
本発明の目的は、画像が合成されない領域のゲインアップにより発生する画像ノイズを防止することができる画像処理装置、画像処理方法及びプログラムを提供することである。
本発明の画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする。
画像が合成されない領域がない場合には、情報量が多いアンダー露出画像を基準に合成することにより、高画質の合成画像を得ることができる。これに対し、画像が合成されない領域がある場合には、標準露出画像を基準に合成することにより、画像が合成されない領域のゲインアップが必要なくなるので、ゲインアップによる画像ノイズを防止することができる。
図1は、本発明の実施形態による画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えば、デジタルカメラである。保護手段102は、画像処理装置100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するためのバリアである。撮影レンズ10は、光学像を撮像素子14上に結像する。シャッタ12は、絞り機能を備える機械式シャッタである。撮像素子14は、光学像を電気信号に変換し、アナログ画像信号を出力する。アナログ/デジタル(A/D)変換器16は、撮像素子14が出力するアナログ信号をデジタル信号に変換する。タイミング発生回路 18は、撮像素子14、 A/D変換器16及びデジタル/アナログ( D/A)変換器26にクロック信号及び制御信号を供給し、メモリ制御回路22及びシステム制御回路50により制御される。シャッタ12以外にも、タイミング発生回路18が撮像素子14のリセットタイミングを制御することによって、電子シャッタとして、撮像素子14の電荷蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
画像処理回路20は、 A/D変換器16が出力する画像データ又はメモリ制御回路22が出力する画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、画像の切り出し又は変倍処理を行うことで電子ズーム機能を実現したり、画像やアルバム再生のために画像の色や大きさを調節したり、画像にフィルタを掛けることができる。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行う。システム制御回路50は、画像処理回路20の演算結果に基づいて、露光制御手段40及び測距制御手段42を制御し、TTL方式のオートフォーカス(AF)処理、自動露出(AE)処理、EF処理を行う。さらに、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてTTL方式のオートホワイトバランス(AWB)処理を行う。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。メモリ制御回路22は、画像処理回路20の出力データを画像表示メモリ24又はメモリ30に書き込む。また、メモリ制御回路22は、A/D変換器16の出力データを画像表示メモリ24又はメモリ30に書き込む。また、メモリ制御部22は、画像表示メモリ24に書き込まれた表示用の画像データを読み出し、D/A変換器26に出力する。D/A変換器26は、画像データをデジタルからアナログに変換し、画像表示部28に出力する。画像表示部28は、液晶ディスプレイ等を有し、画像データを表示する。画像表示部28が、撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示メモリ24には、撮影画像の再生やアルバム再生のための画像データが書き込まれる。その画像データは、画像表示メモリ24からメモリ制御回路22及びD/A変換器26を介して画像表示部28に出力され、画像表示部28がその画像データを表示する。
メモリ30は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、画像処理装置100は、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ30に書き込むことができる。また、メモリ30は、画像再生やアルバム再生のための作業領域、システム制御回路50の作業領域としても使用することが可能である。圧縮伸長回路32は、メモリ30に格納された画像を読み込み、圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ30に書き込む。例えば、圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する。
露光制御手段40は、絞り機能を備えるシャッタ12を制御し、フラッシュ48と連携することによりフラッシュ調光機能を有する。測距制御手段42は、撮影レンズ10のフォーカシングを制御する。ズーム制御手段44は、撮影レンズ10のズーミングを制御する。バリア制御手段46は、バリアである保護手段102の動作を制御する。フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能を有する。システム制御回路50は、画像処理回路20の演算結果に基づき、露光制御手段40及び測距制御手段42を制御する。露光制御手段40及び測距制御手段42は、TTL方式を用いて制御される。
システム制御回路50は、画像処理装置100全体を制御する。メモリ52は、システム制御回路50の動作用の定数、変数、プログラム等を記憶する。表示部54は、システム制御回路50のプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置及びスピーカー等を有する。また、表示部54は、画像処理装置100の操作部70近辺の視認し易い位置に設置され、例えば液晶ディスプレイやLED、発音素子等を有する。また、表示部54は、その一部の機能が光学ファインダ104内に設置されている。表示部54の表示内容のうち、液晶ディスプレイ等に以下の種々の情報を表示することができる。その表示内容は、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示などである。また、表示部54は、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示等も可能である。また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。不揮発性メモリ56は、電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
モードダイアルスイッチ60、第1のシャッタスイッチ62、第2のシャッタスイッチ64、表示切替スイッチ66、操作部70、ズームスイッチ72及び動画再生指示部74は、システム制御回路50の各種の動作指示を入力するための操作手段である。それらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。
モードダイアルスイッチ60は、電源オン/オフ、静止画撮影モード、ハイダイナミックレンジ撮影モード、動画撮影モード、再生モード、マルチ画面再生、PC接続モード、テレビ受信モード等の各機能モードを切り替え設定することができる。第1のシャッタスイッチ(SW1)62は、シャッタボタンの操作途中でオンとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の撮影準備動作開始を指示する。第2のシャッタスイッチ(SW2)64は、シャッタボタンの操作完了でオンとなる。
これにより、画像処理装置100は、撮像素子12の出力信号をA/D変換器16及びメモリ制御回路22を介してメモリ30に画像データを書き込む画像取り込み処理を行う。続いて、画像処理装置100は、画像処理回路20やメモリ制御回路22の出力データを用いた現像処理を行い、メモリ30の画像データを圧縮伸長回路32に読み出し、圧縮伸長回路32で圧縮処理を行う。続いて、画像処理装置100は、記録媒体200又は210に画像データを書き込む記録処理を行う。
表示切替スイッチ66は、画像表示部28の表示切り替えを行うためのスイッチである。この表示切り替えにより、光学ファインダ104を用いて撮影を行う際に、液晶ディスプレイ等から成る画像表示部28への電流供給を遮断し、省電力化を図ることが可能となる。操作部70は、各種ボタンやタッチパネル等であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン等を有する。また、操作部70は、メニューや再生画像を移動するための上下左右を割り当てた十字ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等を有する。
ズームスイッチ72は、ユーザが撮像画像の倍率変更指示を行うズーム操作手段である。このズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチを有する。このズームスイッチ72を用いることにより、ズーム制御手段44に撮影レンズ10の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ72を用いることにより、画像処理回路20による画像の切り出しや画素補間処理などによる撮像画角の電子的な変更のトリガとなる。動画再生指示部74は、動画撮影後の所定の時間内に操作することにより、撮影した動画の再生を開始させるための指示部である。
電源制御手段80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等を有し、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御手段80は、その検出結果及びシステム制御回路50の指示に基づいて、DC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200及び210を含む各部へ供給する。コネクタ82は、画像処理装置100本体のコネクタである。コネクタ84は、電源手段86のコネクタである。電源手段86は、アルカリ電池やリチウム電池等の一次電池や、NiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等である。
インタフェース90及び94は、メモリカードやハードディスク等の記録媒体200及び210とのインタフェースである。コネクタ92及び96は、メモリカードやハードディスク等の記録媒体200及び210と接続を行うためのコネクタである。 なお、本実施形態では、記録媒体200,210を取り付けるインタフェース90,94及びコネクタ92,96を2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数又は複数系統でもよい。また、異なる規格のインタフェース及びコネクタを組み合わせてもよい。インタフェース90,94及びコネクタ92,96としては、SDカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いることができる。
さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いることができる。すなわち、LANカードやモデムカード、USBカード、IEEE1394カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダ104のみを用いて撮影を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが行われる。
通信手段110は、USB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。コネクタ(アンテナ)112は、通信手段110により画像処理装置100を他の機器と接続するためのコネクタ又は無線通信のためのアンテナである。
記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等の記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うためのコネクタ206を有する。記録媒体210も、メモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等の記録部212、画像処理装置100とのインタフェース214、画像処理装置100と接続を行うためのコネクタ216を有する。
次に、ハイダイナミックレンジ画像の生成の方法について説明する。画像処理装置100は、露出量が異なる3枚の画像を撮像素子14で撮像し、画像処理回路20によりその3枚の画像の位置を合わせて合成することにより、ハイダイナミックレンジ画像を生成する。まず、画像処理装置100は、露光制御手段40のAE処理により被写体に対して感度やシャッタスピードを変えて、アンダー露出、適正露出及びオーバー露出で撮影された3枚の画像のRAWデータを撮像素子14で生成し、メモリ30に記憶する。適正露出画像(標準露出画像)は、適正露出(標準露出)で撮影された画像である。アンダー露出画像は、適正露出画像より露出量が少ないアンダー露出で撮影された画像である。オーバー露出画像は、適正露出画像より露出量が多いオーバー露出で撮影された画像である。
次に、画像処理装置100は、画像処理回路20により3枚のRAWデータをYUVデータに変換し、メモリ30に記憶し、画像処理回路20によりエッジ抽出処理を行う。エッジ抽出処理は。YUVデータの輝度情報を基に、輝度差の多い領域を抽出する処理である。次に、画像処理回路20は、抽出したエッジ情報に対して、撮影時の露出の影響を除くため、露光量の差分を基にゲイン増幅処理を行う。ゲイン増幅処理は、適正露出画像に合わせてゲインを調整してもよいし、画像合成の基準画像の露出に合わせてゲインを調整してもよい。例えば、基準画像はアンダー露出で撮影された画像であり、参照画像は適正露出及びオーバー露出で撮影された画像である。
次に、画像処理回路20は、ゲイン増幅処理されたエッジ情報を基に、基準画像に対する参照画像の移動量を算出し、移動量に応じて参照画像を基準画像の位置に合わせることにより位置合わせを行う。移動量を求める例として、基準画像及び基準画像のパターンマッチングにより、被写体検出を行い、基準画像と参照画像の被写体の位置の差分により、移動量を求めることができる。移動量を求める方法は、他の方法でもよい。
なお、画像処理回路20は、図2に示すように、画面220を複数のブロック221に分割し、ブロック221単位で、上記の基準画像と合成画像の位置合わせを行う。また、参照画像のずれが回転方向にずれることなどにより、参照画像を基準画像の位置に合わせようとすると、参照画像を変形する必要がある場合がある。画像処理回路20は、ブロック221毎に参照画像の移動量を求め、その求めた移動量を基にブロック221毎の射影変形量を求め、参照画像のブロック221を射影変換して、参照画像の位置合わせを行う。さらに、基準画像に対する参照画像の移動量演算の精度を向上させるために、黒つぶれや白飛びしている領域は位置合わせの演算に使用しない、又は露出が低い画像の明るい領域や露出が高い画像の暗い領域に重みを付けるなどの処理をしてもよい。
次に、画像処理回路20は、上記の位置合わせを行った後、基準画像及び参照画像のゲイン増幅処理を行い、ゲイン増幅処理された基準画像及び参照画像を加算することにより、基準画像及び参照画像の合成を行う。画像合成は、黒潰れや白とび領域をなくすように基準画像及び参照画像を合成するため、高照度部分に対してはアンダー露出画像の比率を高くし、低照度部分に対してはオーバー露出画像の比率を高めて合成する必要がある。
図3(A)は、照度と画像データのゲインの関係を示す図である。画像処理回路20は、照度に応じて、オーバー露出画像に対してゲインK1で増幅処理し、適正露出に対してゲインK2で増幅し、アンダー露出に対してゲインK3で増幅し、増幅した3枚の画像を加算することにより、ハイダイナミックレンジ画像を生成する。画像の加算は、ブロック221単位で行われる。画像処理回路20がブロック221単位で画像を合成した結果の例を図4に示す。画像処理回路20が基準画像401であるアンダー露出画像に対して、参照画像403である適正露出画像を加算した例を示す。画像処理回路20は、基準画像401に対して、参照画像403のブロック単位で位置合わせをする。位置合わせされた参照画像403の内接矩形が基準画像401内の合成領域402である。画像処理回路20は、基準画像401内の合成領域402に対して、位置合わせされた参照画像403をブロック単位で合成する。
次に、3枚の画像を加算する方法を説明する。まず、画像処理回路20は、図3(B)に示すように、基準画像であるアンダー露出画像に対してゲインK3で増幅処理し、参照画像である適正露出画像に対してゲインK2aで増幅処理し、増幅処理されたアンダー露出画像及び適正露出画像を加算する。次に、画像処理回路20は、図3(C)に示すように、アンダー露出画像及び適正露出画像を合成した画像に対してゲインK2aで増幅処理し、参照画像であるオーバー露出画像に対してゲインK1で増幅処理し、増幅処理された両方の画像を加算する。上記の2回の加算を行うことにより、オーバー露出画像と適正露出画像とアンダー露出画像は、それぞれ、図3(A)のゲインK1、K2、K3で増幅後に合成されたことになる。すなわち、画像処理回路20は、オーバー露出画像と適正露出画像とアンダー露出画像を照度に応じた比率で合成する。
基準画像のアンダー露出画像に対して適正露出画像もオーバー露出画像も合成されない領域は、ゲイン増幅処理前のアンダー露出画像のみとなり、合成された領域よりも画像が暗くなる。基準画像の画角を記録領域にするためには、周辺の合成された領域との明るさを合わせるために、合成されていないアンダー露出画像のみの領域を1より大きいゲインで増幅処理して明るさを増加させる必要がある。
次に、本実施形態によるハイダイナミックレンジ画像生成処理の例を示す。図5に示すように、RAWデータ領域501は、RAWデータの画像領域である。画像データ出力領域502は、RAWデータ領域501の一部の領域である。画像記録領域503は、画像データ出力領域502の一部の領域である。画像処理回路20は、ハイダイナミックレンジ画像を生成するために、以下の処理を行う。すなわち、画像処理回路20は、メモリ30に記憶されたアンダー露出画像、適正露出画像、オーバー露出画像の3個のRAWデータ領域501のRAWデータをYUVデータに変換するときに、画像データ出力領域502の画角に対してYUVデータを生成する。画像を合成せずに記録する場合など、通常の撮影では、画像処理回路20は、画像記録領域503を除く画像データ出力領域502をノイズリダクションのための参照領域として使用し、画像記録領域503の画角のYUVデータを生成する。ハイダイナミックレンジ撮影では、画像処理回路20は、広くYUVデータを生成するために、画像データ出力領域502のYUVデータを生成する。そのために、画像処理回路20は、画像データ出力領域502の端の数画素を外側に向かってメモリ30上でコピーを繰り返し、コピーした領域をノイズリダクションなどの参照領域として使用しながらYUVデータを生成する。次に、画像処理回路20は、通常撮影より広い画角で生成したYUVデータに対してアンダー露出、適正露出、オーバー露出の3枚の画像に対して、エッジ抽出処理とゲイン増幅処理を行う。次に、画像処理回路20は、その処理結果を基に、図6に示すハイダイナミックレンジ画像作成のための処理を行う。
図6は、本実施形態による画像処理装置100の画像処理方法を示すフローチャートであり、ハイダイナミックレンジ画像作成のための処理を示す。まず、ステップS601では、画像処理回路(画像合成部)20は、アンダー露出画像を基準画像として設定する。次に、ステップS602では、画像処理回路20は、アンダー露出画像に対する適正露出画像の位置合わせにより、アンダー露出画像と適正露出画像の合成領域を算出する。合成領域については、前述したエッジ抽出処理によるエッジ情報のレベル調整を行ったものを基に、基準画像であるアンダー露出画像に対して参照画像である適正露出画像のブロック単位での位置合わせをするための演算を行い、画像の合成領域を算出する。位置合わせ及び画像の合成領域の算出方法は、前述した位置合わせや合成の方法を用いてもよいし、他の方法を用いてもよい。前述した方法を用いた場合、画像合成を行った場合と合成領域の算出の例は、図4のようになる。
次に、ステップS603では、画像処理回路20は、上記のアンダー露出画像と適正露出画像の合成領域をメモリ30に記憶する。次に、ステップS604では、画像処理回路20は、ステップS602と同様に、アンダー露出画像に対するオーバー露出画像の位置合わせにより、アンダー露出画像とオーバー露出画像の合成領域を算出する。次に、ステップS605では、画像処理回路20は、基準画像であるアンダー露出画像に対して、ファイルとして記録する画像記録領域503の画角に対して適正露出画像もオーバー露出画像も合成されない領域があるか否かを判定する。適正露出画像もオーバー露出画像も合成されない領域がない場合はステップS606に進み、適正露出画像もオーバー露出画像も合成されない領域がある場合はステップS608に進む。
すなわち、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がない場合には、ステップS606に進む。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がある場合には、ステップS608に進む。
なお、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より狭い場合には、ステップS606に進むようにしてもよい。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より広い場合には、ステップS608に進むようにしてもよい。
また、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より小さい場合には、ステップS606に進むようにしてもよい。これに対し、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より大きい場合には、ステップS608に進むようにしてもよい。
ステップS606では、画像処理回路20は、アンダー露出画像(基準画像)に対して適正露出画像を位置合わせし、上記の図3(B)を参照しながら説明した方法により、アンダー露出画像と適正露出画像を合成する。次に、ステップS607では、画像処理回路20は、アンダー露出画像(基準画像)に対してオーバー露出画像を位置合わせし、上記の図3(C)を参照しながら説明した方法により、ステップS606で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。
ステップS608では、画像処理回路20は、適正露出画像を基準画像として設定する。次に、ステップS609では、画像処理回路20は、適正露出画像(基準画像)に対してアンダー露出画像を位置合わせし、上記の図3(B)を参照しながら説明した方法と同様に、適正露出画像とアンダー露出画像を合成する。次に、ステップS610では、画像処理回路20は、適正露出画像(基準画像)に対してオーバー露出画像を位置合わせし、上記の図3(C)を参照しながら説明した方法と同様に、ステップS609で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。この場合、適正露出画像(基準画像)に対してアンダー露出画像もオーバー露出画像も合成されなかった領域があっても、適正露出画像は、合成画像に対して明るさが変わらないため、ゲイン増幅処理する必要がない。
以上のように、ステップS606及びS607では、画像処理回路20は、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせ、アンダー露出画像に対して、位置を合わせた画像を合成する。これに対し、ステップS609及びS610では、画像処理回路20は、適正露出画像に対して、撮影された複数の画像のうちの適正露出画像を除く画像の位置を合わせ、適正露出画像に対して、位置を合わせた画像を合成する。
本実施形態では、図4に示すように、画像を合成するための基準画像401及び参照画像403のYUVデータの領域を合成画像の領域402よりも広くする。すなわち、画像処理回路20により合成された合成画像の領域402のサイズは、撮影された基準画像41及び参照画像403のサイズより小さい。これにより、ステップS606及びS607では、アンダー露出画像、適正露出画像、オーバー露出画像の位置ずれがあっても、情報量が多いアンダー露出画像を基準画像として使用し、高画質の合成画像を生成することができる。また、ステップS609及びS610では、画像間の位置ずれが大きくアンダー露出画像をゲインアップしなければならない場合においても、基準画像を適正露出画像に設定することで、合成領域と合成されない領域との輝度レベルを合わせる必要なくなる。この場合、合成領域と合成されない領域との輝度レベルは合っているので、合成されない領域のゲインアップの必要がなくなり、ゲインアップのための増幅による画像ノイズを防止することができる。
本実施形態では、3枚の画像を合成してハイダイナミックレンジ画像を生成しているが、アンダー露出画像と適正露出画像の2枚の画像を合成してハイダイナミックレンジ画像を生成してもよい。また、画像の位置合わせに画像のエッジを抽出して位置合わせを行っているが、カメラのジャイロ情報や加速度センサなどを用いてカメラの移動量と画像の撮影タイミングを基に画像間の位置ずれを求めるなど、他の方法を用いてもよい。
また、画像合成は、画像を四角形のブロック221に分割して合成したが、この方法に限らずに、画像を分割せずに画像合成を行ったり、分割方法を変えて合成してもよい。また、画像の合成領域402は、2枚の画像が重なる部分の内接矩形を合成領域402としたが、矩形以外の形で合成できる領域を合成可能な範囲まで広げてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
10 撮影レンズ、12 シャッタ、14 撮像素子、16 A/D変換器、18 タイミング発生回路、20 画像処理回路
Claims (11)
- 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
前記画像合成部は、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。 - 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
前記画像合成部は、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。 - 前記画像合成部は、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がない場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がある場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする請求項2記載の画像処理装置。 - 前記画像合成部は、前記標準露出画像、前記アンダー露出画像及び前記標準露出画像より露出量が多いオーバー露出画像を含む異なる露出量で撮影された複数の画像を合成することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記画像合成部により合成された合成画像のサイズは、前記撮影された複数の画像のサイズより小さいことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記画像合成部は、前記画像を複数のブロックに分割し、前記ブロック単位で合成することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
- 前記画像合成部は、前記撮影された複数の画像を照度に応じた比率で合成することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
- 画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
前記画像合成ステップは、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。 - 画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
前記画像合成ステップは、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。 - 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
前記画像合成ステップは、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。 - 標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
前記画像合成ステップは、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043835A JP2016163327A (ja) | 2015-03-05 | 2015-03-05 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043835A JP2016163327A (ja) | 2015-03-05 | 2015-03-05 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016163327A true JP2016163327A (ja) | 2016-09-05 |
Family
ID=56845568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015043835A Pending JP2016163327A (ja) | 2015-03-05 | 2015-03-05 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016163327A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11062436B2 (en) | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
-
2015
- 2015-03-05 JP JP2015043835A patent/JP2016163327A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11062436B2 (en) | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4035543B2 (ja) | 撮像装置 | |
US8837864B2 (en) | Image synthesis and rotation processing apparatus and image synthesis processing method | |
JP5366584B2 (ja) | 撮像装置、画像処理方法およびプログラム | |
JP6116299B2 (ja) | 撮像装置及びその制御方法 | |
JP5889247B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置 | |
US10839497B2 (en) | Image processing apparatus and method | |
JP6116436B2 (ja) | 画像処理装置および画像処理方法 | |
JP6192416B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2011049685A (ja) | 撮像装置及びその制御方法 | |
US20160012562A1 (en) | Image processing apparatus and image processing method | |
JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6148497B2 (ja) | 画像処理装置及び画像処理方法、プログラム並びに記憶媒体 | |
JP2012090041A (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
JP2016163327A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015097322A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP6353585B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2015053652A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6433177B2 (ja) | 画像処理装置および画像処理方法 | |
JP2019106647A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2017038300A (ja) | 画像処理装置及び方法 | |
JP2014135589A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2007259304A (ja) | 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
JP6278689B2 (ja) | アルバム生成装置、その制御方法、および制御プログラム | |
JP2012124828A (ja) | 画像処理装置及び画像処理方法、並びにプログラム |