JP2012044378A

JP2012044378A - 撮像装置、撮像方法、及びプログラム

Info

Publication number: JP2012044378A
Application number: JP2010182678A
Authority: JP
Inventors: Keiji Manabe; 佳嗣真鍋
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-08-18
Filing date: 2010-08-18
Publication date: 2012-03-01
Anticipated expiration: 2030-08-18
Also published as: US8493502B2; JP5141733B2; CN102377943B; CN102377943A; US20120044379A1

Abstract

【課題】比較的暗い撮影環境であっても背景と主要被写体との双方が際立った高品位の画像を得ることができるようにする。
【解決手段】発光を伴って撮影されたフラッシュ画像のＹＵＶ画像データにおけるＹと、発光を伴わずに撮影された判定用非フラッシュ画像のＹＵＶ画像データにおけるＹとの差を画素毎に求めて、その差分をフラッシュレベルとし（ステップＢ１）、０以下をクリップする（ステップＢ２）。平滑化処理（ステップＢ３）、及び強調処理を行ってフラッシュ判定マップＭのコントラストをアップさせる（ステップＢ４）。最終的にフラッシュ判定マップＭをαマップとして用いて、１枚のフラッシュ画像Ｐ７のＹＵＶ画像データと６枚の非フラッシュ画像を合成した１枚の合成画像Ｐ９のＹＵＶ画像データを合成する（ステップＳＢ５）。
【選択図】図３

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

従来、夜景と人物被写体等の主要被写体とをシーンの撮影に際して、夜景と主要被写体との双方が際立った画像を記録できるよう様々な技術が考案されている。例えば、特許文献１に開示されている技術では、フラッシュ発光を伴うフラッシュオン撮影と、フラッシュを伴わないフラッシュオフ撮影とを連続して行う。このとき、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。

これにより、フラッシュオフ撮影で得られた画像（非フラッシュ画像）は、主要被写体の明るさは不適正であるにしても、夜景の明るさは適正な画像となる。また、フラッシュ撮影で得られた画像（フラッシュ画像）は、夜景の明るさは不適正であるにしても、主要被写体の明るさは適正な画像となる。したがって、これら非フラッシュ画像とフラッシュ画像とを合成することにより、夜景と主要被写体との双方の明るさが適正で、双方が際立った画像を記録できるとするものである。

特開２００５−０８６４８８号公報

前述の技術にあっては、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。このため、フラッシュオフ撮影時の画像、つまり夜景と主要被写体とからなる非フラッシュ画像上には熱ノイズが発生してしまうものの、主要被写体上に発生した熱ノイズに関しては、フラッシュ画像との合成により補正され消去される。

しかしながら、主要被写体領域以外に発生した熱ノイズに関しては補正されることが無いため、熱ノイズが残存した低品位の画像が得られることには変わりないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、比較的暗い撮影環境であっても背景と主要被写体との双方が際立った高品位の画像を得ることができるようにすることを目的とするものである。

前記課題を解決するために請求項１記載の発明は、撮像手段と、発光手段と、前記撮像手段と前記発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得手段と、この画像取得手段によって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得手段と、この差分取得手段によって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディング手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、請求項１記載の発明において、前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、この平均化された情報について更にコントラストを上げる処理を実行することを特徴とする。

また、請求項３記載の発明は、請求項１又は２記載の発明において、前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、これ平均化された情報について更に平滑化処理を実行することを特徴とする。

また、請求項４記載の発明は、請求項１乃至３の何れか記載の発明において、前記撮像画角には、人物の顔画像が含まれることを特徴とする。

また、請求項５記載の発明は、撮像手段と発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得ステップと、この画像取得ステップによって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得ステップと、この差分取得ステップによって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディングステップと、を含むことを特徴とする。

また、請求項６記載の発明は、撮像手段と発光手段とを備える撮像装置が有するコンピュータを、前記撮像手段と前記発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得手段、この画像取得手段によって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得手段、この差分取得手段によって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディング手段、として機能させることを特徴とする。

本発明によれば、夜景と主要被写体との双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。

本発明の一実施の形態に係る撮像装置の回路ブロック図である。同撮像装置における処理手順を示すフローチャートである。フラッシュ判定・ブレンディング処理の処理手順を示すフローチャートである。（１）は連写された非フラッシュ画像の一例を示す図であり、（２）はフラッシュ画像の一例を示す図であり、（３）は判定用非フラッシュ画像の一例を示す図であり、８枚の非フラッシュ画像を合成した１枚の合成画像の一例を示す図である（ａ）は平滑化処理による処理結果を示す図であり、（ｂ）は強調処理により処理結果を示す図であり、（ｃ）は本実施の形態による合成画像を示す。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、撮像部１、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０、ストロボフラッシュ発光部１２を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。

同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、複数の画像（カラー画像）を取得する。

ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。

尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行うようにしたが、これに限らない。例えば上記の制御は制御部９で行うようにしてもよい。

キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的とする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。シャッターキー４１は、１段目の操作ストローク（半押し）と、２段目の操作ストローク（全押し）との２段階の操作ストロークを有する釦式スイッチからなる。

表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。ストロボフラッシュ発光部１２は、撮影時に必要な捕縄光を発光し、その発光タイミングは駆動制御部２によって制御される。

画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。すなわち合成部１１は、ストロボフラッシュ発光部１２の発光を伴わずに撮影された画像である非フラッシュ画像と、ストロボフラッシュ発光部１２の発光を伴って撮影された画像であるフラッシュ画像の合成加算処理等を実行するとともに、この合成画像について後述するフラッシュ判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて、夜景と主要被写体との双方が際立った画像を生成するものである。

次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、撮影モードにおける「夜景と人物モード」を設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。

まず、制御部９は、撮像部１によって逐次撮像されている画像を表示部５にライブビューで表示させる（ステップＡ１）。次に、制御部９は、シャッターキー４１が半押しされたか否かを判断する（ステップＡ２）。シャッターキー４１が半押しされたならば、測光処理、及び、合焦処理を実行し、適正露出値、及び、フォーカス位置を取得する（ステップＡ３）。したがって、このステップＡ３の測光処理により、絞り値とシャッタ速度（後述のシャッタ時間、及び、露光時間と同義）とからなる適正露出値が演算される。

そして、ユーザが撮影を行うべく、シャッターキー４１を全押しするとステップＡ４の判断がＹＥＳとなる。したがって、制御部９はステップＡ４からステップＡ５に処理を進めて、ストロボフラッシュ発光部１２を予備発光させる（ステップＡ５）。この予備発光は、ストロボフラッシュ発光部１２の発光量を調光する目的、及び主要被写体となる人物の眼について赤目を防止する目的で行われるものであり、後述するステップＡ７でのフラッシュ発光を伴う連写の、例えば少なくとも０．８秒前までに実行する。

引き続き、手ブレの発生を防止すべく、適正露出値に対して、シャッタ時間（露光時間）を２段（露光時間に換算して適正露出値に対応する露光時間の１／４）下げた撮影条件で、先ず、ストロボフラッシュ発光部１２による発光を行うこと無しに６回連続的に撮影する（ステップＡ６）。

引き続き、ストロボフラッシュ発光部１２を発光させて、１回に撮影する（ステップＡ７）。この時のステップＡ６終了時との間隔は、被写体人物が瞬いた状態で撮影される瞬き画像の撮影を回避するために、例えば０．１秒以上開ける。また、前記ステップＡ７での撮影の際の撮影条件は、前記ステップＡ６での撮影よりもＩＳＯ感度を低くして撮影する。

更に、ストロボフラッシュ発光部１２の発光なしで１回撮影し、この画像を判定用非フラッシュ画像とする（ステップＡ８）。このステップＡ８での撮影の際の撮影条件は、ストロボフラッシュ発光部１２を発光させないこと以外（露出、感度、ホワイトバランス等）は、ステップＡ７と同一とする。

したがって、ステップＡ６〜ステップＡ８での処理により、ＲＡＭ８にはステップＡ６で撮影された６枚の非フラッシュ画像と、ステップＡ７で撮影された１枚のフラッシュ画像と、ステップＡ８で撮影された１枚の判定用非フラッシュ画像とからなる８枚のＹＵＶ画像が一旦保存されることとなる。

そして、前記ステップＡ６で連写された複数枚の非フラッシュ画像に関しては、各々適正露出になるようにゲイン調整した後、これらを合成してノイズ低減する（ステップＡ９）。つまり、複数枚の連写画像のＹＵＶ画像データを画素毎に加算平均して合成すれば、ノイズを低減することができる。複数枚Ｎの連写画像のＹＵＶ画像データ加算平均の式［１］〜［３］を下記に示す。尚、Y_result、 U_result、及び、V_resultは、画素の輝度色差パラメータ夫々の合成後の情報を示すものである。
Y_result = (Y[0] + Y[1] + ・・・ + Y [N]) / N ・・・式［１］
U_result = (U[0] + U[1] + ・・・ + U [N]) / N ・・・式［２］
V_result = (V[0] + V[1] + ・・・ + V [N]) / N ・・・式［３］

無論、複数枚の連写画像を用いたノイズ低減効果のある合成方法であれば、加算平均に限らず他の処理方法であってもよい。そして、このノイズ低減した全連写画像の合成画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＡ１０）。

したがって、このステップＳ１０８の処理を終了した時点において、ＲＡＭ８には図４に示すように、下記の画像データが一旦保存されることとなる。
（１）連写された６枚の非フラッシュ画像Ｐ１〜Ｐ６のＹＵＶ画像データ
（２）１枚のフラッシュ画像Ｐ７のＹＵＶ画像データ
（３）１枚の判定用非フラッシュ画像Ｐ８のＹＵＶ画像データ
（４）８枚の非フラッシュ画像Ｐ１〜Ｐ６を合成した１枚の合成画像Ｐ９のＹＵＶ画像データ
なお、図４に示した例は、ビル等の建物が背景被写体Ａ，Ｂとして存在する夜景内に、顔Ｄを有する人物である主要被写体Ｃが存在する画像である。また、（２）フラッシュ画像Ｐ９においては、背景被写体Ａ，Ｂにはフラッシュ光が到達せず、主要被写体Ｃにのみフラッシュ光が到達したものとして、主要被写体Ｃのみを描いてある。

そして、１枚のフラッシュ画像Ｐ７のＹＵＶ画像データと、６枚の非フラッシュ画像を合成した１枚の合成画像Ｐ９のＹＵＶ画像データとを合成するための処理を次ステップＡ１１のフラッシュ判定・αブレンディング処理を含ませて行う。

図３は、フラッシュ判定・αブレンディング処理（ステップＡ１１）の処理手順を示すフローチャートである。なお、この図３に示すフローチャートの説明に際しては、下記の式、符号あるいは関数を用いる。
Y_Flash_On ：前記（２）のフラッシュ画像Ｐ７のＹＵＶ画像データにおけるＹ（輝度）
Y_Flash_Off_Judge ：前記（３）の判定用非フラッシュ画像Ｐ８のＹＵＶ画像データにおけるＹ（輝度）
fLpf()：平滑化関数（エッジ保存型が望ましい）
fEmphasis()：マップ強調関数

図３のフローチャートにおいて、制御部９は下記式［４］に示すようにフラッシュレベル（Flash_Lev）を求める（ステップＢ１）
Flash_Lev = (Y_Flash_On − Y_Flash_Off_Judge) ・・・式［４］
つまり、前記フラッシュ画像Ｐ７のＹＵＶ画像データにおけるＹと、前記判定用非フラッシュ画像Ｐ８のＹＵＶ画像データにおけるＹとの差を画素毎に求めて、その差分をフラッシュレベルとする。

次に、このステップＢ１で求めたフラッシュレベル（Flash_Lev）において、下記式［５］に示すように０以下をクリップする（ステップＢ２）。
Flash_Lev = fMax(Flash_Lev, 0) ・・・式［５］
したがって、このステップＢ２での処理より、フラッシュレベル（Flash_Lev）の各画素に対応する値は正の値のみとなる。

更に、下記式［６］で示すように、平滑化処理を実行する（ステップＢ３）。
Flash_Lev _Lpf = fLpf Flash_Lev) ・・・式［６］

このステップＢ３における平滑化は、ランダムノイズの影響を少なくするためと、フラッシュ判定マップを滑らかにすることで合成後の境界の不自然さを減らすためである。この際、平滑化に使用するフィルタは、単純なローパスフィルタ（ＬＰＦ）ではなく、εフィルタやバイラテラルフィルタなど「エッジ保存型」と言われるフィルタを使用する方が良い。エッジ保存型では、フラッシュ判定の差が小さい部分はなだらか平滑化し、フラッシュ判定の差が大きい部分の平滑化は最小限に抑えることができる。これにより、合成後のフラッシュ判定境界部の不要な色の混ざりを抑制することができる。
このステップＢ３での平滑化処理により、図５（ａ）に示すように、フラッシュ判定マップＭが生成されることとなる。このフラッシュ判定マップＭにおいて、横線で示した部分は、α＝０であって全透過させる領域であり、白抜き部分は、α＝２５５であって不透過とする領域である。

引き続き、下記式［７］で示すように、強調処理を行って前記フラッシュ判定マップＭのコントラストをアップさせる（ステップＢ４）。
Map_Flash = fEmphasis (Flash_Lev _Lpf) ・・・式［７］
このステップＢ４での強調処理は、フラッシュ判定領域とそうではない領域をより明確に区別させるのを目的としている。このステップＢ４での強調処理により、図５（ｂ）に示すように、フラッシュ判定マップＭにおいて人物である主要被写体Ｃ領域のコントラストがアップされる。

そして、最終的にフラッシュ判定マップＭをαマップとして用いて、前述した
（２）１枚のフラッシュ画像Ｐ７のＹＵＶ画像データ
（４）６枚の非フラッシュ画像を合成した１枚の合成画像Ｐ９のＹＵＶ画像データ
を合成する（ステップＳＢ５）。

つまり、
Y_Flash_On, U_Flash_On,V_Flash_On ・・・式［８］：１枚のフラッシュ画像Ｐ７のＹＵＶ
Y_Flash_Off, U_Flash_Off,V_Flash_Off ・・・式［９］：８枚の非フラッシュ画像を合成した１枚の合成画像Ｐ９のＹＵＶ

とすると、合成された各画素のＹＵＶの各パラメータ（Ｙ＿ｒｅｓｕｌｔ，Ｕ＿ｒｅｓｕｌｔ，Ｖ＿ｒｅｓｕｌｔ）は下記式［１０］〜［１２］で表現される。

Y_result = (Y_Flash_Off ×(255 − Map_Flash) + Y_Flash_On × Map_ Flash) / 255 ・・・式［１０］
U_result = (U_Flash_Off ×(255 − Map_Flash) + U_Flash_On × Map_ Flash) / 255 ・・・式［１１］
V_result = (V_Flash_Off ×(255 − Map_Flash) + V_Flash_On × Map_ Flash) / 255 ・・・式［１２］
これにより、図５（ｃ）に示すように、建物が背景被写体Ａ，Ｂとして存在する夜景内に、顔Ｄを有する人物である主要被写体Ｃが存在する合成画像Ｐ１０を表すＹＵＶ画像データが生成されることとなる。

ここで、図４（４）は、前述のように連写された画像を単に平均加算処理した合成画像Ｐ９である。このように、連写された画像を単に平均加算処理した合成画像Ｐ９にあっては、全体的に暗く主要被写体Ｃが際立つものではなく、また熱ノイズのある低品位の画像となる。これに対し、本実施の形態によれば、図５（ｃ）に示すように、建物が背景被写体Ａ，Ｂとして存在する夜景内に、顔Ｄを有する人物である主要被写体Ｃが存在する画像において、背景被写体Ａ，Ｂと主要被写体Ｃとの双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。

しかも前述のように、ステップＳ２０４で平滑化処理を行うことから、合成による主要被写体と背景との境界線をより自然なものにすることができる。

また、前述のステップＳ２０５では、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。

以上のようにして、合成画像Ｐ１０を表すＹＵＶ画像データを生成することにより、図２のフローチャートにおけるフラッシュ判定・ブレンディング処理（ステップＡ１１）を完了したならば、完成画像である合成画像ＰＭのＹＵＶ画像データを、ＪＰＥＧ方式で符号化しファイル化して、画像記録部６に記録保存し（ステップＡ１２）、処理を終了する。

なお、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよく、この他、種々の色空間で表現された画像データを用いることができる（尚、ＲＧＢの場合は、ＲＧＢそれぞれのパラメータについて、差分二乗を算出する）。

１撮像部
２駆動制御部
３ＣＤＳ／ＡＤＣ
４キー入力部
５表示部
６画像記録部
７プログラムメモリ
８ＲＡＭ
９制御部
１０画像処理部
１１合成部
１２ストロボフラッシュ発光部
４１シャッターキー

Claims

撮像手段と、
発光手段と、
前記撮像手段と前記発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得手段と、
この画像取得手段によって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得手段と、
この差分取得手段によって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディング手段と、
を備えたことを特徴とする撮像装置。
前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、この平均化された情報について更にコントラストを上げる処理を実行することを特徴とする請求項１記載の撮像装置。
前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、これ平均化された情報について更に平滑化処理を実行することを特徴とする請求項１又は２記載の撮像装置。
前記撮像画角には、人物の顔画像が含まれることを特徴とする請求項１乃至３の何れか記載の撮像装置。
撮像手段と発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得ステップと、
この画像取得ステップによって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得ステップと、
この差分取得ステップによって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディングステップと、
を含むことを特徴とする撮像方法。
撮像手段と発光手段とを備える撮像装置が有するコンピュータを、
前記撮像手段と前記発光手段とを駆動させ、略同一の撮像画角において、前記発光手段による発光時以外で時間的に連続する複数の画像、前記発光手段による発光時の画像、及び、前記発光手段による発光時以外の画像を取得する画像取得手段、
この画像取得手段によって取得された前記発光時の画像と前記発光時以外の画像との輝度差分を取得する差分取得手段、
この差分取得手段によって取得された輝度差分を透過強度の情報として、前記時間的に連続する複数の画像と前記発光時の画像とを合成画像にブレンディングするブレンディング手段、
として機能させることを特徴とするプログラム。