JP4861109B2 - 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 - Google Patents

Description

本発明は、連写などによって得られた複数枚の画像データを処理する画像処理装置および撮像装置に関する。

携帯電話、等に内蔵されるディジタルカメラ（撮像装置）を用いて撮影を行う場合、例えば、携帯電話を持つ手が露光時間の間にぶれることで、その手ぶれの影響が取り込む画像に生じる。この手ぶれによる影響を抑えるために、取り込んだ画像に対して、手ぶれ補正を行っている。

手ぶれ補正処理においては、連写して取り込んだ複数枚（Ｎ枚）の画像データに対して合成処理を行って１枚の合成画像を得ている。この合成処理の方法として従来は、以下に示すような方法が知られている。
（１）１枚目に取り込んだ画像をベース画像とし、その１枚目のベース画像に対して、２枚目〜Ｎ枚目の画像を順次合成する方法
（２）ｍ枚目（例えば、ｍ＝Ｎ／２）に取り込んだ画像をベース画像とし、そのｍ枚目のベース画像に対して、他の画像を順次合成する方法
上記（１）の方法の場合、手ぶれは通常ある方向に発生することから、１枚目からＮ枚目に向かって枚数を重ねるにつれて、ベースとする１枚目の画像と重ね合わせ対象画像とのずれが大きくなり、重ね合わせ性能が低下するという問題がある。

また、上記（２）の方法において、例えば、ｍ＝Ｎ／２枚目に取り込んだ画像をベース画像とした場合、１枚目をベース画像とした場合やＮ枚目をベース画像とした場合と比較し、ずれ量は約１／２になることが期待されるので、重ね合わせ性能は向上する。しかし、ｍ枚目が重ね合わせのベース画像となっているため、ユーザがシャッターボタンを押下した時点の画像を取り込んだと考えている場合に、シャッターを押した時点の画像と、合成時にベースとして使用する画像の時間的ずれが増加し、ユーザが望んでいる画像からのずれが大きくなるという問題がある。

なお、手ぶれ補正技術としては、様々な技術が知られている。
例えば、特許文献１では、ぶれ補正モードと非ぶれ補正モードの２つのモードを備える電子カメラが示されている。この電子カメラでは、撮影準備期間中（非ぶれ補正モード時）に、ＣＣＤの各露光期間にのみぶれ補正を行い、画素データの出力期間にはぶれ補正を行わないようにしている。

また、特許文献２では、ぶれ撮影防止モードの選択時に、ミラー及びシャッタの動作速度を通常撮影モード時と変更して制御できるカメラが示されている。このカメラの撮影モード選択部は、ぶれ防止撮影モード、通常撮影モード等のカメラの撮影モードの選択を行う。また、駆動速度変更部は、撮影モード選択部の選択結果を基に、ミラー及びシャッタの露光開始時の駆動速度の変更指示を、ミラー駆動部およびシャッタ駆動部に出力する。
特開２００３−３３３４１４号公報 「電子カメラ」 特開平７−２８１４９号公報 「カメラのぶれ防止装置」

本発明の課題は、取り込んだ複数枚の画像データから、より精度の高い合成画像を得ることを可能とした画像データ処理装置、画像データ処理方法、および、画像データ処理プログラムを提供することである。

本発明の別の課題は、ユーザが望んでいる画像からのずれを合成画像において回避することを可能とした撮像装置を提供することである。

本発明の第１態様の画像データ処理装置は、複数枚の画像データを処理する画像データ処理装置において、取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択部と、選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択部と、重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする画像データ処理装置である。

ここで、第１および第２ベース画像選択部によって、取り込んだ複数枚の画像データを合成する際の重ね合わせ領域に使用される第１ベース画像と、重ね合わせを行わない領域に使用される第２ベース画像が独立に選択される。

よって、例えば、取り込んだ複数の画像データのうちで、重ね合わせを行わない領域内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択したり、取り込んだ複数の画像データのうちで、重ね合わせを行わない領域内の人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択したりすることで、合成結果の画像データ中の重ね合わせを行わない領域の画質が向上し、より精度の高い合成画像を得ることができる。

本発明の第２態様の撮像装置は、連写して得た複数枚の画像データを処理する撮像装置において、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択部と、選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択部と、重ね合わせ結果と、前記第２ベース画像の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする撮像装置である。

ここで、第１および第２ベース画像選択部によって、取り込んだ複数枚の画像データを合成する際の重ね合わせ領域に使用される第１ベース画像と、重ね合わせを行わない領域に使用される第２ベース画像が独立に選択される。

よって、例えば、取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、ユーザがシャッターボタンの押下時の画像が取り込めたと考えている場合に、ユーザが望んでいる画像からのずれを合成画像において回避することができる。また、取り込まれた複数の画像データ中のシャッター音と同一タイミングで撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、ユーザがシャッター音時の画像が取り込めたと考えている場合に、ユーザが望んでいる画像からのずれを合成画像において回避することができる。

本発明の画像データ処理装置によれば、取り込んだ複数枚の画像データから、より精度の高い合成画像を得ることができる。
また、本発明の撮像装置によれば、ユーザが望んでいる画像からのずれを合成画像において回避することができる。

以下では、複数の画像を合成して１枚の画像を生成する分野として手ぶれ補正を取り上げる。しかし、手ぶれ補正以外の同様の処理を行う分野にも本発明は適用可能である。
手ぶれ補正時に行なう画像の合成では、特定の被写体を連写して、連写した各画像を位置合わせ（ずれ補正）して１枚の画像を合成する。

合成結果の画像には、連写して取り込んだ複数枚の画像の同一位置の画素の画素値を平均化した画素で構成される領域（重ね合わせ領域）もあれば、連写して取り込んだ複数枚の画像のうちの１枚の画像の同一位置の画素を例えば整数倍した画素で構成される領域（重ね合わせを行わない領域）もある。すなわち、合成結果の画像は、重ね合わせを行う領域（例えば、連写枚数が３枚の場合、３枚の画像の合成により生成された領域）と、重ね合わせを行わない領域（１枚の画像の情報のみから生成された領域）が混在する画像になる。

図１は、本発明の重ね合わせ領域の検出方法を説明する図である。
図１において、画像１〜画像３の３枚の画像に対し、単純に合成すると、画像４のように、多重化した画像が生じる。

そこで、ずれ補正して位置合わせをした後に、画像間の同一位置の画素値の差分を算出し、その差分が閾値以上の部分を動き領域（重ね合わせを行わない領域）とする。例えば、画像５では、動き領域が「白」、非動き領域（重ね合わせ領域）が「黒」で表示されている。

本発明の特徴は、動き領域と非動き領域でベースとする画像を独立に選択することにある。例えば、動き領域では画像２、非動き領域では画像１〜画像３を合成したものを使用した場合、画像６のような画像が画像１〜画像３の合成結果として得られる。

続いて、本発明の各実施形態で用いられる撮像装置およびその撮像装置内の補正処理部の構成について説明する。
図２は、本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。

図２において、撮像装置１０は、レンズ１１、イメージセンサ１２、撮影制御部１３、ＡＧＣ（Auto Gain Control）回路１６、ＡＤ変換器（Analog Digital Converter、ＡＤＣ）１７、画像処理部（イメージシグナルプロセッサ（ＩＳＰ）ともいう）１８、画像保持部２２、補正処理部２３、を備える。

レンズ１１は、撮像対象（被写体）からの光をイメージセンサ１２上に集光する。
イメージセンサ１２は、撮像対象からレンズ１１を介して受光された光を電荷に光電変換して蓄積する受光部（不図示）と、蓄積された電荷を光電変換データとして出力する信号出力部（不図示）を備える。

ＡＧＣ回路１６は、イメージセンサ１２から出力された光電変換データのゲインを制御する。
ＡＤＣ１７は、ゲインが制御された光電変換データをアナログからディジタルに変換する。

画像処理部１８は、ＡＤ変換器１７の出力を基に、画像データを生成する。すなわち、画像処理部１８は、ＡＤＣ１７から入力した信号（「生データ」ともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等を行う。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。

撮影制御部１３は、撮影指示に対応して、撮像対象に対して算出された露光制御情報を含む制御信号をイメージセンサ１２に出力して、そのイメージセンサ１２による撮像処理（上記受光部および上記信号出力部による処理）を介して、複数枚の画像データを取り込む。

イメージセンサ１２による撮像処理を介して取り込まれた複数枚の画像データは、画像処理部１８を介して画像保持部２２に格納される。
補正処理部２３は、画像保持部２２に格納された複数枚の画像データを読み込んで、それらを基に手ぶれ補正された（合成された）１枚の画像データを生成し、その生成された画像データを、後段の画像データ格納用メモリ（不図示）に出力する。補正処理部２３の動作は、それぞれの実施形態で異なる。

撮影制御部１３、画像処理部１８、補正処理部２３がプログラムとして実現される場合、撮影制御部１３、画像処理部１８の処理を実行する中央処理装置（Central Processing Unit、ＣＰＵ）と、補正処理部２３の処理を実行するＣＰＵとは一致してもよいし、別でもよい。

図３は、本発明における補正処理部の原理構成図であるとともに、本発明の第１および第２実施形態における補正処理部の構成を示すブロック図である。
図３において、補正処理部３０は、第１ベース画像選定部３１、ずれ量算出部３２、重ね合わせ領域検出部３３、画像重ね合わせ部３４、第２ベース画像選定部３６、画像合成部３８を備える。

第１ベース画像選定部３１は、補正処理部３０の前段の画像保持部２２に保持される複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する。

ずれ量算出部３２は、選択された重ね合わせの第１ベース画像と、画像保持部２２に保持される複数の画像データのうちの他画像データとのずれ量を算出する。
重ね合わせ領域検出部３３は、選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出する。

画像重ね合わせ部３４は、検出された重ね合わせ領域に対する重ね合わせを実行する。
第２ベース画像選定部３６は、画像保持部２２に保持される複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する。

画像合成部３８は、重ね合わせ結果と、第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを後段に出力する。
図４は、本発明の撮影処理および画像処理の概要を示すフローチャートである。このフローチャートは、図２の各部および図３の各部によって実行される。

図４において、まず、ステップＳ１０１で、連写画像の撮影が行われる。ここでは、その概要を以下に説明する。
まず、ユーザの撮影指示（例えば、シャッターボタンの押下）に対応して、図２の撮影制御部１３によって、撮像対象に対して算出された露光制御情報を含む制御信号がイメージセンサ１２に出力される。そして、イメージセンサ１２による撮像処理（受光部および信号出力部による処理）を介して、１枚の画像データが取り込まれる。すなわち、イメージセンサ１２によって、撮像対象からレンズ１１を介して受光された光が電荷に光電変換されて蓄積されるとともに、その蓄積された電荷が光電変換データとして画像処理部１８に出力される。

画像処理部１８は、受け取った光電変換データを基に、（撮影）画像データを生成する。すなわち、画像処理部１８によって、光電変換データ（入力信号、生データともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等が行われる。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。そして、画像処理部１８によって生成された画像データが画像保持部２２に格納される。このような処理が連写で取り込む画像の枚数分行なわれる。

続く、ステップＳ１０２では、図３の第１ベース画像選定部３１によって、画像保持部２２に保持される複数の画像データ中の１枚の画像データが、重ね合わせを行う際に使用する第１ベース画像として選択される。

ステップＳ１０３では、ずれ量算出部３２によって、選択された第１ベース画像と、画像保持部２２に保持される複数の画像データのうちの他の１枚の画像データ（重ね合わせ対象画像）とのずれ量が算出される。例えば、図１に示すような連写画像であれば、車が移動しているところを連写した画像であるので、それぞれの画像において車の位置が変化している。しかし、（図１の各画像からは定かではないが）車の背景となる、例えば、遠方に見える山や森などは、手ぶれの影響により少しずつずれてはいるものの、車の位置の各画像における変化に比べると殆ど無視できる程度にしかずれていない。背景となる部分が画像間でどれだけずれているかを、ステップＳ１０３でずれ量として算出している。画像間のずれ量が分かれば、画像間の対応する画素が判明する。

ステップＳ１０４では、重ね合わせ領域検出部３３によって、算出されたずれ量を用いてずれ補正することで、第１ベース画像と重ね合わせ対象画像との位置合わせが行われ、対応する画素間の差分が算出される。そして、算出された差分値が閾値未満の画素については、重ね合わせることが可能であると判断され、その差分値が閾値未満の画素の集まりとして第１ベース画像と重ね合わせ対象画像との重ね合わせ領域が検出される。

ステップＳ１０５では、画像重ね合わせ部３４によって、検出された重ね合わせ領域に対する重ね合わせが実行される。この結果、第１ベース画像上の重ね合わせ領域に、重ね合わせ対象画像の対応部分の画素が重ね合わせられる。

ステップＳ１０６では、所定枚数分についての処理が終了したかどうかが判定される。例えば、連写で３枚の画像を取り込んだ場合で、２枚目の画像を第１ベース画像に設定した場合、２枚目と１枚目、２枚目と３枚目について重ね合わせが実行されるので、この所定枚数は２枚となる。

ステップＳ１０６で所定枚数分についての処理が終了していないと判定された場合、ステップＳ１０３に戻る。
一方、ステップＳ１０６で所定枚数分についての処理が終了したと判定された場合、ステップＳ１０７において、第２ベース画像選定部３６によって、画像保持部２２に保持される複数の画像データ中の１枚の画像データが、重ね合わせを行わない領域に使用する第２ベース画像として選択される。なお、ステップＳ１０３〜Ｓ１０５の処理は複数回実行されるが、第１ベース画像とそれぞれの重ね合わせ対象画像との共通部分が最終的な重ね合わせ領域として検出され、その最終的な重ね合わせ領域に対して、それ以外の領域、すなわち、重ね合わせを行わない領域（動き領域）が求められることになる。

ステップＳ１０８では、画像合成部３８によって、重ね合わせ結果（例えば、重ね合わせ処理が行われた後の第１ベース画像）と、第２ベース画像中の重ね合わせを行わない領域とが合成されるとともに、合成結果の画像データが後段に出力される。

図５は、本発明の第１実施形態における撮影処理および画像処理を示すフローチャートである。このフローチャートは、図２の各部および図３の各部によって実行される。
なお、ステップＳ１０１〜Ｓ１０６については、図４と同様であるので説明を省略する。

なお、ここでは、ステップＳ１０２において、予め定められたｎ枚目の画像データを第１ベース画像として選択しているが、第１ベース画像の選択方法としてはこれ以外の方法を用いることも可能である。

（ステップＳ１０６において所定枚数分についての処理が終了したと判定された場合、）ステップＳ２０１において、第２ベース画像選定部３６によって、画像保持部２２に保持される複数の画像データ中の１枚目に撮影した画像に対応する画像データが、重ね合わせを行わない領域に使用する第２ベース画像として選択される。

続く、ステップＳ２０２では、画像合成部３８によって、重ね合わせ結果（例えば、重ね合わせ処理が行われた後の第１ベース画像）と、第２ベース画像中の重ね合わせを行わない領域とが合成されるとともに、合成結果の画像データが後段に出力される。

第１実施形態では、取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、ユーザがシャッターボタンの押下時の画像が取り込めたと考えている場合に、ユーザが望んでいる画像からのずれを合成画像において回避することができる。

図６は、本発明の第２実施形態における撮影処理および画像処理を示すフローチャートである。このフローチャートは、図２の各部および図３の各部によって実行される。
なお、ステップＳ１０１〜Ｓ１０６については、図４と同様であるので説明を省略する。

（ステップＳ１０６において所定枚数分についての処理が終了したと判定された場合、）ステップＳ３０１において、第２ベース画像選定部３６によって、画像保持部２２に保持される複数の画像データ中のシャッター音と同一タイミングで撮影した画像に対応する画像データが、重ね合わせを行わない領域に使用する第２ベース画像として選択される。

続く、ステップＳ３０２では、画像合成部３８によって、重ね合わせ結果（例えば、重ね合わせ処理が行われた後の第１ベース画像）と、第２ベース画像中の重ね合わせを行わない領域とが合成されるとともに、合成結果の画像データが後段に出力される。

第２実施形態では、取り込まれた複数の画像データ中のシャッター音と同一タイミングで撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、ユーザがシャッター音時の画像が取り込めたと考えている場合に、ユーザが望んでいる画像からのずれを合成画像において回避することができる。

続いて、第３実施形態について説明する。
図７は、本発明の第３実施形態における第２ベース画像選定部（重ね合わせを行わない領域用ベース画像選定部）の構成を示すブロック図である。

図７において、第２ベース画像選定部４１は、ぶれ量算出部４２を内蔵している。
ぶれ量算出部４２は、画像保持部２２が保持する複数枚の画像データ中の、第２ベース画像選定部４１から通知された重ね合わせを行わない領域に対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）を検出し、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理を行ってベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量を算出する。

さらに、ぶれ量算出部４２は、画像保持部２２が保持する複数枚の画像データに対して検出されたエッジ部分の解像度を算出し、それら複数枚の画像データのうちで、最も解像度が高い画像データを識別する情報を第２ベース画像選定部４１に通知する。

第２ベース画像選定部４１は、ぶれ量算出部４２から通知された情報によって特定された画像データを、重ね合わせを行わない領域に使用するベース画像として選択する。
図８は、本発明の第３実施形態における撮影処理および画像処理を示すフローチャートである。このフローチャートは、図２の各部、図３の各部、および図７の各部によって実行される。

なお、ステップＳ１０１〜Ｓ１０６については、図４と同様であるので説明を省略する。
（ステップＳ１０６において所定枚数分についての処理が終了したと判定された場合、）ステップＳ４０１において、図７のぶれ量算出部４２によって、画像保持部２２が保持する複数枚の画像データ中の、第２ベース画像選定部４１から通知された重ね合わせを行わない領域に対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出され、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理が行われてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。また、ぶれ量算出部４２によって、さらに、画像保持部２２が保持する複数枚の画像データに対して検出されたエッジ部分の解像度が算出され、それら複数枚の画像データのうちで、最も解像度が高い画像データを識別する情報が第２ベース画像選定部４１に通知される。

続く、ステップＳ４０２では、図７の第２ベース画像選定部４１によって、ぶれ量算出部４２から通知された情報によって特定された画像データが、重ね合わせを行わない領域に使用するベース画像として選択される。

そして、ステップＳ４０３において、図３の画像合成部３８によって、重ね合わせ結果（例えば、重ね合わせ処理が行われた後の第１ベース画像）と、第２ベース画像中の重ね合わせを行わない領域とが合成されるとともに、合成結果の画像データが後段に出力される。

以上の説明では、ぶれ量算出部４２は、画像保持部２２が保持する複数枚の画像データに対してエッジを検出していたが、特徴点を検出するようにしてもよい。
この場合、図７の各部の行う処理は以下のようになる。

ぶれ量算出部４２は、画像保持部２２が保持する複数枚の画像データ中の、第２ベース画像選定部４１から通知された重ね合わせを行わない領域に対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）を検出するとともに、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを特徴点として抽出する。そして、連写で取り込んだ各画像データ間でその特徴点部分がどちらの方向にどれだけ移動したかという追跡処理を行い、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量を算出する。

さらに、ぶれ量算出部４２は、画像保持部２２が保持する複数枚の画像データに対して検出された特徴点部分の解像度を算出し、それら複数枚の画像データのうちで、最も解像度が高い画像データを識別する情報を第２ベース画像選定部４１に通知する。

第２ベース画像選定部４１は、ぶれ量算出部４２から通知された情報によって特定された画像データを、重ね合わせを行わない領域に使用するベース画像として選択する。
第３実施形態では、取り込んだ複数の画像データのうちで、重ね合わせを行わない領域内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、合成結果の画像データ中の重ね合わせを行わない領域の画質が向上し、より精度の高い合成画像を得ることができる。

続いて、第４実施形態について説明する。
図９は、本発明の第４実施形態における第２ベース画像選定部（重ね合わせを行わない領域用ベース画像選定部）の構成を示すブロック図である。

図９において、第２ベース画像選定部５１は、顔認識部５２を内蔵している。
顔認識部５２は、まず、画像保持部２２が保持する複数枚の画像データ中の、第２ベース画像選定部５１から通知された重ね合わせを行わない領域に対して、顔の探索領域の検出を行なう。すなわち、画像データから色情報として肌色領域を抽出し、その肌色領域の形・面積が顔の領域としての条件を満たしている場合に、その抽出した肌色領域を顔の探索領域とする。

次に、顔認識部６１は、顔の要素（右眉、左眉、右目、左目、鼻孔、口）の候補となる顔特徴点の抽出を行う。検出された顔の探索領域から、例えば、以下に該当する領域を顔特徴点として抽出する。
１．水平に細長い領域
２．楕円のような形状をしており、色が赤い領域
３．輝度値が肌色領域の輝度値よりも暗い領域
例えば、水平に細長く、輝度値が暗くて変化が小さい顔特徴点は眉や閉じた目とみなせる。また、楕円のような形状をしており、楕円の中有新部分の暗い領域が回りの２つの明るい領域に挟まれている顔特徴点は開いた目とみなせる。また、楕円のような形状をしており、色情報がやや赤に近い顔特徴点は口とみなせる。

さらに、顔認識部５２は、画像保持部２２が保持する複数枚の画像データ中の両目が検出された画像データのうちで、その両目の開き具合が最も大きい画像データを識別する情報を第２ベース画像選定部５１に通知する。

第２ベース画像選定部５１は、顔認識部５２から通知された情報によって特定された画像データを、重ね合わせを行わない領域に使用するベース画像として選択する。
なお、画像保持部２２が保持する複数枚の画像データ中の重ね合わせを行わない領域のすべてが人物の顔を含んでいない場合などもありうる。このような場合は、顔認識部５２は、両目が開かれた画像を検出できなかった旨を第２ベース画像選定部５１に通知する。

両目が開かれた画像を検出できなかった旨を通知された第２ベース画像選定部５１が行う処理は特に限定しないが、例えば、第１実施形態〜第３実施形態の処理を行うようにしてもよい。

図１０は、本発明の第４実施形態における撮影処理および画像処理を示すフローチャートである。このフローチャートは、図２の各部、図３の各部、および図８の各部によって実行される。

なお、ステップＳ１０１〜Ｓ１０６については、図４と同様であるので説明を省略する。
（ステップＳ１０６において所定枚数分についての処理が終了したと判定された場合、）ステップＳ５０１において、図８の顔認識部５２によって、画像保持部２２が保持する複数枚の画像データ中の、第２ベース画像選定部５１から通知された重ね合わせを行わない領域に対して、顔の探索領域の検出が行なれ、人物の顔が含まれているかどうかが判定される。

ステップＳ５０１で顔認識部５２によって人物の顔が含まれていると判定された場合、ステップＳ５０２において、顔認識部５２によって、画像保持部２２が保持する複数枚の画像データ中の両目が検出された画像データのうちで、その両目の開き具合が最も大きい画像データを識別する情報が第２ベース画像選定部５１に通知される。また、第２ベース画像選定部５１によって、顔認識部５２から通知された情報によって特定された画像データが、重ね合わせを行わない領域に使用するベース画像として選択される。そして、ステップＳ５０４に進む。

一方、ステップＳ５０１で顔認識部５２によって人物の顔が含まれていないと判定された場合、ステップＳ５０３において、画像保持部２２に保持される複数の画像データ中の１枚目に撮影した画像に対応する画像データが、重ね合わせを行わない領域に使用する第２ベース画像として選択される。そして、ステップＳ５０４に進む。

ステップＳ５０４では、図３の画像合成部３８によって、重ね合わせ結果（例えば、重ね合わせ処理が行われた後の第１ベース画像）と、第２ベース画像中の重ね合わせを行わない領域とが合成されるとともに、合成結果の画像データが後段に出力される。

なお、以上の説明では、人物の顔が含まれていないと判定された場合の処理（ステップＳ５０３の処理）を、第１実施形態の処理としたが、第２、第３実施形態の処理や、それ以外のベース画像の選定方法をステップＳ５０３の処理とすることも可能である。

第４実施形態では、取り込んだ複数の画像データのうちで、重ね合わせを行わない領域内の人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することで、合成結果の画像データ中の重ね合わせを行わない領域の画質が向上し、より精度の高い合成画像を得ることができる。

図１１は、記憶媒体例を示す図である。
本発明の複数枚の画像データの合成処理は、画像データ処理装置８１によって実現することが可能である。本発明の処理のためのプログラムやデータは、画像データ処理装置８１の記憶装置８５から画像データ処理装置８１のメモリにロードして実行することも、可搬型記憶媒体８３から画像データ処理装置８１のメモリにロードして実行することも、外部記憶装置８２からネットワーク８６を介して画像データ処理装置８１のメモリにロードして実行することも可能である。

本発明は下記構成でもよい。
（付記１） 複数枚の画像データを処理する画像データ処理装置において、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択部と、
選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択部と、
重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする画像データ処理装置。
（付記２） 前記第２ベース画像選択部は、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することを特徴とする付記１記載の画像データ処理装置。
（付記３） 前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記２記載の画像データ処理装置。
（付記４） 前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記２記載の画像データ処理装置。
（付記５） 取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識部をさらに備え、
前記第２ベース画像選択部は、前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記１記載の画像データ処理装置。
（付記６） 連写して得た複数枚の画像データを処理する撮像装置において、
撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択部と、
選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択部と、
重ね合わせ結果と、前記第２ベース画像の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする撮像装置。
（付記７） 前記第２ベース画像選択部は、取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することを特徴とする付記６記載の撮像装置。
（付記８） 前記第２ベース画像選択部は、取り込まれた複数の画像データ中のシャッター音と同一タイミングで撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することを特徴とする付記６記載の撮像装置。
（付記９） 複数枚の画像データを処理する画像データ処理方法において、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択ステップと、
選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択ステップと、
重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を備えることを特徴とする画像データ処理方法。
（付記１０） 前記第２ベース画像選択ステップにおいて、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することを特徴とする付記９記載の画像データ処理方法。
（付記１１） 前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記１０記載の画像データ処理方法。
（付記１２） 前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記１０記載の画像データ処理方法。
（付記１３） 取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識ステップをさらに備え、
前記第２ベース画像選択ステップにおいて、前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記９記載の画像データ処理方法。
（付記１４） 複数枚の画像データをコンピュータに処理させる画像データ処理プログラムにおいて、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として選択する第１ベース画像選択ステップと、
選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択する第２ベース画像選択ステップと、
重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を前記コンピュータに実行させることを特徴とする画像データ処理プログラム。
（付記１５） 前記第２ベース画像選択ステップにおいて、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第２ベース画像として選択することを特徴とする付記１４記載の画像データ処理プログラム。
（付記１６） 前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記１５記載の画像データ処理プログラム。
（付記１７） 前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記１５記載の画像データ処理プログラム。
（付記１８） 取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識ステップをさらに備え、
前記第２ベース画像選択ステップにおいて、前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記１４記載の画像データ処理プログラム。

本発明の重ね合わせ領域の検出方法を説明する図である。 本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。 本発明における補正処理部の原理構成図であるとともに、本発明の第１および第２実施形態における補正処理部の構成を示すブロック図である。 本発明の撮影処理および画像処理の概要を示すフローチャートである。 本発明の第１実施形態における撮影処理および画像処理を示すフローチャートである。 本発明の第２実施形態における撮影処理および画像処理を示すフローチャートである。 本発明の第３実施形態における第２ベース画像選定部（重ね合わせを行わない領域用ベース画像選定部）の構成を示すブロック図である。 本発明の第３実施形態における撮影処理および画像処理を示すフローチャートである。 本発明の第４実施形態における第２ベース画像選定部（重ね合わせを行わない領域用ベース画像選定部）の構成を示すブロック図である。 本発明の第４実施形態における撮影処理および画像処理を示すフローチャートである。 記憶媒体例を示す図である。

符号の説明

１０ 撮像装置
１１ レンズ
１２ イメージセンサ
１３ 撮影制御部
１６ ＡＧＣ回路
１７ ＡＤＣ
１８ 画像処理部（ＩＳＰ）
２２ 画像保持部
２３、３０、４１、５１ 補正処理部
３１ 第１ベース画像選定部
３２ ずれ量算出部
３３ 重ね合わせ領域検出部
３４ 画像重ね合わせ部
３６ 第２ベース画像選定部
３８ 画像合成部
４２ ぶれ量算出部
５２ 顔認識部

Claims (4)

1. 複数枚の画像データを処理する画像データ処理装置において、
   取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として、重ね合わせを行わない領域に使用する第２ベース画像とは独立して選択する第１ベース画像選択部と、
   前記選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
   前記選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
   前記取り込まれた複数の画像データ中の１枚の画像データであって前記取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として、前記第１ベース画像とは独立して選択する第２ベース画像選択部と、
   前記画像重ね合わせ部による重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、
   を備えることを特徴とする画像データ処理装置。
2. 連写して得た複数枚の画像データを処理する撮像装置において、
   撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
   前記光電変換データを基に、画像データを生成する画像データ生成部と、
   撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
   取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として、重ね合わせを行わない領域に使用する第２ベース画像とは独立して選択する第１ベース画像選択部と、
   前記選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
   前記選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
   前記取り込まれた複数の画像データ中の１枚の画像データであって前記取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として、前記第１ベース画像とは独立して選択する第２ベース画像選択部と、
   前記画像重ね合わせ部による重ね合わせ結果と、前記第２ベース画像の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、
   を備えることを特徴とする撮像装置。
3. 複数枚の画像データを処理する画像データ処理方法において、
   取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として、重ね合わせを行わない領域に使用する第２ベース画像とは独立して選択する第１ベース画像選択ステップと、
   前記選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
   前記選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
   前記取り込まれた複数の画像データ中の１枚の画像データであって前記取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として、前記第１ベース画像とは独立して選択する第２ベース画像選択ステップと、
   前記画像重ね合わせステップによる重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を備えることを特徴とする画像データ処理方法。
4. 複数枚の画像データをコンピュータに処理させる画像データ処理プログラムにおいて、
   取り込まれた複数の画像データ中の１枚の画像データを、重ね合わせを行う際に使用する第１ベース画像として、重ね合わせを行わない領域に使用する第２ベース画像とは独立して選択する第１ベース画像選択ステップと、
   前記選択された重ね合わせの第１ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
   前記選択された第１ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
   取り込まれた複数の画像データ中の１枚の画像データであって前記取り込まれた複数の画像データ中の１枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第２ベース画像として、前記第１ベース画像とは独立して選択する第２ベース画像選択ステップと、
   前記画像重ね合わせステップによる重ね合わせ結果と、前記第２ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を前記コンピュータに実行させることを特徴とする画像データ処理プログラム。