JP5108093B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、フラッシュを照射して被写体を撮影するときに、被写体の色及び影が自然光下で撮影したときと同等になるように撮影できる撮像装置及び撮像方法に関するものである。

近年、コンパクト電子カメラが普及し、従来に比べて撮影が手軽になっている。そのため、撮影者は、電子カメラを持ち歩き、昼間の屋外だけでなく、室内又は夜間でも撮影することが多くなった。昼間の屋外は明るいため、オート撮影を行う場合においても、シャッタースピードが速く、また、感度を必要以上に上げる必要なく撮影できる。そのため、ブレとノイズが少ない画像を撮影できる。

一方、室内又は夜間時の撮影では、明るさが暗いため、シャッタースピードを遅くすることで光量を多く得るか、感度を上げる必要がある。ただし、シャッタースピードを遅くすると、シャッターを開いている間に、被写体、又はカメラが動くと画像にブレが生じるという問題がある。また、感度を上げると、被写体のブレは減るが、画像にノイズが多く現れるという問題がある。

これらの課題を解決する方法としてフラッシュを用いた撮影方法がある。フラッシュを用いることで、近距離にある被写体に関して、昼間の屋外と同程度の明るさを得ることができるため、ブレとノイズが少ない画像を撮影可能になる。

しかし、フラッシュの動作条件の最適な設定が何であるかは、実際に被写体を撮影して結果を見るまでは判断できない。旅行先で他人に撮影をしてもらう場合のように撮影機会が限られている場合、あるいは、時々刻々と撮影環境が変化する場合には取り直しが困難であるため、１回の撮影で失敗のない撮影結果が得られることが好ましい。

例えば、特許文献１に示す技術では、フラッシュを利用して撮影する際に、フラッシュの光量パラメータ又はＩＳＯ感度の設定を変化させて撮影し、様々な明るさの画像を撮影することにより、撮影の失敗を防ぐ方法を提案している。これにより、夜間及び昼間の両方の場合においても、撮影の失敗を防ぐことが可能になる。

また、例えば、特許文献２に示す技術では、フラッシュの反射光が受光部に達したときにフラッシュを停止させることで、フラッシュの発光量を制御する方法を提案している。これにより、被写体の距離に応じて適切なフラッシュ光量の照射が可能になるので、ブレとノイズが少ない画像を撮影可能になる。

特開２００７―２６６９２６号公報 特開２０００―０５０１５２号公報

しかしながら、特許文献１及び特許文献２に示す技術では、フラッシュ光なしの自然光の下で人間が実際に知覚する色と、フラッシュ光を照射した撮影により得られた画像の色とが異なるという課題がある。なぜなら、フラッシュ光を物体に照射するため、物体本来の色である物体色にフラッシュ色が加わるためである。

以下、図２４Ａ及び図２４Ｂを用いて具体的に説明する。図２４Ａは、フラッシュ光を照射しない場合に人間が知覚する色ベクトルを示す図である。図２４Ｂは、フラッシュ光を照射した場合に人間が知覚する色ベクトルを示す図である。なお、例として、色ベクトルをＲＧＢ空間の色ベクトルとして表現する。

環境色ベクトルは、環境光の色方向と光の強度とに基づいて作られるベクトルである。物体色ベクトルは、物体の色方向と色の強度（反射率）とに基づいて作られるベクトルである。フラッシュ成分ベクトルは、フラッシュの色方向とフラッシュ光の強度とに基づいて作られるベクトルである。本来、人間は、物体の色を、物体色に環境光が加算されたものとして知覚する。図２４Ａのように、人間は、物体の色を、物体色ベクトルと環境色ベクトルとが加算された観測色ベクトルとして知覚する。

一方で、フラッシュ光を照射することにより、フラッシュ光成分が加わる。そのため、図２４Ｂに示すように、撮影される色は、物体色ベクトルと環境色ベクトルとフラッシュ成分ベクトルとの和になる。図２４Ａと図２４Ｂとを比較すると明らかなように、フラッシュ光を照射して撮影することで得られる色は、人間が自然環境下で知覚する色とは異なる。

以上のように、フラッシュ光を照射すると、ブレあるいは感度に対する課題は解決できるが、色が不自然になるという新たな課題が出てくる。

そこで、本発明は、暗い環境下においても、フラッシュ光を照射することによって十分な明るさを獲得するとともに、人間が知覚する色に近い色の画像を取得する撮像装置及び撮像方法を提供することを目的とする。

上記従来の課題を解決するため、本発明の撮像装置は、フラッシュ光を照射して被写体を撮影する撮像装置であって、フラッシュ光を被写体に照射する発光手段と、前記発光手段によるフラッシュ光の照射中に前記被写体を撮影することで、第１画像と前記第１画像より輝度の高い第２画像とを含む連写画像を取得する画像取得手段と、前記第１画像から第１色ベクトルの色情報を取得する色情報取得手段と、前記第２画像から第２色ベクトルの輝度情報を取得する輝度情報取得手段と、前記第１色ベクトルの色情報と前記第２色ベクトルの輝度情報とに対応する第３色ベクトルを生成することで、前記第１画像より輝度の高い補正画像を生成する画像生成手段とを備える。

これにより、輝度の低い画像、すなわち、フラッシュ光の影響が小さい画像から被写体の色情報を取得することができ、さらに、輝度の高い画像、すなわち、フラッシュ光の影響が大きい画像から被写体の輝度情報を取得することができる。取得した色情報は、フラッシュ光の影響が少ないために、人間が知覚する色に近い色情報である。したがって、色情報を保ちつつ輝度情報を用いて輝度を補正することで、十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

また、前記色情報取得手段は、前記第１色ベクトルから単位色ベクトルを前記色情報として算出し、前記輝度情報取得手段は、前記第２色ベクトルから色ベクトル強度を前記輝度情報として算出し、前記画像生成手段は、前記単位色ベクトルに前記色ベクトル強度を乗算することで得られる色ベクトルを前記第３色ベクトルとして生成してもよい。

これにより、簡単なベクトル演算処理を行うことで、十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

また、前記色情報取得手段は、前記画像取得手段により取得された連写画像のうち、輝度が予め定められた第１閾値以下となる画像から、輝度が最大の画像を前記第１画像として選択してもよい。

これにより、フラッシュ光の影響を最小限に抑え、かつ、色情報を確実に取得することができる。例えば、単純にフラッシュ光を照射しない画像を基に色情報を取得するとした場合に画像が暗すぎて、必要な大きさの色ベクトルを取得できない場合などを防止することができる。

また、前記輝度情報取得手段は、前記画像取得手段により取得された連写画像のうち、輝度が最大となる画像を前記第２画像として選択してもよい。

これにより、十分な輝度を示す輝度情報を取得することができる。

また、前記撮像装置は、さらに、所定の画素が影となる画素であるか否かを判定する影判定手段を備え、前記画像生成手段は、前記影判定手段において影でないと判定された画素に対して、前記第３色ベクトルを生成してもよい。

これにより、フラッシュ光を照射する前から影であった箇所、及び、フラッシュ光を照射することによって新たに影となった箇所に対して、輝度の大きな色ベクトルを生成することを防ぐことができる。よって、照射前から影であった箇所を補正することで影をなくしてしまうことを防ぎ、人間が知覚する色に近い画像を生成することができる。また、新たに影となる箇所に対しても補正を行わないとすることで、実際に人間が見る被写体と違和感のない画像を得ることができる。

また、前記影判定手段は、前記第１画像の前記所定の画素と、前記所定の画素に対応する前記第２画像の画素との輝度の比を算出し、算出した輝度の比が予め定められた第２閾値以下である画素を影であると判定してもよい。

これにより、フラッシュ光による輝度値の上昇率が他の画素より小さい箇所を影と判定することができる。

また、前記影判定手段は、前記第１画像の前記所定の画素が、予め定められた第３閾値以下である画素を影であると判定してもよい。

これにより、フラッシュ光を照射する前から影であった箇所を判定するのに、色情報取得手段で選択した画像を用いることができるので、処理量を削減することができる。

また、前記撮像装置は、互いに異なる位置に配置された複数の前記発光手段と、前記複数の発光手段を順次発光させる制御手段とを備え、前記画像取得手段は、前記複数の発光手段のそれぞれに対応する連写画像を取得し、前記影判定手段は、前記連写画像毎に、所定の画素が影であるか否かを判定し、前記画像生成手段は、前記補正画像を前記連写画像毎に生成し、さらに、生成した複数の前記補正画像の中の１枚である第１補正画像では影であると判定され、かつ、他の１枚である第２補正画像では影でないと判定された画素を特定し、特定した画素の画素値が前記第２補正画像の画素の画素値となるように、影と判定された画素を補正した影補正画像を生成してもよい。

これにより、異なる位置に配置した複数の発光手段を用いて、被写体に異なる方向からフラッシュ光を照射することができる。したがって、フラッシュ光のそれぞれに対応する連写画像を用いて補正画像を生成することで、生成した複数の補正画像はそれぞれ、異なる領域に影が含まれているので、影と判定された画素の画素値を影ではないと判定された画素の画素値に置き換えることで、影と判定された画素を補正することができる。このように、フラッシュ光による影を他の画像によって相殺することで、フラッシュ光による影の影響を消した自然な印象の画像を生成することができる。

また、前記画像生成手段は、前記第１補正画像を構成する画素のうち前記特定した画素の画素値を前記第２補正画像の画素の画素値に置き換えることで、画素値が置き換えられた第１補正画像を前記影補正画像として生成してもよい。

これにより、第１補正画像を構成する画素のうち影であると判定された画素を、他の補正画像では影ではないと判定された画素に置き換えることで、フラッシュ光による影の影響を消した自然な印象の画像を生成することができる。

また、前記画像生成手段は、前記第１補正画像を除いた全ての前記複数の補正画像のそれぞれを前記第２補正画像として順次選択し、前記第１補正画像では影であると判定され、かつ、選択した前記第２補正画像では影でないと判定された画素を特定してもよい。

これにより、全ての補正画像について影である画素と影でない画素との比較を行うので、より自然な印象の画像を生成することができる。

また、前記撮像装置は、さらに、前記第１画像に含まれる可能性のある複数の色ベクトルと、前記第２画像に含まれる可能性のある複数の色ベクトルと、複数の前記第３色ベクトルとを対応付けた色変換テーブルを記憶する記憶手段を備え、前記画像生成手段は、前記色変換テーブルを参照し、前記第１色ベクトルと前記第２色ベクトルとに対応する第３色ベクトルを画素毎に生成してもよい。

これにより、予めそれぞれの色ベクトルに対応する真値のベクトルを示すテーブルを記憶しておくことで、余分な演算処理を行うことなく、取得した色ベクトルに基づいてテーブルを参照するだけで、十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

また、前記撮像装置は、さらに、当該撮像装置と前記被写体との距離を取得する距離取得手段を備え、前記画像生成手段は、さらに、前記距離取得手段により取得された距離を用いて前記第３色ベクトルを補正することで、前記第１画像より輝度の高い補正画像を生成してもよい。

これにより、被写体毎に距離を取得することで、色情報と輝度情報とを被写体毎に最適な画像から取得することができる。ゆえに、より十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

また、前記撮像装置は、さらに、被写体までの複数の距離と、前記第１画像に含まれる可能性のある複数の色ベクトルと、前記第２画像に含まれる可能性のある複数の色ベクトルと、複数の前記第３色ベクトルとを対応付けた色変換テーブルを記憶する記憶手段を備え、前記画像生成手段は、前記色変換テーブルを参照し、前記距離と前記第１色ベクトルと前記第２色ベクトルとに対応する第３色ベクトルを画素毎に生成することで、前記補正画像を生成してもよい。

これにより、予めそれぞれの色ベクトルと距離とに対応する真値のベクトルを示すテーブルを記憶しておくことで、余分な演算処理を行うことなく、取得した色ベクトルと距離とに基づいてテーブルを参照するだけで、十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

また、前記距離取得手段は、基準となる輝度値を有する画素における前記被写体までの第１距離と、対象画素における前記被写体までの第２距離とを取得し、前記画像生成手段は、前記第１距離に対する前記第２距離の比の２乗を前記第３色ベクトルに乗算することで、前記第１画像より輝度の高い補正画像を生成してもよい。

これにより、巨大なテーブルを記憶することなく、簡単な演算処理を行うことで、最適な画像を生成することができる。

また、前記発光手段は、光量の異なるフラッシュ光を少なくとも２回照射し、前記画像取得手段は、前記フラッシュ光の照射毎に前記被写体を撮影することで、前記第１画像と前記第２画像とを取得し、前記第２画像は、前記フラッシュ光の光量が前記第１画像よりも少なくてもよい。

これにより、１枚の画像を取得する毎にフラッシュ光の光量を変更させることができるので、確実に、輝度の異なる複数の画像からなる連写画像を取得することができる。ゆえに、例えば、撮像装置の連写速度が遅い場合などでも、フラッシュ光の影響を少なくした上で、十分な明るさを有し、人間が知覚する色に近い画像を生成することができる。

なお、本発明は、撮像装置として実現できるだけではなく、上述の撮像装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

本発明によれば、フラッシュを用いて撮影を行った場合であっても、人間が自然光下で知覚する色に近い色の画像を得ることができるため、低ノイズで明るく、不自然な影のない自然な色の画像を得ることができる。

図１は、実施の形態１における撮像装置の構成の一例を示すブロック図である。 図２Ａは、フラッシュ光の光量が少ない場合の対象画素の色ベクトルを示す図である。 図２Ｂは、フラッシュ光の光量が多い場合の対象画素の色ベクトルを示す図である。 図２Ｃは、画像生成部が生成する画像の対象画素の色ベクトルを示す図である。 図３は、実施の形態１における撮像装置の具体例である電子カメラの構成の一例を示すブロック図である。 図４は、実施の形態１における撮像装置の動作の一例を示すフローチャートである。 図５Ａは、フラッシュ光の光量が異なる複数の画像からなる連写画像の一例を示す図である。 図５Ｂは、連写画像の中の１つの画素に対する輝度の変化を示す図である。 図６は、連写画像の中の１つの画素に対する輝度の変化を示す図である。 図７は、フラッシュ光が照射される前の画像において既に影である画素の輝度値の関係を示す図である。 図８は、選択された光量の少ない画像と光量の多い画像との画素毎の輝度値の比を示す図である。 図９は、実施の形態２における撮像装置の構成の一例を示すブロック図である。 図１０は、実施の形態２における撮像装置の具体例である電子カメラの構成の一例を示すブロック図である。 図１１は、実施の形態２における撮像装置の動作の一例を示すフローチャートである。 図１２Ａは、超音波を用いたＴＯＦ方式の距離計測装置を示す図である。 図１２Ｂは、ステレオ方式の距離測定の原理を示す図である。 図１３は、ＴＯＦ方式における距離測定の基本原理を示す図である。 図１４は、ステレオ方式の距離計測の概念図である。 図１５Ａは、ＲＧＢ色空間での距離とフラッシュ光量が少ないときの色ベクトルと多いときの色ベクトルとの関係を示す図である。 図１５Ｂは、ＹＣｒＣｂ又はＹＵＶ色空間での距離とフラッシュ光量が少ないときの色ベクトルと多いときの色ベクトルとの関係を示す図である。 図１６は、実施の形態２における色変換テーブルの一例を示す図である。 図１７は、実施の形態３における撮像装置の構成の一例を示すブロック図である。 図１８は、実施の形態３における撮像装置の具体例である電子カメラの構成の一例を示すブロック図である。 図１９は、フラッシュ光の光量の制御と、撮影画像からの合成画像の生成との流れを示す図である。 図２０は、実施の形態４における撮像装置の構成の一例を示すブロック図である。 図２１は、実施の形態４における被写体と撮像装置と発光部との位置関係の一例を示す図である。 図２２は、補正画像及び画素毎に対応付けた影判定結果を示すデータベースの一例を示す図である。 図２３は、実施の形態４における撮像装置の動作の一例を示すフローチャートである。 図２４Ａは、フラッシュ光を照射しない場合に人間が知覚する色ベクトルを示す図である。 図２４Ｂは、フラッシュ光を照射した場合に人間が知覚する色ベクトルを示す図である。

以下では、本発明の撮像装置について実施の形態に基づいて、図面を参照しながら詳細に説明する。

（実施の形態１）
実施の形態１の撮像装置は、撮影環境が暗い場所においても、フラッシュなどの発光部と、観測される色情報とを併用することによって、自然な色と影の被写体撮影を可能とする撮像装置である。

図１は、実施の形態１における撮像装置１０の構成の一例を示すブロック図である。同図に示すように、撮像装置１０は、発光部１１と、画像取得部１２と、メモリ１３と、色情報取得部１４と、輝度情報取得部１５と、影判定部１６と、画像生成部１７とを備える。

発光部１１は、フラッシュ光を被写体２０に照射する。

画像取得部１２は、発光部１１がフラッシュ光を照射中に被写体２０を撮影することで、輝度の異なる少なくとも２枚の画像からなる連写画像を取得する。具体的には、発光部１１がフラッシュ光を被写体２０に照射し始めてから照射し終わるまでの間に、被写体２０を高速で連続的に撮影することで、連写画像を取得する。例えば、画像取得部１２は、被写体２０からの光を集光するレンズ、及び、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサなどを含む。

メモリ１３は、画像取得部１２で取得された連写画像を記憶する。なお、このとき、連写画像を構成する複数の画像には、それぞれを識別するための番号（以下、連写番号とする）が記されている。

色情報取得部１４は、メモリ１３に記憶された連写画像の中から１枚の画像を選択し、選択した画像の画素毎に対象画素の色ベクトルから色情報を取得する。具体的には、発光部１１によるフラッシュ光の影響が少なく、かつ、一定の光量を得た画像を画素毎に選択し、画素毎に被写体２０の色情報を取得する。なお、実施の形態１では、Ｒ画素、Ｇ画素及びＢ画素の３つの画素を１つの画素として、画素毎に色情報を取得する。また、色情報とは、Ｒ画素、Ｇ画素及びＢ画素の各画素値である。または、色情報とは、各画素値から算出される単位色ベクトルのことであってもよい。

輝度情報取得部１５は、メモリ１３に記憶された連写画像の中から、色情報取得部１４によって選択された画像よりも輝度が高い１枚の画像を選択し、選択した画像の画素毎に対象画素の色ベクトルから輝度情報を取得する。具体的には、発光部１１によるフラッシュ光の影響が大きい画像を画素毎に選択し、画素毎に被写体２０の輝度情報を取得する。なお、輝度情報とは、Ｒ画素、Ｇ画素及びＢ画素の３次元ベクトルの強度値である。

なお、ここでは、各情報をＲＧＢ色空間に基づいて取得したが、ＲＧＢ色空間に限らず、ＹＣｒＣｂ色空間などの別の色空間に基づいて各情報を取得してもよい。

影判定部１６は、対象画素が影となる画素であるか否かを判定する。具体的には、影判定部１６は、対象画素がフラッシュ光を照射する前から影である画素であるか否かを判定する。さらに、対象画素がフラッシュ光を照射することで新たに影となった画素であるか否かを判定する。

なお、色情報取得部１４、輝度情報取得部１５及び影判定部１６のより詳細な動作については、図面を用いて後述する。

画像生成部１７は、対象画素の色情報と輝度情報とに対応する色ベクトルを画素毎に生成することで、色情報取得部１４で選択された画像よりも輝度の高い補正画像を生成する。なお、以上の画像生成処理は、影判定部１６で影と判定されなかった画素に対してのみ実行される。

次に、図２Ａ〜図２Ｃを用いて、実施の形態１の画像生成部１７が行う画像生成処理とその効果とについて説明する。

図２Ａは、フラッシュ光の光量が少ない場合の対象画素の色ベクトルを示す図である。図２Ｂは、フラッシュ光の光量が多い場合の対象画素の色ベクトルを示す図である。図２Ｃは、画像生成部１７が生成する画像の対象画素の色ベクトルを示す図である。

発光部１１から照射されるフラッシュ光の影響により、実際に人間の目に観測される色成分を示す観測色ベクトルは、本来の色成分を示す色成分ベクトルに、フラッシュ光に起因するフラッシュ成分ベクトルを加えたものである。図２Ａに示すように、フラッシュ光の光量が少ない場合は、フラッシュ成分ベクトルが小さいので、観測色ベクトルの方向は、色成分ベクトルの方向と大きく異ならない。しかし、同図の観測色ベクトルの大きさ（輝度値）が小さいために、撮影者が得られた画像を見た際に、視覚的に色情報を十分に知覚することができない。

一方で、図２Ｂに示すように、フラッシュ光の光量が多い場合は、フラッシュ成分ベクトルが大きいので、観測色ベクトルの大きさ（輝度値）も大きくなる。このため、得られた画像を撮影者が見た際に、視覚的に色情報を十分に知覚することができる。しかし、フラッシュ成分ベクトルが大きいために、観測色ベクトルの方向は、通常、色成分ベクトルの方向と大きく異なる。これにより、得られた画像は、実際に被写体を撮影者が見た場合の画像とは、異なる色の画像となる。

そこで、図２Ｃに示すように、図２Ａに示す観測色ベクトルの方向に、ベクトルの大きさを伸張することで、実際に被写体を見た場合とほぼ同一の色合いの画像であり、かつ、十分な明るさの画像を得ることができる。

具体的な、ベクトルを伸張する演算処理は、以下の通りである。

実施の形態１では、色情報取得部１４が、図２Ａに示すようなフラッシュ光の光量が少ない場合の観測色ベクトルを正規化することで、単位色ベクトルを取得する。また、輝度情報取得部１５が、図２Ｂに示すようなフラッシュ光の光量が多い場合の観測色ベクトルの大きさを取得する。

例えば、ＲＧＢ色空間の場合、画像生成部１７は、単位色ベクトルを式１〜式３により求める。なお、色情報取得部１４が取得した観測色ベクトルの値を（Ｒ，Ｇ，Ｂ）とし、取得した単位色ベクトルの値を（Ｒ１，Ｇ１，Ｂ１）とする。

画像生成部１７は、画素毎に、式４に示すように、輝度情報取得部１５が取得した観測色ベクトルの大きさと、単位色ベクトルとを乗算することで、色情報を更新する。すなわち、図２Ｃに示すような観測色ベクトルを生成する。なお、輝度情報取得部１５が取得した観測色ベクトルの値を（Ｒ２，Ｇ２，Ｂ２）とし、生成した画像の観測色ベクトルの値を（Ｒ３，Ｇ３，Ｂ３）とする。

以上のように、画素毎に、色情報のベクトル強度を補正することで、実際に被写体を見た場合とほぼ同一の色合いの画像であり、かつ、十分な明るさの画像を生成することができる。

図３は、実施の形態１における撮像装置１０の具体例である電子カメラ１００の構成の一例を示すブロック図である。同図の電子カメラ１００は、撮影レンズ１０１と、シャッター１０２と、撮像素子１０３と、ＡＤ変換器１０４と、タイミング発生回路１０５と、画像処理回路１０６と、メモリ制御回路１０７と、画像表示メモリ１０８と、ＤＡ変換器１０９と、画像表示部１１０と、メモリ１１１と、リサイズ回路１１２と、システム制御回路１１３と、露光制御部１１４と、測距制御部１１５と、ズーム制御部１１６と、バリア制御部１１７と、フラッシュ１１８と、保護部１１９と、メモリ１２０と、表示部１２１と、不揮発性メモリ１２２と、モードダイアルスイッチ１２３と、シャッタースイッチ１２４と、電源制御部１２５と、コネクタ１２６及び１２７と、電源１２８と、インタフェース１２９及び１３０と、コネクタ１３１及び１３２と、記録媒体１３３と、光学ファインダ１３４と、通信部１３５と、アンテナ１３６と、連写制御回路１３７と、色情報取得回路１３８と、輝度情報取得回路１３９と、影情報取得回路１４０と、色情報更新回路１４１とを備える。なお、電源１２８及び記録媒体１３３は、取り外し可能でもよい。

撮影レンズ１０１は、ズーミング及びフォーカシング機能を有するレンズであり、入射する光を撮像素子１０３上に結像させる。

シャッター１０２は、絞り機能を備え、撮像素子１０３に入射する光の量を調節する。

撮像素子１０３は、入射した光が結像して得られる光学像を電気信号（画像データ）に変換する。

ＡＤ変換器１０４は、撮像素子１０３から出力されるアナログ信号をディジタル信号に変換する。ＡＤ変換器１０４は、ディジタル信号に変換された画像データを、メモリ制御回路１０７を介して、画像表示メモリ１０８又はメモリ１１１に書き込む。あるいは、ＡＤ変換器１０４は、ディジタル信号に変換された画像データを画像処理回路１０６に出力する。

タイミング発生回路１０５は、撮像素子１０３、ＡＤ変換器１０４及びＤＡ変換器１０９にクロック信号又は制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０７及びシステム制御回路１１３により制御される。

画像処理回路１０６は、ＡＤ変換器１０４から出力される画像データ又はメモリ制御回路１０７から出力される画像データに対して所定の画像補間処理又は色変換処理などを行う。また、画像処理回路１０６は、入力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１１３が露光制御部１１４及び測距制御部１１５に対して制御を行う。

メモリ制御回路１０７は、ＡＤ変換器１０４、タイミング発生回路１０５、画像処理回路１０６、画像表示メモリ１０８、ＤＡ変換器１０９、メモリ１１１及びリサイズ回路１１２を制御する。

画像表示メモリ１０８は、表示用の画像データを記憶する。

ＤＡ変換器１０９は、メモリ制御回路１０７を介して、画像表示メモリ１０８から表示用の画像データを取得し、ディジタル信号からアナログ信号に変換する。

画像表示部１１０は、ＤＡ変換器１０９でアナログ信号に変換された表示用の画像データを表示する。画像表示部１１０は、例えば、ＴＦＴＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイである。

メモリ１１１は、ＡＤ変換器１０４から得られる画像データ、及び、画像処理回路１０６で処理された画像データを記憶する。メモリ１１１は、図１のメモリ１３に相当する。

リサイズ回路１１２は、撮影して得られた画像から低解像度の画像を生成する。なお、リサイズ回路１１２は、用途に応じて所定の複数の解像度を選択することができる。リサイズ回路１１２は、メモリ１１１に格納された画像データを読み込み、読み込んだ画像データに対してリサイズ処理を行い、処理を終えたデータをメモリ１１１に書き込む。

なお、リサイズ回路１１２は、撮像素子１０３の画素数と異なる画素数（サイズ）で記録媒体１３３などに画像データを記録したい場合などに利用される。また、画像表示部１１０の表示可能な画素数は、撮像素子１０３の画素数よりもかなり小さいので、画像表示部１１０に撮影した画像データを表示する場合の表示用画像を生成する場合にも利用される。

システム制御回路１１３は、電子カメラ１００全体の各処理部及び各処理回路を制御することで、撮影処理を行う。撮影処理は、露光処理、現像処理及び記録処理などからなる。露光処理とは、撮像素子１０３から読み出した画像データをＡＤ変換器１０４及びメモリ制御回路１０７を介してメモリ１１１に書き込む処理である。現像処理とは、画像処理回路１０６及びメモリ制御回路１０７での演算処理である。記録処理とは、メモリ１１１から画像データを読み出し、記録媒体１３３に画像データを書き込む処理である。

露光制御部１１４は、絞り機能を備えるシャッター１０２を制御する。また、フラッシュ１１８と連携することによりフラッシュ調光機能も有する。

測距制御部１１５は、撮影レンズ１０１のフォーカシングを制御する。ズーム制御部１１６は、撮影レンズ１０１のズーミングを制御する。バリア制御部１１７は、保護部１１９の動作を制御する。

フラッシュ１１８は、被写体に対してフラッシュ光を照射する。さらに、ＡＦ補助光の投光機能及びフラッシュ調光機能も有する。フラッシュ１１８は、図１の発光部１１に相当する。

保護部１１９は、電子カメラ１００の撮影レンズ１０１、シャッター１０２及び撮像素子１０３などを含む撮像部を覆うことにより、撮像部の汚れ又は破損を防止するバリアである。

メモリ１２０は、システム制御回路１１３の動作用の定数、変数及びプログラムなどを記録する。

表示部１２１は、システム制御回路１１３でのプログラムの実行に応じて、文字、画像又は音声などを用いて動作状態又はメッセージなどを表示する液晶表示装置又はスピーカーなどである。表示部１２１は、電子カメラ１００の操作部近辺の視認しやすい単数又は複数の箇所に設置される。表示部１２１は、例えば、ＬＣＤ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、又は、発音素子などの組み合わせにより構成されている。

不揮発性メモリ１２２は、電気的に消去・記録可能なメモリであり、電子カメラ１００の動作設定データ又は利用者固有の情報などを記憶する。不揮発性メモリ１２２は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。

モードダイアルスイッチ１２３は、自動撮影モード、撮影モード、パノラマ撮影モード及びＲＡＷモードなどの各機能モードを切り替え、設定することができる。

シャッタースイッチ１２４は、シャッターボタン（図示せず）の操作途中でＯＮとなりＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの動作開始を指示する。また、シャッタースイッチ１２４は、露光処理、現像処理及び記録処理という一連の処理の動作の開始を指示する。

電源制御部１２５は、電池検出回路、ＤＣ−ＤＣコンバータ、及び、通電するブロックを切り替えるスイッチ回路などにより構成されている。電源制御部１２５は、電池の装着の有無、電池の種類及び電池残量の検出を行う。電源制御部１２５は、さらに、検出結果及びシステム制御回路１１３の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を帰還させ、記録媒体１３３を含む各処理部へ電圧を、コネクタ１２６及び１２７を介して供給する。

コネクタ１２６及び１２７は、電源制御部１２５と、電源１２８との接続を行うコネクタである。

電源１２８は、アルカリ電池若しくはリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池若しくはＬｉ電池などの二次電池、又は、ＡＣアダプターなどである。

インタフェース１２９及び１３０は、記録媒体１３３とメモリ１１１などとの間で画像データなどの送受信を行うためのインタフェースである。

コネクタ１３１及び１３２は、インタフェース１２９とインタフェース１３０とを介した記録媒体１３３との接続を行うコネクタである。

記録媒体１３３は、画像データを記録するメモリカード又はハードディスクなどの記録媒体である。

光学ファインダ１３４は、撮影者が被写体を確認するために使用するファインダである。撮影者は、画像表示部１１０による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。

通信部１３５は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、モデム、ＬＡＮ、又は無線通信などの各種通信機能を有する。

アンテナ１３６は、通信部１３５により電子カメラ１００を他の機器と接続されるコネクタ又は無線通信の場合のアンテナである。

連写制御回路１３７は、撮像素子１０３から得られる画像信号を連写し、メモリ１１１に画像を連写番号と共に格納する。

色情報取得回路１３８は、連写制御回路１３７によりメモリ１１１に格納された連写した画像から、フラッシュ光の影響が少なく、かつ、一定の光量を得た画像を画素毎に選択し、画素毎に被写体の色情報を取得し、メモリ１１１に書き込む。色情報取得回路１３８は、図１の色情報取得部１４に相当する。

輝度情報取得回路１３９は、連写制御回路１３７によりメモリ１１１に格納された連写した画像から、フラッシュ光の影響が大きい画像を選択し、被写体の輝度情報を取得し、メモリ１１１に書き込む。輝度情報取得回路１３９は、図１の輝度情報取得部１５に相当する。

影情報取得回路１４０は、連写制御回路１３７によりメモリ１１１に格納された連写した画像から、影となる領域を判定し、影の場所情報をメモリ１１１に書き込む。なお、影の判定処理については、後述する。影情報取得回路１４０は、図１の影判定部１６に相当する。

色情報更新回路１４１は、メモリ１１１に保存されている色情報、輝度情報及び影の場所情報から画素毎に更新した色情報を生成し、生成した更新色情報をメモリ１１１に書き込む。影ではない領域について、更新色情報は、色情報から得られる本来知覚される色に近い色ベクトルの強度を、輝度情報により得られる値にすることでフラッシュ光を照射時の明るさと同等の明るさにした情報である。影となる場所については、フラッシュを用いない場合が最大輝度となる。このような場所では、フラッシュの影響を受けてないときの値を用いることによって、フラッシュにより生成される影の影響を受けないようにする。色情報更新回路１４１は、図１の画像生成部１７に相当する。

なお、連写制御回路１３７、色情報取得回路１３８、輝度情報取得回路１３９、影情報取得回路１４０及び色情報更新回路１４１のいずれかの回路を備えない場合、システム制御回路１１３が、ソフトウェア処理で追跡及び更新処理を行ってもよい。

なお、図１の画像取得部１２は、主に、撮影レンズ１０１、シャッター１０２、撮像素子１０３、ＡＤ変換器１０４及び画像処理回路１０６に相当する。

続いて、実施の形態１における撮像装置１０の動作について説明する。

図４は、実施の形態１における撮像装置１０の動作の一例を示すフローチャートである。

まず、画像取得部１２は、連写画像を取得する（Ｓ１０１）。具体的には、発光部１１が、フラッシュ光を照射し始めてから照射し終わるまでの間に、高速で被写体２０を連続的に撮影することで、画像取得部１２は、複数の画像からなる連写画像を取得する。取得した連写画像は、メモリ１３に格納する。なお、電子カメラ１００では、システム制御回路１１３が、各処理部及び各処理回路を制御することで、上述の撮影処理を実行する。

取得された連写画像に対して、以下に示す色情報の取得処理（Ｓ１０２）から色情報の更新処理（Ｓ１０７）までの処理が、画素毎に実行される。なお、どの画素に対して処理を実行するかについては、撮像装置１０の制御部（図示せず）が制御する。例えば、電子カメラ１００では、システム制御回路１１３が制御する。

色情報取得部１４は、連写画像の中からフラッシュ光の影響が少ない画像を選択する（Ｓ１０２）。この選択処理の詳細については、図面を用いて後述する。そして、色情報取得部１４は、選択した画像から、色情報として単位色ベクトルを取得する（Ｓ１０３）。

次に、輝度情報取得部１５は、連写画像の中からフラッシュ光の影響が大きい画像を選択する（Ｓ１０４）。この選択処理の詳細についても、図面を用いて後述する。そして、輝度情報取得部１５は、選択した画像から、輝度情報として色ベクトル強度を取得する（Ｓ１０５）。

なお、色情報の取得処理と輝度情報の取得処理とは、いずれが先行して実行されてもよい。

次に、影判定部１６は、対象画素が影であるか否かを判定する（Ｓ１０６）。対象画素が影であると判定された場合（Ｓ１０６でＹｅｓ）、色情報の更新を行わず、次の画素を対象画素として、色情報の取得処理（Ｓ１０２）から繰り返し実行される。

対象画素が影でないと判定された場合（Ｓ１０６でＮｏ）、対象画素に対して、色情報と輝度情報とを基にして色情報を更新する（Ｓ１０７）。色情報の更新処理が終了すると、次の画素を対象画素として、色情報の取得処理（Ｓ１０２）から繰り返し実行される。

なお、電子カメラ１００では、以上のようにして画素毎に色情報を更新することで生成された画像は、メモリ１１１などに格納される。そして、格納された画像に対して、リサイズ回路１１２がリサイズ処理を行うことにより、表示用画像を生成する。画像表示部１１０は、生成した表示用画像を表示する。これにより、撮影者が実際に被写体を知覚した色と同一の色の画像を得ることができる。

続いて、色情報の取得処理（図４のＳ１０３）について図５Ａ及び図５Ｂを用いて説明する。

図５Ａは、フラッシュ光の光量が異なる複数の画像からなる連写画像の一例を示す図である。図５Ｂは、連写画像の中の１つの画素に対する輝度の変化を示す図である。

フラッシュ光を照射し始めてから照射し終わるまでの間に、撮像装置１０は、画像を連写撮影する。これにより、図５Ａに示すような連写画像がメモリ１３に格納される。このとき、連写画像の中の１つの画素について輝度の変化が、図５Ｂのようになる。図５Ｂの横軸には連写番号を示す。縦軸には輝度を示す。図５Ｂに示すように、色情報取得部１４は、輝度が閾値変数Ｔｈ１よりも小さい画像のうち、最大となる画像を選択し、選択した画像の画素から色情報を取得する。

なお、閾値変数Ｔｈ１は画素毎に異なっており、例えば、画素毎にフラッシュ光を照射する前の輝度のＮ倍という決め方ができる。閾値変数の決め方は、被写体毎、又は、撮影モードなどにより変えてもよい。閾値変数Ｔｈ１が大きければ、フラッシュ光の影響を受けやすいが非常に暗い箇所でも色情報を得ることができる。一方、閾値変数Ｔｈ１が小さければ、フラッシュ光の影響を受けにくいが、非常に暗い環境では色情報を得にくいという特性を持つ。そのため、画像全体の輝度を考慮してＴｈ１を決めることもできる。

次に、輝度情報の取得処理（図４のＳ１０５）について図６を用いて説明する。

図６は、連写画像の中の１つの画素に対する輝度の変化を示す図である。縦軸に輝度、横軸に連写番号を示す。図６に示すように、輝度情報取得部１５は、画像中の画素毎に、輝度が最大となる画像を選択し、選択した画像の画素から輝度情報を取得する。これにより、各画素において、フラッシュ光が最大に照射されたときの画像を選択することができ、大きな輝度値を得ることができる。ただし、輝度値が飽和する場合は、最大値ではなく、飽和しない値を利用することでより自然な画像を作成することが可能になる。

次に、影の判定処理（図４のＳ１０６）について図７及び図８を用いて説明する。上述したように、対象画素が影であると判定される場合は、２種類の場合がある。フラッシュ光が照射される前の画像において既に影である場合と、フラッシュ光が照射されることによって新たに影であると判定される場合とである。なお、いずれの場合であっても、影であると判定された画素に対しては、色情報の更新処理を実行しない。

フラッシュ光が照射される前から影であった画素に対して色情報の更新を行った場合、影であった画素の輝度値が大きくなり、生成後の画像から影の領域が少なくなる場合がある。すなわち、元々の画像との差異が大きくなり違和感のある画像が生成される恐れがある。そこで、実施の形態１の撮像装置１０は、フラッシュ光が照射される前から影であった画素に対しては、色情報の更新処理を実行しない。このため、影判定部１６は、対象画素が、フラッシュ光が照射される前から影であるか否かを判定する。

図７は、フラッシュ光が照射される前の画像において既に影である画素の輝度値の関係を示す図である。縦軸に輝度、横軸に連写番号を示す。フラッシュ光が照射される前から既に影であった画素については、通常の画素と比べて、輝度値が低い。したがって、影判定部１６は、フラッシュ光の影響の少ない連写番号の画像の輝度値と予め定められた閾値Ｔｈ２とを比較する。影判定部１６は、輝度値が閾値Ｔｈ２より小さい画素を、既に影であった画素として判定する。例えば、影判定部１６は、色情報取得部１４で選択された画像の対象画素が、閾値Ｔｈ２より小さい場合に、対象画素を影であると判定する。

なお、閾値Ｔｈ２は、フラッシュ光の光量などによって、すなわち、発光部１１として使用されるフラッシュ１１８の規格などによって定められる値である。なお、閾値Ｔｈ２を撮影者が変更できてもよい。

また、影判定部１６は、色情報取得部１４で選択された画像とは別の画像を用いてもよい。例えば、フラッシュ光が照射される前の画像の対象画素の輝度値を比較してもよい。

次に、フラッシュ光が照射されることによって新たに影となる画素に対しても同様に、実施の形態１の撮像装置は、色情報の更新処理を実行しない。これも、元々の画像との差異が大きくなり違和感のある画像が生成される恐れがあるためである。これにより、影判定部１６は、さらに、対象画素が、フラッシュ光が照射されることによって新たに影となる画素であるか否かを判定する。

図８は、選択された光量の少ない画像と光量の多い画像との画素毎の輝度値の比を示す図である。縦軸に、光量の少ない画像と光量の多い画像との輝度値の比を示す。横軸に、各画素に割り振られた番号（以下、画素番号とする）を示す。

通常、フラッシュ光により、光量の多い画像は光量の少ない画像に比べて大きく輝度値が上昇する。しかし、影となる画素は、通常の画素に比べて輝度値の上昇率が少ない。したがって、図８に示すように、画素毎に光量の少ない画像と光量の多い画像との輝度値の比が、予め定められた閾値Ｔｈ３より小さい画素を影となる画素と判定することで、画像の中からフラッシュ光により新たに影となる領域を判定することができる。

なお、光量の少ない画像は、色情報取得部１４で選択された画像であり、光量の多い画像は、輝度情報取得部１５で選択された画像であればよい。また、影判定部１６が、輝度値の最も低い画像と最も高い画像とをそれぞれ、光量の少ない画像及び光量の多い画像として選択してもよい。

以上のように、実施の形態１の撮像装置は、フラッシュ光の照射中に２枚以上の画像からなる連写画像を撮影し、取得された画像から色情報と輝度情報とを基にして夜間でも自然光の下で撮影した色と同じ明るさに補正でき、暗い環境でも自然光下で撮影したときと同等の画質の画像を取得することができる。自然光の下と同等の色、明るさになるため、フラッシュ光の色によって本来の物体の色とは異なった色になるという不自然な状態を避けることができる。また、フラッシュ光によって生じる副作用である影の影響も低減できるという効果がある。

（実施の形態２）
実施の形態２の撮像装置は、複数の被写体がいる場合に各被写体の距離を推定し、推定することで得られる距離情報を用いることで、距離情報がない場合に比べて、被写体毎に最適な照射時間の画像を利用した合成を行う。

図９は、実施の形態２の撮像装置３０の構成の一例を示すブロック図である。同図の撮像装置３０は、実施の形態１の撮像装置１０と比べて、新たに距離取得部３１とメモリ３２とを備え、画像生成部１７の代わりに画像生成部３４を備える点が異なる。以下では、実施の形態１と同じ点の説明を省略し、異なる点を中心に説明する。

距離取得部３１は、撮像装置３０と被写体２０との間の距離を取得する。例えば、距離取得部３１は、ＬＥＤを利用したＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式により距離を計測する。また、視差情報などの他の距離取得方法を利用してもよい。距離取得方法については、図面を用いて後述する。

メモリ３２は、色変換テーブル３３を記憶する。色変換テーブル３３は、被写体までの距離と、フラッシュ光の照射量が少ないときの色ベクトルと、フラッシュ光の照射量が多いときの色ベクトルと、補正後の真値を示す色ベクトルとを対応付けたテーブルである。色変換テーブル３３の詳細及び色変換テーブル３３を生成する方法については、図面を用いて後述する。

画像生成部３４は、色変換テーブル３３を参照することで、色情報取得部１４で取得した色ベクトルと、輝度情報取得部１５で取得した色ベクトルと、距離取得部３１で取得した距離とに対応する、補正後の真値を示す色ベクトルを画素毎に生成することで画像を生成する。

以上の構成により、実施の形態２の撮像装置３０は、距離を測定することで、色情報及び輝度情報を被写体毎に最適な画像から取得することができるため、より十分な明るさの自然な色の画像を生成することができる。

図１０は、実施の形態２の撮像装置３０の具体例である電子カメラ２００の構成の一例を示すブロック図である。同図の電子カメラ２００は、実施の形態１の電子カメラ１００と比べて、新たに、距離取得回路２０１と、色変換テーブル２０２と、画素選択回路２０３とを備え、色情報更新回路１４１の代わりに色情報更新回路２０４を備える点が異なる。以下では、実施の形態１と同じ点の説明を省略し、異なる点を中心に説明する。

距離取得回路２０１は、ＬＥＤを利用したＴＯＦ方式により距離を計測する。なお、距離取得回路２０１は、図９の距離取得部３１に相当する。

色変換テーブル２０２は、被写体までの距離と、フラッシュ光の照射量が少ないときの色ベクトルと、フラッシュ光の照射量が多いときの色ベクトルとを対応付けたメモリテーブルである。色変換テーブル２０２は、図９の色変換テーブル３３に相当する。

画素選択回路２０３は、距離取得回路２０１で取得した距離と上記色変換テーブル２０２とを用いて各被写体の照射状態の判定を行い、どの距離の被写体に対して、どの連写番号の画像を用いるのかを決定する。画素選択回路２０３は、連写画像において画素毎に、色変換テーブルを参照し、計測した距離と類似するテーブル値を利用し、画素の選択を行う。選択された場合のみ、その画素の値をメモリ１１１に格納し、色情報更新回路にて色情報の更新を行う。

色情報更新回路２０４は、画素選択回路２０３から出力される画素の値であり、それを元の画像に対して合成を行う。

なお、距離取得回路２０１、色変換テーブル２０２、及び、画素選択回路２０３のいずれかの回路を備えない場合、システム制御回路１１３で、ソフトウェア処理で後述するフローにより追跡及び更新処理を行ってもよい。

次に、実施の形態２における撮像装置３０の動作について説明する。

図１１は、実施の形態２の撮像装置３０の動作の一例を示すフローチャートである。

まず、画像取得部１２は、連写画像を取得する（Ｓ２０１）。すなわち、発光部１１が、フラッシュ光を照射し始めてから照射し終わるまでの間に、高速で被写体２０を連続的に撮影することで、画像取得部１２は、複数の画像からなる連写画像を取得する。取得した画像は、メモリ１３に格納する。なお、電子カメラ２００では、システム制御回路１１３が、各処理部及び各処理回路を制御することで、上述の撮影処理を実行する。

取得された連写画像に対して、以下の色情報の取得処理（Ｓ２０２）から色情報の更新処理（Ｓ２０８）までの処理が、画素毎に実行される。なお、どの画素に対して処理を実行するかについては、撮像装置３０の制御部（図示せず）が制御する。例えば、電子カメラ２００では、システム制御回路１１３が制御する。

色情報取得部１４は、実施の形態１と同様にして、連写画像の中からフラッシュ光の影響が少ない画像を選択する（Ｓ２０２）。そして、色情報取得部１４は、選択した画像から、色情報として単位色ベクトルを取得する（Ｓ２０３）。

次に、輝度情報取得部１５は、実施の形態１と同様にして、連写画像の中からフラッシュ光の影響が大きい画像を選択する（Ｓ２０４）。そして、輝度情報取得部１５は、選択した画像から、輝度情報として色ベクトル強度を取得する（Ｓ２０５）。次に、距離取得部３１は、後述する方法により、被写体との距離を取得する（Ｓ２０６）。

なお、色情報の取得処理と輝度情報の取得処理と距離の取得処理とは、いずれが先行して実行されてもよい。

次に、影判定部１６は、対象画素が影であるか否かを判定する（Ｓ２０７）。対象画素が影であると判定された場合（Ｓ２０７でＹｅｓ）、色情報の更新を行わず、次の画素を対象画素として、色情報の取得処理（Ｓ２０２）から繰り返し実行される。

対象画素が影でないと判定された場合（Ｓ２０７でＮｏ）、対象画素に対して、色情報と輝度情報と距離とを基にして、色変換テーブル３３を参照することで色情報を更新する（Ｓ２０８）。色情報の更新処理が終了すると、次の画素を対象画素として、色情報の取得処理（Ｓ２０２）から繰り返し実行される。

続いて、距離の取得方法について図１２Ａ及び図１２Ｂを用いて説明する。

距離測定の代表的な方法として、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、ＬＥＤや超音波など別の光源や波長を利用して照射し、反射される時間によって距離を計測するＴＯＦ方式がある。図１２Ａは、超音波を用いたＴＯＦ方式の距離計測装置を示す図である。図１２Ａに示すように、超音波発生／受信器４１から超音波を一定間隔で発信してから被写体４２によって反射された波を受信するまでの時間に応じて、距離を計測するというものである。

一方、パッシブ方式として複数のレンズを用いたステレオ方式がある。図１２Ｂは、ステレオ方式の距離測定の原理を示す図である。図１２Ｂに示すように、２つのステレオカメラ４３を備え、測定被写体４４までの距離を三角測量の原理により測定する。２つのステレオカメラ４３間の距離が既知であれば、測定被写体４４までの距離を算出することが可能である。

図１３は、ＴＯＦ方式における距離測定の基本原理を示す図である。この方式では、光がカメラと被写体との間を往復する時間差から距離を求める。カメラに取り付けた光源より強度変調した近赤外光を被写体に照射し、高速シャッター機能を持つイメージインテンシファイアとＣＣＤカメラとで被写体によって反射された反射光を短時間撮像する。光強度が増加変調する反射光にシャッターの開放タイミングを合わせて撮像すると、被写体までの距離に応じて光の往復時間に差が生じるため、距離が撮像画像Ａの輝度に反映される。しかし、この画像Ａには、被写体の反射率及び照射光量の空間的なむらなどの要因も影響している。これらを補正するために、次のビデオフレームでの減少変調の反射光にシャッター開放のタイミングを合わせた画像Ｂを撮像する。前後のフレームで画像間の輝度比をとれば、反射率などの影響が補正され、被写体までの距離を画像の明暗で表現した距離画像が得られる。この処理を順次繰り返すことで、ビデオフレームレートで被写体の距離画像を得ることができる。

図１４は、ステレオ方式における距離計測の基本原理を示す図である。ここでは、説明を簡単にするために、仕様が同じ２台の平行に配置したステレオカメラについて説明する。カメラのキャリブレーションにより、内部パラメータ（カメラ内部の焦点距離などの情報）及び外部パラメータ（カメラの３次元位置）を得ることで、内部仕様の補正、又は、平行に配置したかのように扱うことは容易にできる。まず２台のカメラを図１４のように設置する。このとき、２つのカメラの光軸は平行であり、さらに撮像面の横軸（ｘ軸）も一致させた（互いに回転していない）カメラ配置である。（Ｘ，Ｙ，Ｚ）を右カメラの焦点を原点とした実際の空間の座標系とする。（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）をそれぞれ左カメラ、右カメラの撮像面上で、それぞれの光軸との交点を原点とした座標系とする。また、Ｘ、ｘｌ、ｘｒ軸は全て、左カメラの焦点から右カメラの焦点に向かう方向に一致させる。

すると、ｙｌ＝ｙｒとなり、また実際の空間の点Ｐ（Ｘ，Ｙ，Ｚ）とそれぞれのカメラでの投影点ｍｌ（ｘｌ，ｙｌ）、ｍｒ（ｘｒ，ｙｒ）との関係は、式５のようになる。

ここで、Ｂはカメラ間隔、ｆは焦点距離で共に定数である。そこで、ｘｌ−ｘｒ（視差）を計測すればＺは求まるので、右カメラでの像の位置（ｘｒ，ｙｒ）より、測定対象である点Ｐの座標（Ｘ，Ｙ，Ｚ）を求めることができる。

実施の形態２においては、アクティブ方式、パッシブ方式のどちらを用いてもかまわない。ただし、アクティブ方式の場合には、一旦、光を照射し終えてから撮影する必要があり、パッシブ方式の場合には、複数のレンズが必要になる。また、カメラ本体に距離計測センサを備えることなく、別装置にて、距離計測を行い、そのデータを獲得するという方法でも構わない。この回路で得られる距離情報を用いて、下記に述べるテーブルを用いて、連写画像を選択する。

次に、距離とフラッシュ光の照射量が少ないときの色とフラッシュ光の照射量が多いときの色とを示すテーブルについて図１５Ａ、図１５Ｂ及び図１６を用いて説明する。

図１５Ａは、ＲＧＢ色空間での距離とフラッシュ光量が少ないときの色ベクトルと多いときの色ベクトルとの関係を示す図である。図１５Ｂは、ＹＣｒＣｂ又はＹＵＶ色空間での距離とフラッシュ光量が少ないときの色ベクトルと多いときの色ベクトルとの関係を示す図である。

対象の最適な色は、画素毎に、求められた距離と、フラッシュ光量の少ないときの色と多いときの色とから、自然光に近い色を関連付けるテーブルを予め用意しておくことで、求めることができる。

例えば、ＲＧＢ色空間を用いる場合は、図１５Ａに示すように、距離とフラッシュ光の照射量が少ない場合のＲＭＩＮ、ＧＭＩＮ、ＢＭＩＮと多い場合のＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸの合計７次元空間中の１点（図１５Ａの最適な点）を見つける問題として考えることができる。これにより、距離が異なる複数の被写体が存在する場合においても、テーブル参照を行うだけで最適な色を求めることができる。

なお、色空間はＲＧＢ色空間に限らず、ＹＣｒＣｂ色空間などを用いてもよい。ＹＣｒＣｂ又はＹＵＶ色空間を用いた場合、色成分を変化させることなく、輝度成分のみを変化させればよいので、テーブルの引数として輝度成分のみを持たせることにより３次元空間に圧縮することができるという効果がある。図１５Ｂに示すように、フラッシュ光の照射量が少ない場合の輝度ＹＭＩＮと、フラッシュ光の照射量が多い場合の輝度ＹＭＡＸと、距離との３次元空間中の１点（図１５Ｂの最適な点）を見つける問題になる。

図１６は、ＲＧＢ色空間の色変換テーブルの一例を示す図である。

同図に示すように、色変換テーブル３３は、フラッシュ光の照射量が少ない場合のＲＭＩＮ、ＧＭＩＮ、ＢＭＩＮと、フラッシュ光の照射量が多い場合のＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸと、被写体までの距離とに対応する最適な値となるＲＧＢのそれぞれの値を関連付けたテーブルである。

画像生成部３４は、色情報取得部１４で取得された色ベクトルとＲＭＩＮ、ＧＭＩＮ、ＢＭＩＮとを比較し、輝度情報取得部１５で取得された色ベクトルとＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸとを比較する。さらに、距離取得部３１で取得した距離と、図１６の距離ｌとを比較し、全てに対応する最適なＲＧＢの各値を生成することができる。

次に、色変換テーブルの作成方法について述べる。ここでは、２通りの学習方法について述べる。

まず、第１の方法として暗い環境下で紙などに色を印刷し、その紙をカメラから遠ざけながら撮影するという方法である。この方法によると、カメラからの距離を既知とすることができる。また、フラッシュ光の照射のＯＮ、ＯＦＦ、自然環境下での３パターンの撮影を繰り返すことで、距離とフラッシュ光のＯＮの明るさとＯＦＦの明るさと、その３条件のときに、自然環境下でどのような色になるかの関係が得られる。これをテーブルとして保持することで実際の撮影時に観測される３パラメータ（距離、フラッシュ光量小画像、フラッシュ光量大画像）に対して、自然環境下での色を一意に決定できる。

第２の方法としては、プロジェクタと動的に移動可能な平面とを用いる方法がある。平面が、ある既知の距離に位置するときに、自然環境下で、プロジェクタから色を投影し、カメラで撮影する。次に、その平面のままで暗い環境下にし、フラッシュ光の照射量が少ない場合と多い場合との２通りで撮影を行う。この操作を、平面を移動させながら、また、プロジェクタで投影する色を変えながら撮影を行うことで、フラッシュ光量の異なる２パターンの色情報と、自然環境下の色と、そのときのカメラから対象までの距離とを得ることができる。

なお、例えば、プロジェクタを使う他の方法など、明るさの異なる２通りの色と距離との関係を得ることができるのであれば、他の方法でも構わない。

実施の形態２では、色変換テーブルを距離情報とフラッシュ光の情報からなるテーブルにしたが、これを、被写体が何であるかの認識を行い、それに最適なものを選択するテーブルを用いてもよい。

以上までで、テーブルを用いた色最適化合成方法について述べたが、実施の形態１と同様に、次に述べる計算式により色を計算することで、被写体毎に最適な画像を生成することも可能である。

各場所に到達する光は、距離の２乗分の１で減衰する特徴がある。したがって、各画素の最適な明るさの関係も、ある場所を基点にした場合に、２乗分の１の比で変化するという関係にある。各画素の被写体までの距離が分かれば、ある１点について、明るさを決めた場合、式６で最適な明るさを計算することができる。

式６において、Ｒ４、Ｇ４、Ｂ４は、元の色である。例えば、Ｒ４、Ｇ４、Ｂ４は、式４に基づいて算出したＲ３、Ｇ３、Ｂ３である。Ｒ５、Ｇ５、Ｂ５は、明るさを補正した色である。ｌ１は、基準となる明るさの画素における被写体までの距離であり、ｌ２は、対象とする画素における被写体までの距離である。この比の分だけ明るさを変えることにより、巨大なテーブルを持つことなく、計算により明るさを変えた画像を得ることができる。

（実施の形態３）
実施の形態３の撮像装置は、被写体を連写撮影する際に、１枚の画像を取得する毎にフラッシュ光の光量を変えることで、輝度の異なる複数の画像からなる連写画像を取得する撮像装置である。

図１７は、実施の形態３における撮像装置５０の構成の一例を示すブロック図である。同図の撮像装置５０は、実施の形態１の撮像装置１０と比べて、発光部１１の代わりに発光部５１を備え、さらに、新たに発光制御部５２を備える点が異なる。以下では、実施の形態１と同じ点の説明を省略し、異なる点を中心に説明する。

発光部５１は、フラッシュ光の光量を変更することができるＬＥＤなどである。発光部５１は、発光制御部５２によって定められた光量のフラッシュ光を被写体２０に照射する。

発光制御部５２は、発光部５１が照射するフラッシュ光の光量を制御する。より具体的には、取得された１枚の画像毎のフラッシュ光の光量が異なるように、撮像装置５０の連写速度に合わせて、発光部５１を制御することでフラッシュ光の光量を変更させる。

以上の構成により、１枚の画像を取得する毎にフラッシュ光の光量を変更させることができるので、確実に、輝度の異なる複数の画像からなる連写画像を取得することができる。

例えば、実施の形態１及び２では、連写速度が速い場合を想定しており、この場合は、フラッシュ光を１度照射している間に、被写体を連写することで、フラッシュ光の光量が少ない画像とフラッシュ光の光量が多い画像との両方を得ることができる。しかしながら、必ずしも、十分な連写速度を確保できるとは限らない。実施の形態３の撮像装置は、連写速度が遅い場合であっても、上述の構成により、輝度の異なる複数の画像からなる連写画像を取得することができる。

図１８は、実施の形態３における撮像装置５０の具体例である電子カメラ３００の構成の一例を示すブロック図である。同図の電子カメラ３００は、実施の形態２の電子カメラ２００と比較して、新たに、フラッシュ制御回路３０１を備える点が異なる。以下では、実施の形態２と同じ点の説明を省略し、異なる点を中心に説明する。

フラッシュ制御回路３０１は、フラッシュ１１８の発光量を制御する。フラッシュ制御回路３０１が、図１７の発光制御部５２に相当する。

なお、フラッシュ制御回路３０１を備えない場合、システム制御回路１１３が、ソフトウェア処理で後述するように追跡及び更新処理を行ってもよい。

図１９は、フラッシュ光の光量の制御と、撮影画像からの合成画像の生成との流れを示す図である。

電子カメラ３００が備えるフラッシュ制御回路３０１によって、図１９に示すように、フラッシュ光の光量の少ない照射での撮影とフラッシュ光の光量の多い照射での撮影とを行うことによって、被写体への照射量が少ない画像と多い画像とを得ることができる。光量を変えた撮影の回数は、被写体が少なければ、少なく、距離の異なる被写体が複数いる場合は、多く設定される。

以上のようにフラッシュ光の光量を変えて撮影したフラッシュ光の影響が少ない画像と、フラッシュ光の影響を受けた明るい画像とから、実施の形態１及び２と同様にして画像の色合成を行い、自然光の下での撮影した場合に近い色を生成する。

以上、実施の形態３によると、連写速度が遅いカメラ、又は、距離が計測できないコンパクトカメラなどにおいても、フラッシュ照射量を変えた複数回の連写撮影によって、フラッシュ光の影響を受けない画像合成が可能になる。

なお、被写体が動かないものである場合など、取得した２枚の画像が同じ構図の画像であれば、必ずしも、連写撮影により取得した画像である必要はない。

（実施の形態４）
実施の形態４の撮像装置は、互いに異なる位置に配置された複数の発光部を備え、それぞれの発光部を順次発光させることで、それぞれの発光部からの発光に対応する連写画像を取得し、実施の形態１などに基づいて各連写画像から補正画像を生成する。そして、複数の補正画像を用いて、発光部からの発光によって生じた影を補正した影補正画像を生成する。以下では、まず、実施の形態４の撮像装置の構成について、図２０を用いて説明する。

図２０は、実施の形態４の撮像装置６０の構成の一例を示すブロック図である。同図の撮像装置６０は、実施の形態１の撮像装置１０と比べて、発光部１１の代わりに複数の発光部６１ａ、６１ｂ及び６１ｃを備え、メモリ１３の代わりにメモリ６３を備え、画像生成部１７の代わりに画像生成部６７を備え、さらに、新たに発光制御部６２を備える点が異なっている。以下では、実施の形態１と同じ点の説明を省略し、異なる点を中心に説明する。

発光部６１ａ、６１ｂ及び６１ｃは、互いに異なる位置に配置され、フラッシュ光を被写体２０に照射する。発光部６１ａ、６１ｂ及び６１ｃそれぞれの発光タイミングは、発光制御部６２によって制御される。例えば、発光部６１ａ、６１ｂ及び６１ｃはそれぞれ、互いのフラッシュ光が同時に被写体２０に照射されないように、順次被写体２０にフラッシュ光を照射する。

発光制御部６２は、発光部６１ａ、６１ｂ及び６１ｃそれぞれの発光タイミングを制御する。例えば、発光制御部６２は、発光部６１ａ、６１ｂ及び６１ｃを順に発光させる。具体的には、発光制御部６２は、発光部６１ａがフラッシュ光を被写体２０に照射し終わった後に、発光部６１ｂにフラッシュ光の照射を開始させる。そして、発光部６１ｂがフラッシュ光を被写体２０に照射し終わった後に、発光部６１ｃにフラッシュ光の照射を開始させる。このように、発光部６１ａ、６１ｂ及び６１ｃのそれぞれによるフラッシュ光が、互いに同時に被写体２０に照射されないように、発光制御部６２は、発光部６１ａ、６１ｂ及び６１ｃを制御する。

メモリ６３は、画像取得部１２によって取得された連写画像を記憶する。画像取得部１２は、発光部６１ａ、６１ｂ及び６１ｃのそれぞれに対応する連写画像を取得するので、メモリ６３は、複数の連写画像を記憶する。なお、連写画像のそれぞれには、実施の形態１と同様に、光量（又は、輝度）の異なる複数の画像が含まれている。

また、メモリ６３は、さらに、画像生成部６７によって生成された複数の補正画像を記憶する。さらに、メモリ６３は、補正画像毎に、影判定部１６による判定結果を対応付けて記憶する。具体的には、メモリ６３は、画素毎に、対象画素がフラッシュ光によって生じた影であるか否かを示す情報を補正画像毎に対応付けて記憶する。

色情報取得部１４、輝度情報取得部１５、及び影判定部１６はそれぞれ、実施の形態１と同様の処理を行う。ただし、実施の形態４では、複数の連写画像が取得されるので、各処理部は、連写画像毎に実施の形態１と同様の処理を行う。

画像生成部６７は、対象画素の色情報と輝度情報とに対応する色ベクトルを画素毎に生成することで、色情報取得部１４によって選択された画像よりも輝度の高い補正画像を生成する。生成した補正画像は、メモリ６３に格納される。なお、この画像生成処理は、影判定部１６によって影と判定されなかった画素に対してのみ実行される。

さらに、画像生成部６７は、連写画像毎に生成された補正画像と影判定部１６による判定結果とを用いて、フラッシュ光により生じた影を補正することで、影の影響を補正した影補正画像を生成する。なお、このとき、画像生成部６７は、フラッシュ光によって生じた影、又は、フラッシュ光の影響によらず元からの影などの影の種類を区別することなく、全ての影の影響を補正してもよい。しかしながら、元々からの影である領域の画素値が他の方向からのフラッシュによって影でなくなった領域の画素値に置き換えられてしまう場合がある。この場合、違和感のある画像が生成されてしまうので、フラッシュ光によって生じた影についてのみ画素値の置き換えを行うことが好ましい。

例えば、画像生成部６７は、メモリ６３に格納された複数の補正画像の中から２枚の補正画像を選択する。そして、画像生成部６７は、影判定部１６による判定結果を用いて、画素毎に、２枚の補正画像の一方ではフラッシュ光によって生じた影であると判定され、かつ、２枚の補正画像の他方ではフラッシュ光によって生じた影ではないと判定された画素を特定する。そして、画像生成部６７は、特定した画素について、影補正画像の画素の画素値を、影ではないと判定された補正画像の画素値に置き換える。なお、特定した画素以外の影補正画像の画素は、いずれの補正画像の画素であってもよい。

より具体的には、画像生成部６７は、メモリ６３に格納された複数の補正画像の中から２枚の補正画像を選択し、一方をベース画像、他方を比較画像とする。そして、画像生成部６７は、影判定部１６による判定結果を用いて、画素毎に、ベース画像ではフラッシュ光によって生じた影であると判定され、かつ、比較画像ではフラッシュ光によって生じた影ではないと判定された画素を特定する。そして、画像生成部６７は、ベース画像において、特定した画素の画素値を比較画像の画素値に置き換える。

ベース画像の全ての画素に対して画素の特定と置き換えとを行った後、画像生成部６７は、他の補正画像を比較画像として選択し、以上の処理を続ける。そして、全ての補正画像に対して同様の処理を行ったときに得られているベース画像を影補正画像として出力、又は、メモリ６３に格納する。

なお、画像取得部１２は、発光部６１ａ、６１ｂ及び６１ｃのそれぞれがフラッシュ光を被写体２０に照射している間に、互いに輝度の異なる複数の画像を含む連写画像を取得する。画像取得部１２が、複数の連写画像をそれぞれ取得するタイミングは、例えば、発光制御部６２によって制御され、発光部６１ａ、６１ｂ及び６１ｃのそれぞれと同期している。

以上の構成に示すように、実施の形態４の撮像装置６０は、複数の発光部６１ａ、６１ｂ及び６１ｃを備え、それぞれに対応する連写画像を取得し、取得した連写画像から補正画像を生成する。さらに、複数の補正画像を用いて、フラッシュ光によって影となった領域を補正する。このように、実施の形態４の撮像装置６０は、フラッシュ光による影を他の画像を用いて相殺することで、フラッシュ光による影の影響を消した自然な印象の画像を生成することができる。

図２１は、実施の形態４における被写体２０と撮像装置６０と発光部６１ａ、６１ｂ及び６１ｃとの位置関係の一例を示す図である。

同図に示すように、発光部６１ａ、６１ｂ及び６１ｃはそれぞれ、互いに異なる位置に配置されている。例えば、発光部６１ａ、６１ｂ及び６１ｃそれぞれによるフラッシュ光によって生じる影が互いに異なるように、発光部６１ａ、６１ｂ及び６１ｃは配置される。一例として、図２１に示すように、発光部６１ａは被写体２０の正面に、発光部６１ｂは被写体２０の右側に、発光部６１ｃは被写体２０の左側に配置される。

なお、発光部６１ａ、６１ｂ及び６１ｃは、図２１に示すように互いに離れた位置に配置されることが好ましいので、例えば、無線などにより発光制御部６２から制御される。

また、ベース画像は、撮像装置６０が備えるレンズ及び撮像素子（画像取得部１２）に最も近い位置に位置する発光部に対応する補正画像であることが好ましい。つまり、画像生成部６７は、撮像装置６０を操作する撮影者に最も近い位置に位置する発光部に対応する補正画像をベース画像として選択する。図２１に示す例では、発光部６１ａからのフラッシュ光を照射中に撮影された連写画像から生成された補正画像がベース画像として選択される。

実施の形態４の撮像装置６０では、ベース画像を構成する画素のうち元々からの影と判定された画素については、他の補正画像（比較画像）の画素に置き換えられないため、影補正画像はベース画像の印象を引き継ぐ。したがって、撮影者が被写体２０を見たときの印象と同等の印象を与えるような自然な影補正画像を生成するためには、より撮影者に近い位置に位置する発光部に対応する補正画像をベース画像として選択することが好ましい。

図２２は、補正画像及び画素毎に対応付けた影判定結果を示すデータベースの一例を示す図である。同図に示すデータベースは、メモリ６３に記憶される。なお、データベースには、補正画像及び画素毎に対応付けた画素値も記憶されている（図示せず）。

発光部６１ａ、６１ｂ及び６１ｃはそれぞれ異なる位置に配置されており、異なる方向から被写体２０にフラッシュ光を照射するため、図２２に示すように、補正画像毎に影と判定される画素は異なっている。例えば、補正画像Ａ、Ｂ及びＣはそれぞれ、発光部６１ａ、６１ｂ及び６１ｃに対応する。なお、図２２に示す丸印は、影ではない画素であることを示す。

画像生成部６７は、例えば、複数の補正画像Ａ、Ｂ及びＣからベース画像と比較画像とを選択し、画素毎に影判定結果を比較する。ここで、補正画像Ａをベース画像として選択すると仮定する。このとき、補正画像Ｂを比較画像として選択した場合、画素番号が３の画素は、補正画像Ａでは影であって、補正画像Ｂでは影ではない画素である。したがって、画素番号が３の画素の画素値は、補正画像Ｂの画素値に置き換えられる。

続いて、補正画像Ｃを比較画像として選択した場合、画素番号が４の画素は、補正画像Ａでは影であって、補正画像Ｃでは影ではない画素である。したがって、画素番号が４の画素の画素値は、補正画像Ｃの画素値に置き換えられる。

このようにして、１枚の補正画像をベース画像、他の補正画像を比較画像として選択して、影判定結果の比較を行うことで、ベース画像において影と判定された画素のうち、比較画像において影ではないと判定された画素に順次置き換えることができる。これにより、ベース画像として選択した画像において影と判定された領域を補正した影補正画像が生成される。

なお、図２２に示す画素番号が２を示す画素のように、いずれの補正画像でも影と判定された画素は置き換えられることはない。

続いて、実施の形態４における撮像装置６０の動作について説明する。

図２３は、実施の形態４の撮像装置６０の動作を示すフローチャートである。

まず、撮像装置６０は、発光部毎に画像生成処理を行う（Ｓ３０１）。具体的には、まず、発光制御部６２が発光部６１ａ、６１ｂ及び６１ｃの順序を決定し、決定した順序に従って発光部６１ａ、６１ｂ及び６１ｃはそれぞれ、フラッシュ光を被写体２０に照射する。そして、図４に示すフローチャートに沿って、撮像装置６０は、発光部６１ａ、６１ｂ及び６１ｃのそれぞれに対応する連写画像を取得し、取得した連写画像から補正画像を生成する。生成した補正画像は、メモリ６３に格納される。さらに、影判定部１６による判定結果、具体的には、画素がフラッシュ光によって生じた影である画素か否かを示す情報をメモリ６３に格納する。

次に、画像生成部６７は、メモリ６３に格納された複数の補正画像の中から１枚の補正画像をベース画像として選択する（Ｓ３０２）。次に、画像生成部６７は、残りの補正画像の中から１枚の補正画像を比較画像として選択する（Ｓ３０３）。例えば、画像生成部６７は、発光部６１ａに対応する補正画像をベース画像として選択し、発光部６１ｂに対応する補正画像を比較画像として選択する。

続いて、画像生成部６７は、ベース画像の影領域が比較画像の影領域であるか否かを判定する（Ｓ３０４）。つまり、画像生成部６７は、ベース画像を構成する画素のうち影判定部１６によって影であると判定された画素を特定し、さらに、比較画像を構成する画素であって、ベース画像の特定した画素と同一位置に位置する画素が、影判定部１６によって影であると判定されているか否かを判定する。

ベース画像の特定した画素が比較画像において影ではない画素であった場合（Ｓ３０４でＮｏ）、画像生成部６７は、ベース画像の特定した画素の画素値を、同一位置に位置する比較画像の画素の画素値に置き換える（Ｓ３０５）。そして、画像生成部６７は、次の画素に対して影領域の判定処理を行う。

また、ベース画像の特定した画素が比較画像において影である画素であった場合（Ｓ３０４でＹｅｓ）、画像生成部６７は、次の画素に対して影領域の判定処理を行う。

影領域の判定（Ｓ３０４）と画素値の置き換え（Ｓ３０５）とが全画素に対して行われた後、他の補正画像があるか否かが判定される（Ｓ３０６）。他の補正画像がある場合（Ｓ３０６でＹｅｓ）、画像生成部６７は、他の補正画像のうち１枚の補正画像を比較画像として選択し（Ｓ３０３）、以降、ベース画像と新たな比較画像とを用いて同様の処理を行う。例えば、画像生成部６７は、新たな比較画像として発光部６１ｃに対応する補正画像を選択する。

他の補正画像がない場合（Ｓ３０６でＮｏ）、得られているベース画像を影補正画像として出力、あるいはメモリ６３に格納する。これにより、実施の形態４の撮像装置６０の処理は終了する。

以上のように、実施の形態４の撮像装置６０は、複数の発光部６１ａ、６１ｂ及び６１ｃを順次発光させることで、順次連写画像を取得し、取得した連写画像から補正画像を生成する。さらに、複数の補正画像を用いて影となった領域を相殺することで、フラッシュ光による影の影響を消した自然な印象の画像を生成することができる。

なお、画像生成部６７は、ベース画像を構成する画素の画素値を置き換えることで、画素値の置き換えられたベース画像を影補正画像として生成するが、例えば、画像生成部６７は、複数の補正画像から影ではないと判定された画素を選択して組み合わせることで影補正画像を生成してもよい。このとき、いずれの補正画像においても影であると判定された画素については、任意の補正画像の画素を選択すればよい。

以上、本発明の撮像装置及び撮像方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、実施の形態１の撮像装置において、色変換テーブルを予め記憶させておいてもよい。これにより、画像生成部１７は、数式を用いた演算処理を行う必要はなく、色変換テーブルを参照することで、最適な色を生成することができる。なお、このとき、色変換テーブルには、必ずしも距離が対応付けられていなくてもよい。

なお、このとき、色変換テーブルは、色情報取得部１４に選択される画像に含まれる可能性のある複数の色ベクトルと、輝度情報取得部１５に選択される画像に含まれる可能性のある複数の色ベクトルとの全ての値に対して、真値となりうる色ベクトルを対応付けたテーブルであってもよい。予め、全ての色ベクトルの組み合わせに対応する真値となる色ベクトルを記憶しておくことで、演算処理を必要とすることなく、最適な色ベクトルを生成することができる。

ただし、色変換テーブルは、全ての画素値及び必要な距離に対して、最適な値を対応付けられていなくてもよい。なぜならば、テーブルが膨大な量になるのを防ぐためである。この場合、色情報取得部１４、輝度情報取得部１５及び距離取得部３１によって取得された各情報と最も近い値に対応する最適な値を選択してもよい。又は、色変換テーブルの各値を補間し、補間した値から最適な値を算出してもよい。

また、各実施の形態では、画素毎に色ベクトルの取得及び生成を行うとしたが、複数の画素の集合であるブロック単位で色ベクトルの取得及び生成を行ってもよい。これにより、処理量を削減することができる。

また、実施の形態４で図２３に示すフローチャートでは、画像取得部１２が連写画像を取得するたびに、画像生成部６７が補正画像を生成するような構成について示している。これにより、メモリ６３は、複数の連写画像を記憶する必要がないため、メモリ資源を節約することができる。しかしながら、例えば、メモリ６３に十分な記憶領域が存在する場合、画像取得部１２による複数の連写画像の取得が終わってから、画像生成部６７が複数の連写画像のそれぞれから補正画像を生成してもよい。

本発明の撮像装置及び撮像方法は、ディジタルカメラなどに適用することができ、特に、フラッシュ光の影響による不自然な色、影の発生を防ぐ機能を有し、フラッシュが必要とされる夜間あるいは屋内での撮影において、ブレがなく色も自然な高画質画像の撮影が可能であるディジタルカメラとして有用である。

１０、３０、５０、６０ 撮像装置
１１、５１、６１ａ、６１ｂ、６１ｃ 発光部
１２ 画像取得部
１３、３２、６３、１１１、１２０ メモリ
１４ 色情報取得部
１５ 輝度情報取得部
１６ 影判定部
１７、３４、６７ 画像生成部
２０、４２ 被写体
３１ 距離取得部
３３、２０２ 色変換テーブル
４１ 超音波発生／受信器
４３ ステレオカメラ
４４ 測定被写体
５２、６２ 発光制御部
１００、２００、３００ 電子カメラ
１０１ 撮影レンズ
１０２ シャッター
１０３ 撮像素子
１０４ ＡＤ変換器
１０５ タイミング発生回路
１０６ 画像処理回路
１０７ メモリ制御回路
１０８ 画像表示メモリ
１０９ ＤＡ変換器
１１０ 画像表示部
１１２ リサイズ回路
１１３ システム制御回路
１１４ 露光制御部
１１５ 測距制御部
１１６ ズーム制御部
１１７ バリア制御部
１１８ フラッシュ
１１９ 保護部
１２１ 表示部
１２２ 不揮発性メモリ
１２３ モードダイアルスイッチ
１２４ シャッタースイッチ
１２５ 電源制御部
１２６、１２７、１３１、１３２ コネクタ
１２８ 電源
１２９、１３０ インタフェース
１３３ 記録媒体
１３４ 光学ファインダ
１３５ 通信部
１３６ アンテナ
１３７ 連写制御回路
１３８ 色情報取得回路
１３９ 輝度情報取得回路
１４０ 影情報取得回路
１４１、２０４ 色情報更新回路
２０１ 距離取得回路
２０３ 画素選択回路
３０１ フラッシュ制御回路

Claims (18)

1. フラッシュ光を照射して被写体を撮影する撮像装置であって、
   フラッシュ光を被写体に照射する発光手段と、
   前記発光手段によるフラッシュ光の照射中に前記被写体を撮影することで、第１画像と前記第１画像より輝度の高い第２画像とを含む連写画像を取得する画像取得手段と、
   前記第１画像から第１色ベクトルの色情報を取得する色情報取得手段と、
   前記第２画像から第２色ベクトルの輝度情報を取得する輝度情報取得手段と、
   前記第１色ベクトルの色情報と前記第２色ベクトルの輝度情報とに対応する第３色ベクトルを生成することで、前記第１画像より輝度の高い補正画像を生成する画像生成手段とを備える
   撮像装置。
2. 前記色情報取得手段は、前記第１色ベクトルから単位色ベクトルを前記色情報として算出し、
   前記輝度情報取得手段は、前記第２色ベクトルから色ベクトル強度を前記輝度情報として算出し、
   前記画像生成手段は、前記単位色ベクトルに前記色ベクトル強度を乗算することで得られる色ベクトルを前記第３色ベクトルとして生成する
   請求項１記載の撮像装置。
3. 前記色情報取得手段は、前記画像取得手段により取得された連写画像のうち、輝度が予め定められた第１閾値以下となる画像から、輝度が最大の画像を前記第１画像として選択する
   請求項１又は２記載の撮像装置。
4. 前記輝度情報取得手段は、前記画像取得手段により取得された連写画像のうち、輝度が最大となる画像を前記第２画像として選択する
   請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮像装置は、さらに、
   所定の画素が影となる画素であるか否かを判定する影判定手段を備え、
   前記画像生成手段は、前記影判定手段において影でないと判定された画素に対して、前記第３色ベクトルを生成する
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記影判定手段は、前記第１画像の前記所定の画素と、前記所定の画素に対応する前記第２画像の画素との輝度の比を算出し、算出した輝度の比が予め定められた第２閾値以下である画素を影であると判定する
   請求項５記載の撮像装置。
7. 前記影判定手段は、前記第１画像の前記所定の画素が、予め定められた第３閾値以下である画素を影であると判定する
   請求項５記載の撮像装置。
8. 前記撮像装置は、
   互いに異なる位置に配置された複数の前記発光手段と、
   前記複数の発光手段を順次発光させる制御手段とを備え、
   前記画像取得手段は、前記複数の発光手段のそれぞれに対応する連写画像を取得し、
   前記影判定手段は、前記連写画像毎に、所定の画素が影であるか否かを判定し、
   前記画像生成手段は、前記補正画像を前記連写画像毎に生成し、さらに、生成した複数の前記補正画像の中の１枚である第１補正画像では影であると判定され、かつ、他の１枚である第２補正画像では影でないと判定された画素を特定し、特定した画素の画素値が前記第２補正画像の画素の画素値となるように、影と判定された画素を補正した影補正画像を生成する
   請求項５〜７のいずれか１項に記載の撮像装置。
9. 前記画像生成手段は、前記第１補正画像を構成する画素のうち前記特定した画素の画素値を前記第２補正画像の画素の画素値に置き換えることで、画素値が置き換えられた第１補正画像を前記影補正画像として生成する
   請求項８記載の撮像装置。
10. 前記画像生成手段は、前記第１補正画像を除いた全ての前記複数の補正画像のそれぞれを前記第２補正画像として順次選択し、前記第１補正画像では影であると判定され、かつ、選択した前記第２補正画像では影でないと判定された画素を特定する
    請求項９記載の撮像装置。
11. 前記撮像装置は、さらに、
    前記第１画像に含まれる可能性のある複数の色ベクトルと、前記第２画像に含まれる可能性のある複数の色ベクトルと、複数の前記第３色ベクトルとを対応付けた色変換テーブルを記憶する記憶手段を備え、
    前記画像生成手段は、前記色変換テーブルを参照し、前記第１色ベクトルと前記第２色ベクトルとに対応する第３色ベクトルを画素毎に生成する
    請求項１記載の撮像装置。
12. 前記撮像装置は、さらに、
    当該撮像装置と前記被写体との距離を取得する距離取得手段を備え、
    前記画像生成手段は、さらに、前記距離取得手段により取得された距離を用いて前記第３色ベクトルを補正することで、前記第１画像より輝度の高い補正画像を生成する
    請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記撮像装置は、さらに、
    被写体までの複数の距離と、前記第１画像に含まれる可能性のある複数の色ベクトルと、前記第２画像に含まれる可能性のある複数の色ベクトルと、複数の前記第３色ベクトルとを対応付けた色変換テーブルを記憶する記憶手段を備え、
    前記画像生成手段は、前記色変換テーブルを参照し、前記距離と前記第１色ベクトルと前記第２色ベクトルとに対応する第３色ベクトルを画素毎に生成することで、前記補正画像を生成する
    請求項１２記載の撮像装置。
14. 前記距離取得手段は、基準となる輝度値を有する画素における前記被写体までの第１距離と、対象画素における前記被写体までの第２距離とを取得し、
    前記画像生成手段は、前記第１距離に対する前記第２距離の比の２乗を前記第３色ベクトルに乗算することで、前記第１画像より輝度の高い補正画像を生成する
    請求項１２記載の撮像装置。
15. 前記発光手段は、光量の異なるフラッシュ光を少なくとも２回照射し、
    前記画像取得手段は、前記フラッシュ光の照射毎に前記被写体を撮影することで、前記第１画像と前記第２画像とを取得し、
    前記第２画像は、前記フラッシュ光の光量が前記第１画像よりも少ない
    請求項１〜１４のいずれか１項に記載の撮像装置。
16. フラッシュ光を照射して被写体を撮影する撮像方法であって、
    フラッシュ光を被写体に照射する発光ステップと、
    前記発光ステップにおけるフラッシュ光の照射中に前記被写体を撮影することで、第１画像と前記第１画像より輝度の高い第２画像とを含む連写画像を取得する画像取得ステップと、
    前記第１画像から第１色ベクトルの色情報を取得する色情報取得ステップと、
    前記第２画像から第２色ベクトルの輝度情報を取得する輝度情報取得ステップと、
    前記第１色ベクトルの色情報と前記第２色ベクトルの輝度情報とに対応する第３色ベクトルを生成することで、前記第１画像より輝度の高い補正画像を生成する画像生成ステップとを含む
    撮像方法。
17. フラッシュ光を照射して被写体を撮影する撮像方法をコンピュータに実行させるためのプログラムであって、
    フラッシュ光を被写体に照射する発光手段を制御する発光制御ステップと、
    前記発光手段によるフラッシュ光の照射中に前記被写体を撮影することで、第１画像と前記第１画像より輝度の高い第２画像とを含む連写画像を取得する画像取得ステップと、
    前記第１画像から第１色ベクトルの色情報を取得する色情報取得ステップと、
    前記第２画像から第２色ベクトルの輝度情報を取得する輝度情報取得ステップと、
    前記第１色ベクトルの色情報と前記第２色ベクトルの輝度情報とに対応する第３色ベクトルを生成することで、前記第１画像より輝度の高い補正画像を生成する画像生成ステップとを含む
    プログラム。
18. 請求項１７に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。

Images