JP2008054200A - 撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】色再現の良い画像データを得ることができる撮像装置及び画像処理プログラムを提供する。
【解決手段】露出設定部１は撮像部２の露出を設定する。撮像部２は被写体を撮像し、画像データを生成する。明部位置検出部３は画像データの明部の位置を検出する。画素データ加算部５は、基準画像データを構成する画素データに対して、基準画像データと異なる他の画像データを構成する画素データのうち、明部位置検出部３によって検出された明部を除く暗部を構成する画素データを所定のレベルまで加算する。
【選択図】図１

Description

本発明は、被写体を撮像し、画像データを生成する撮像装置に関する。また、本発明は、被写体の撮像によって生成された画像データの画像処理をコンピュータに実行させるための画像処理プログラムにも関する。

デジタルスチルカメラやビデオカメラ等で、ネオンサインのような光源を含み、且つ全体が低照度の画像となる被写体を撮影する場合、広いダイナミックレンジを確保する必要がある。このため、露出条件を変えて複数枚の画像を撮影し、撮影により取得した画像データを加算し、１枚の画像データに合成する手法が提案されている（例えば特許文献１参照）。
特開平１０−２６２１８２号公報

しかしながら、ネオンサインのような光源を含む風景を撮影した場合、以下のような問題がある。図８に示すように、光源８０１の輝度と被写体８０２の背景の輝度との差が大き過ぎるため、背景をある程度出すように露出をオーバーに設定して撮影すると、光源８０１が白飛びしてしまい、色が再現できない。一方、光源８０１の色を残すために露出をアンダーぎみに設定して撮影すると、被写体８０２が暗くなると共に、その背景が暗く潰れ過ぎてしまう。

このため、単純に複数枚の画像データを加算しただけでは、人物等の被写体に対する適正な色再現が可能であるものの、ネオンサインのような光源部分は白飛びしてしまい、肉眼での印象と異なる画像となってしまう。また、特許文献１で提案されている手法では、露出条件を３回変えているが、これらが適正な条件となるとは限らず、各撮影で得られた画像データを合成しても、色再現の良い画像データを得ることができない。

本発明は、上述した問題点に鑑みてなされたものであって、色再現の良い画像データを得ることができる撮像装置及び画像処理プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、画像データを生成する撮像手段と、前記撮像手段の露出を設定する露出設定手段と、前記画像データの明部の位置を検出する位置検出手段と、前記撮像手段によって生成された基準画像データを構成する画素データに対して、前記基準画像データと異なる他の画像データを構成する画素データのうち、前記位置検出手段によって検出された前記明部を除く暗部を構成する画素データを所定のレベルまで加算する画素データ加算手段とを有することを特徴とする撮像装置である。

また、本発明の撮像装置は、前記位置検出手段によって検出された前記明部の位置に基づいて、前記基準画像データと前記他の画像データの間の位置ずれを補正する位置ずれ補正手段をさらに有し、前記画素データ加算手段は、前記位置ずれ補正手段によって位置ずれの補正された前記基準画像データと前記他の画像データを用いて前記画素データの加算を行うことを特徴とする。

また、本発明の撮像装置において、前記位置ずれ補正手段は、前記位置ずれのうち、水平方向と垂直方向の少なくとも一方の位置ずれを補正することを特徴とする。

また、本発明の撮像装置において、前記位置ずれ補正手段は、前記基準画像データにおいて、前記位置検出手段によって検出された第１の基準点と第２の基準点とを結ぶ第１の直線と、前記他の画像データにおいて、前記位置検出手段によって検出された、前記第１の基準点に対応した第３の基準点と、前記第２の基準点に対応した第４の基準点とを結ぶ第２の直線とがなす角度に基づいて、２つの画像データの少なくとも一方を、４つの前記基準点のいずれかを中心にして回転させることによって前記位置ずれを補正することを特徴とする。

また、本発明は、画像データの明部の位置を検出する位置検出ステップと、基準画像データを構成する画素データに対して、前記基準画像データと異なる他の画像データを構成する画素データのうち、前記位置検出ステップで検出された前記明部を除く暗部を構成する画素データを所定のレベルまで加算する加算ステップとをコンピュータに実行させるための画像処理プログラムである。

また、本発明の画像処理プログラムは、前記位置検出ステップで検出された前記明部の位置に基づいて、前記基準画像データと前記他の画像データの間の位置ずれを補正する位置ずれ補正ステップをさらにコンピュータに実行させ、前記加算ステップでは、前記位置ずれ補正ステップで位置ずれの補正された前記基準画像データと前記他の画像データを用いて前記画素データの加算を行うことを特徴とする。

また、本発明の画像処理プログラムにおいて、前記位置ずれ補正ステップでは、前記位置ずれのうち、水平方向と垂直方向の少なくとも一方の位置ずれを補正することを特徴とする。

また、本発明の画像処理プログラムにおいて、前記位置ずれ補正ステップでは、前記基準画像データにおいて、前記位置検出ステップで検出された第１の基準点と第２の基準点とを結ぶ第１の直線と、前記他の画像データにおいて、前記位置検出ステップで検出された、前記第１の基準点に対応した第３の基準点と、前記第２の基準点に対応した第４の基準点とを結ぶ第２の直線とがなす角度に基づいて、２つの画像データの少なくとも一方を、４つの前記基準点のいずれかを中心にして回転させることによって前記位置ずれを補正することを特徴とする。

本発明によれば、明部と暗部のどちらについても、それぞれ適正な明るさの画像データを得ることが可能となるので、色再現の良い画像データを得ることができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。露出設定部１は、撮影状況に応じて露出を露出オーバー・露出アンダー等に設定する。撮像部２は、被写体からの光を集光し被写体像として結像する光学系と、被写体像を光電変換し撮像信号を生成する撮像素子と、撮像信号に対して所定の信号処理を行って画像データを生成する信号処理部とを備えている。明部位置検出部３は、撮像部２で生成された画像データの明部の位置を検出する。

画像位置ずれ補正部４は、明部位置検出部３によって検出された明部の位置に基づいて、２つの画像データの間の位置ずれを補正する。異なる撮像で得られた画像データを構成する画素データ同士の加算を行う場合、画像データ同士が位置ずれしてしまう確率が高くなり、その結果、加算処理後の画像データが、ぼけた画像データとなってしまう欠点がある。そこで、本実施形態では、画素データの加算を行う前に、処理対象の画像データ同士の間の位置ずれが補正される。特に、本実施形態では、加算処理後の画像データにおける明部の輝度の基準となる基本データ（本発明の基準画像データに対応）に対する他の画像データの位置ずれが補正される。

画素データ加算部５は、基本データを構成する画素データに対して、他の画像データを構成する画素データのうち、明部位置検出部３によって検出された明部を除く暗部を構成する画素データを所定のレベルまで加算する。画像データ記憶部６は、撮像部２で生成された画像データや、画素データ加算部５で処理された画像データを記憶する。制御部７は撮像装置内の各構成の動作を制御する。

次に、本実施形態による撮像装置の動作を説明する。図２は本撮像装置の動作の手順を示しており、適宜、図２を参照する。まず、ネオン等の光源を含む被写体を撮影するために、露出設定部１は撮像部２の露出をアンダー気味に設定する（ステップＳ１）。これによって、明部について適正な明るさの画像データを得ることが可能となる。続いて、撮像部２は、露出設定部１によって設定された露出条件で被写体を撮像し（ステップＳ２）、生成した画像データを基本データとして画像データ記憶部６に格納する（ステップＳ３）。図３は撮像のイメージを示しており、撮影者が肉眼で確認できる像３０１に対応した画像３０２が生成される。

撮像部２によって生成された基本データは明部位置検出部３へも出力される。明部位置検出部３は、基本データの中で、光源等が含まれる明部の位置を検出する（ステップＳ４）。この際に、基本データの輝度レベルを、所定のレベルを基準に２値化することによって、基本データを構成する画素が明部と暗部に分離され（図３参照）、明部の位置が検出される。また、明部の位置が検出されると、明部と暗部を識別することが可能となる。検出された明部の位置は制御部７に通知される。

続いて、制御部７は画像データ記憶部６から基本データを読み出し、基本データの暗部の明るさに基づいて、画素データ加算部５による加算処理の終了条件を示す基準値を設定する（ステップＳ５）。この基準値としては、例えば、カメラから近い位置に配置されている人物等の被写体が好適な明るさとなる値や、比較的離れた位置に配置されている背景が被写体の場合、背景全体の明るさが光源未満の明るさになるような基準値が設定される。いずれの場合も、輝度値の輝度分布の演算結果等に基づいて基準値を設定することが可能である。

続いて、露出設定部１は、ステップＳ１で設定した露出よりも若干大きくなるように撮像部２の露出を再設定する（ステップＳ６）。撮像部２は、露出設定部１によって再設定された露出条件で被写体を撮像し、生成した画像データを明部位置検出部３へ出力する（ステップＳ７）。明部位置検出部３はステップＳ４と同様に、画像データの中で、光源等が含まれる明部の位置を検出し、制御部７に通知する（ステップＳ８）。画像データは画像位置ずれ補正部４へ出力される。また、制御部７は、ステップＳ４及びＳ８で検出された明部の位置を画像位置ずれ補正部４に通知する。

画像位置ずれ補正部４は画像データ記憶部６から基本データを読み出し、基本データの明部の位置と、新たに生成された画像データの明部の位置とに基づいて、両者の間の位置ずれを補正する（ステップＳ９）。基本データと、位置ずれの補正された新たな画像データは画素データ加算部５へ出力される。

画素データ加算部５は、基本データを構成する画素データに対して、新たな画像データを構成する画素データのうち、明部を除く暗部を構成する画素データを加算し（ステップＳ１０）、加算後の画像データを新たな基本データとして画像データ記憶部６に格納する（ステップＳ１１）。続いて、制御部７は新たな基本データを画像データ記憶部６から読み出して、基本データの暗部の明るさを輝度値の輝度分布の演算結果等に基づいて求め、その明るさが、ステップＳ５で設定した加算処理終了の基準値に達しているか否かを判定する（ステップＳ１２）。

新たな基本データの暗部の明るさが加算処理終了の基準値に達していなかった場合には、処理がステップＳ７に戻る。また、新たな基本データの暗部の明るさが加算処理終了の基準値に達していた場合には、処理を終了し、画像データ記憶部６に格納されている画像データが最終データになる。

図４は画像データの加算処理のイメージを示している。基本となる画像データ４０１に対して、露出を変えて撮像した画像データ４０２の暗部の画素データが加算され、加算後の画像データ４０３が、次の基本となる画像データに設定される。次の基本となる画像データの暗部の明るさが加算処理終了の基準値に達していなかった場合には、再度の撮像により生成された暗部の画素データが、次の基本となる画像データに加算される。

次に、画像データの位置ずれの補正方法を説明する。画像データの位置ずれには、図５に示すように上下左右の平行（水平及び垂直）方向（図５（ａ））及び回転方向（図５（ｂ））の２種類がある。以下、図６を参照しながら、平行方向及び回転方向の位置ずれ補正の手順を説明する。図６は、回転方向の位置ずれの補正に必要な角度の値と、この角度の値に基づいて、各画素データを移動するＸ座標、Ｙ座標の値を算出する方法を示している。

位置ずれ補正は以下の手順で行われる。まず、基準となる明部位置の２点（点Ａ、点Ｂ）の座標を設定する。図６の例では、長方形の明部の対角位置に２点を設定している。続いて、位置ずれしている画像データの明部に対して、基準となる明部位置の２点（点Ａ、点Ｂ）に対応する２点（点ａ、点ｂ）を設定する。そして、点ａの座標が点Ａの座標と一致するように、位置ずれしている画像データ全体を水平及び垂直方向に平行移動する。

そして、点ａ（点Ａと同じ座標）を中心に、点ｂの座標が点Ｂの座標と一致するように、位置ずれしている画像データ全体を角度θだけ回転する。この回転によって、点Ａと点Ｂを結ぶ直線と、点ａと点ｂを結ぶ直線とが重なり、一致する。

以下、図７を参照し、回転方向の位置ずれの補正方法を詳細に説明する。座標軸上の任意の座標（ｘ１，ｙ１）を角度θだけ回転させて求められる座標を座標（ｘ２，ｙ２）とする。そして、原点Ｏと座標（ｘ１，ｙ１）を結ぶ直線がＸ軸となす角度をθ１、原点Ｏと座標（ｘ２，ｙ２）を結ぶ直線がＸ軸となす角度をθ２とすると、次の関係式（式１及び式２）が成り立つ。
θ１＝ｔａｎ^−１（ｙ１／ｘ１） ・・・（式１）
θ２＝ｔａｎ^−１（ｙ２／ｘ２） ・・・（式２）

従って、角度θは以下の式３で表される。
θ＝θ１−θ２
＝ｔａｎ^−１（ｙ２／ｘ２） −ｔａｎ^−１（ｙ１／ｘ１） ・・・（式３）

図６の点ｂの座標を座標（ｘ１，ｙ１）、点Ｂの座標を座標（ｘ２，ｙ２）とした場合、式３は、図６の点ａを中心にして点ｂを点Ｂに回転する角度（点Ａと点Ｂを結ぶ直線と、点ａと点ｂを結ぶ直線とがなす角度）θを表す。そして、平行移動した位置ずれしている画像データの任意の点の座標（ｘ３，ｙ３）を角度θだけ回転させて求められる座標（ｘ４，ｙ４）を、座標（ｘ３，ｙ３）と、式３で求められた角度θを用いて表すと、次の関係式（式４及び式５）になる。従って、式３〜式５によって、平行移動した位置ずれしている画像データの回転方向の位置ずれを補正することができる。
ｘ４＝（ｘ３^２＋ｙ３^２）^０．５ ×ｃｏｓ（θ＋ｔａｎ^−１（ｙ３／ｘ３）） ・・・（式４）
ｙ４＝（ｘ３^２＋ｙ３^２）^０．５ ×ｓｉｎ（θ＋ｔａｎ^−１（ｙ３／ｘ３）） ・・・（式５）

上述したように、本実施形態によれば、明部について適正な明るさとなるような基本データが得られた後、基本データとは異なるタイミングの撮像により生成された画像データの暗部のみの画素データを適正なレベルまで基本データに加算することによって、暗部についても適正な明るさの画像データが得られる。このように、明部と暗部のどちらについても、それぞれ適正な明るさの画像データを得ることが可能となるので、光源の輝度と被写体の背景の輝度の差が大き過ぎる撮影シーン等においても、色再現の良い画像データを得ることができる。

また、基本データに対して、基本データと異なるタイミングの撮像により生成された画像データの画素データを加算することによって、基本データに対して同一の基本データの画素データを加算する場合よりも、撮像素子のランダムノイズの影響を低減することができる。加算処理に用いられる画像データは、高速連写による撮像で生成することが望ましい。さらに、処理対象の画像データ同士の位置ずれを補正することによって、加算後の画像データにおける画像のぼけを低減することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した実施形態による撮像装置の画像処理機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行させてもよい。

ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態による撮像装置の構成を示すブロック図である。 本発明の一実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の一実施形態における撮像のイメージを示す参考図である。 本発明の一実施形態における画像データの加算処理のイメージを示す参考図である。 本発明の一実施形態における画像データの位置ずれを示す参考図である。 本発明の一実施形態における画像データの位置ずれの補正方法を示す参考図である。 本発明の一実施形態における画像データの回転方向の位置ずれの補正方法を示す参考図である。 従来の問題点を説明するための説明図である。

符号の説明

１・・・露出設定部（露出設定手段）、２・・・撮像部（撮像手段）、３・・・明部位置検出部（位置検出手段）、４・・・画像位置ずれ補正部（位置ずれ補正手段）、５・・・画素データ加算部（画素データ加算手段）、６・・・画像データ記憶部

Claims (8)

1. 被写体を撮像し、画像データを生成する撮像手段と、
   前記撮像手段の露出を設定する露出設定手段と、
   前記画像データの明部の位置を検出する位置検出手段と、
   前記撮像手段によって生成された基準画像データを構成する画素データに対して、前記基準画像データと異なる他の画像データを構成する画素データのうち、前記位置検出手段によって検出された前記明部を除く暗部を構成する画素データを所定のレベルまで加算する画素データ加算手段と、
   を有することを特徴とする撮像装置。
2. 前記位置検出手段によって検出された前記明部の位置に基づいて、前記基準画像データと前記他の画像データの間の位置ずれを補正する位置ずれ補正手段をさらに有し、
   前記画素データ加算手段は、前記位置ずれ補正手段によって位置ずれの補正された前記基準画像データと前記他の画像データを用いて前記画素データの加算を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記位置ずれ補正手段は、前記位置ずれのうち、水平方向と垂直方向の少なくとも一方の位置ずれを補正することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記位置ずれ補正手段は、前記基準画像データにおいて、前記位置検出手段によって検出された第１の基準点と第２の基準点とを結ぶ第１の直線と、前記他の画像データにおいて、前記位置検出手段によって検出された、前記第１の基準点に対応した第３の基準点と、前記第２の基準点に対応した第４の基準点とを結ぶ第２の直線とがなす角度に基づいて、２つの画像データの少なくとも一方を、４つの前記基準点のいずれかを中心にして回転させることによって前記位置ずれを補正することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 画像データの明部の位置を検出する位置検出ステップと、
   基準画像データを構成する画素データに対して、前記基準画像データと異なる他の画像データを構成する画素データのうち、前記位置検出ステップで検出された前記明部を除く暗部を構成する画素データを所定のレベルまで加算する加算ステップと、
   をコンピュータに実行させるための画像処理プログラム。
6. 前記位置検出ステップで検出された前記明部の位置に基づいて、前記基準画像データと前記他の画像データの間の位置ずれを補正する位置ずれ補正ステップをさらにコンピュータに実行させ、
   前記加算ステップでは、前記位置ずれ補正ステップで位置ずれの補正された前記基準画像データと前記他の画像データを用いて前記画素データの加算を行う
   ことを特徴とする請求項５に記載の画像処理プログラム。
7. 前記位置ずれ補正ステップでは、前記位置ずれのうち、水平方向と垂直方向の少なくとも一方の位置ずれを補正することを特徴とする請求項５又は請求項６に記載の画像処理プログラム。
8. 前記位置ずれ補正ステップでは、前記基準画像データにおいて、前記位置検出ステップで検出された第１の基準点と第２の基準点とを結ぶ第１の直線と、前記他の画像データにおいて、前記位置検出ステップで検出された、前記第１の基準点に対応した第３の基準点と、前記第２の基準点に対応した第４の基準点とを結ぶ第２の直線とがなす角度に基づいて、２つの画像データの少なくとも一方を、４つの前記基準点のいずれかを中心にして回転させることによって前記位置ずれを補正することを特徴とする請求項５〜請求項７のいずれかに記載の画像処理プログラム。
   
   

Images