JP4544064B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

従来から、互いに異なる露出で複数の画像を撮像し、各画像を合成することによりダイナミックレンジを拡大した合成画像を作成することができる撮像装置としてのデジタルカメラがある。
このようなデジタルカメラには、合成画像の階調を圧縮する際に、合成画像の階調数と出力画像の階調数との比に基づき定まる直線と、合成画像の輝度分布を示すヒストグラムとを合成した合成曲線に基づき階調変換テーブルを作成し、この階調変換テーブルを参照して階調を圧縮するものがある（例えば、特許文献１参照。）。
また、合成画像の階調の圧縮時において、デジタルデータである合成画像の補正方法としてRetinex処理がよく知られている。Retinex処理には各種の変形例が考えられており、画像の補正方法として広く用いられている（例えば、特許文献２参照。）。
特開２００３−４６８５９号公報 特開２００４−１６４１２１号公報

ところで、上記特許文献１においては、ダイナミックレンジの広い合成画像中に占める重要な被写体の面積の割合が大きいことを前提としており、ヒストグラムのピーク近辺の輝度値がなるべく多くの階調に配分される階調変換テーブルを決定することによって、重要な被写体のコントラスト低下を抑制するものである。
しかし、合成画像には、重要な被写体が合成画像内に複数存在する場合や、背景に輝度が均一な比較的広い領域が存在する場合があり、このような場合にまで同じ階調変換テーブルを用いると、合成画像によってはユーザが望む圧縮画像で出力できないという問題があった。

そこで、本発明は、上記課題を解決するためになされたものであり、合成画像の圧縮時に画素データを適切に補正することができ、ユーザが望む圧縮画像を出力することができる撮像装置、撮像方法及びプログラムを提供することを目的とする。

請求項１に記載の発明は、撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段と、適正な輝度範囲を記憶した記憶手段と、前記合成画像を圧縮する画像圧縮手段と、前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正手段と、前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正手段と、を備えることを特徴とする。
ここで、適正輝度範囲とは、撮像した際に露出が適正であると認められる画素において許容される輝度値の範囲をいう。

請求項２に記載の発明は、請求項１記載の発明において、前記第２の輝度補正手段は、前記第１の輝度が前記輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度との重み平均である第２の輝度に補正することを特徴とする。

請求項３に記載の発明は、撮像手段と、適正な輝度範囲を記憶した記憶手段とを備える撮像装置による撮像方法であって、前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成ステップと、前記合成画像を圧縮する画像圧縮ステップと、前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正ステップと、前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正ステップと、を含むことを特徴とする。

請求項４に記載の発明は、撮像手段と、適正な輝度範囲を記憶した記憶手段とを備えるコンピュータを、前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段、前記合成画像を圧縮する画像圧縮手段、前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正手段、前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正手段、として機能させる。

本発明によれば、合成画像中の注目画素の輝度が同じであっても、周辺画素の輝度が異なる場合には、両注目画素が同じ輝度に補正されることがなくなり、各画素を適切に補正することができる。
また、本発明によれば、合成される画像が撮像されたときの特徴をできるだけ残しつつ、合成画像が適正な露出に近づくようにすることができる。

以下、図面を参照して、本発明に係る撮像装置、撮像方法及びプログラムの最良の形態について詳細に説明する。
＜撮像装置の構成＞
図１は、撮像装置１の構成を示すブロック図である。
撮像装置１は、集光して被写体の画像を結像するための光学系１１と、光学系１１により結像された画像を取り込むためにデジタル化する光電変換部１２と、ストロボ発光させるストロボ発光部１３と、ズーム調節を行うズーム駆動部１４と、焦点を調節するフォーカス駆動部１５と、光学系１１により結像された画像を表示させる表示部１６と、操作入力を行う操作入力部１７と、各部の動作制御を行う制御部２０と、を備えている。
光学系１１、光電変換部１２、ストロボ発光部１３、ズーム駆動部１４、フォーカス駆動部１５等により撮像手段が構成されている。

制御部２０は、各部の動作制御に関する処理プログラムに従って各処理を実行するＣＰＵ２１と、各処理を実行するための処理プログラムや画像データ等が記憶されるメモリ２２と、を備えている。
メモリ２２には、処理プログラムが展開され、当該プログラムに基づく処理を行う作業エリア２３と、各部の動作制御に関する処理プログラムが記憶されたプログラムエリア２４と、光学系１１により結像され、光電変換部１２によりデジタル化された画像の画像データや被写体の撮像にあたり適正な露出の範囲と認められる画素の輝度範囲を記憶するデータエリア２５が形成されている。
また、制御部２０には、外付けの外部メモリ２６が接続されており、画像データを記憶させることができるようになっている。

図２は、プログラムエリア２４を示す構成ブロック図である。
プログラムエリア２４には、異なる露出で撮像された、例えば、シャッタースピードの異なる二つの画像データを比較して被写体の画像内における位置の変化を抽出する位置変化抽出プログラム２４ａが記憶されている。すなわち、ＣＰＵ２１が位置変化抽出プログラム２４ａを実行することにより、制御部２０は位置変化抽出手段として機能する。
また、プログラムエリア２４には、各撮像画像を合成して一つの合成画像を作成する画像合成プログラム２４ｂが記憶されている。すなわち、ＣＰＵ２１が画像合成プログラム２４ｂを実行することにより、制御部２０は画像合成手段として機能する。
また、プログラムエリア２４には、画像合成プログラム２４ｂにより合成された合成画像を出力に合わせて圧縮する画像圧縮プログラム２４ｃが記憶されている。すなわち、ＣＰＵ２１が画像圧縮プログラム２４ｃを実行することにより、制御部２０は画像圧縮手段として機能する。
また、プログラムエリア２４には、画像圧縮プログラム２４ｃにより圧縮された圧縮画像に画像処理を施す画像処理プログラム２４ｄが記憶されている。

ここで、上述の画像圧縮プログラム２４ｃは、図３に示すように、合成画像の各画素の輝度を算出する輝度算出プログラム２４ｆを有する。すなわち、ＣＰＵ２１が輝度算出プログラム２４ｆを実行することにより、制御部２０は輝度算出手段として機能する。
また、画像圧縮プログラム２４ｃは、合成画像の所定画素を注目画素として、当該注目画素の周辺画素の輝度に基づいて注目画素の輝度を補正する輝度補正プログラム２４ｇを有する。すなわち、ＣＰＵ２１が輝度補正プログラム２４ｇを実行することにより、制御部２０は輝度補正手段として機能する。
また、画像圧縮プログラム２４ｃは、合成画像における画素の輝度が、データエリア２５に記憶された適正輝度範囲である場合には、当該画素の画素データは、輝度補正プログラム２４ｇにより補正された輝度と適正な露出で撮像された画素の輝度との間の輝度に相当する値とし、合成画像における画素の輝度が、データエリア２５に記憶された適正輝度範囲でない場合には、当該画素の画素データは、輝度補正プログラム２４ｇにより補正された輝度に相当する値とする画素データ決定プログラム２４ｈを有する。すなわち、ＣＰＵ２１が画素データ決定プログラム２４ｈを実行することにより、制御部２０は画素データ決定手段として機能する。

＜撮像処理＞
撮像装置１による撮像処理について説明する。
図１及び図４に示すように、ユーザが操作入力部１７を構成する撮像ボタンを押下すると、光学系１１が捉えているシーンが光電変換部１２に集光され、光電変換部１２はデジタル画像を作成する。このとき、光電変換部１２が有する電子シャッタや光学系１１が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる（ステップＳ１：撮像工程）。
次いで、ＣＰＵ２１は、位置変化抽出プログラム２４ａを実行することにより、露出の異なる二つの画像から被写体の画像内における位置の変化を抽出する（ステップＳ２：位置変化抽出工程）。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、ＫＬＴ法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。

次いで、ＣＰＵ２１は、画像合成プログラム２４ｂを実行することにより、二つの撮像画像を合成して一つの合成画像を作成する（ステップＳ３：画像合成工程）。撮像画像の合成においては、図５に示すように、二つの画像データのうち、露出の長い撮像画像の画像データに合わせて露出の短い撮像画像の画像データを露出の比で補正した後に合成する。具体的には、露出の長い撮像画像の画像データをＰｌ、露出の短い撮像画像の画像データをＰｓ、露出量の比をｋとすると、ＣＰＵ２１は、位置変化抽出プログラム２４ａにて算出した変換行列を用いて両画像の位置座標を合わせ、露出の短い撮像画像の画像データＰｓに露出量の比ｋを乗算した値が所定の輝度閾値よりも大きい場合は、露出の短い撮像画像の画像データＰｓに露出量の比ｋを乗算した値を画像データとして用い、露出の短い撮像画像の画像データＰｓに露出量の比ｋを乗算した値が所定の輝度閾値以下である場合は、露出の長い撮像画像の画像データＰｌを用いる。

次いで、ＣＰＵ２１は、画像圧縮プログラム２４ｃを実行することにより、画像合成プログラム２４ｂにより合成されてできた合成画像を表示部１６の出力レンジに合わせて圧縮する（ステップＳ４：画像圧縮行程）。
ここで、図６及び図７を用いて、合成画像の圧縮処理について説明すると、ＣＰＵ２１が輝度算出プログラム２４ｆを実行することにより、制御部２０は輝度算出部１０１として機能し、合成画像の各画素の輝度を算出する（ステップＳ４１：輝度算出工程）。次いで、ＣＰＵ２１が輝度補正プログラム２４ｇを実行することにより、制御部２０は輝度補正部１０２として機能し、合成画素の所定画素を注目画素として、注目画素の周辺の周辺画素を用いて輝度補正を行う（ステップＳ４２：輝度補正工程）。輝度補正の方法としては、例えば、公知の方法であるRetinex処理のシングルスケール網膜法を用いる。Retinex処理は、視覚をモデル化して注目画素に対して周辺画素の情報を加味する画素データの補正方法であり、画像の明暗部、すなわち、輝度の違いに応じて、画像の各部でゲイン調整が変わるため、ダイナミックレンジが拡大された合成画像を効果的に圧縮することができる。Retinex処理による輝度補正は、注目画素の輝度成分Ｙ（ｘ、ｙ）と周辺視野関数Ｆ（ｘ、ｙ）とした場合に、以下の式（１）で表される。
Ｙｒ＝ｌｏｇＹ（ｘ、ｙ）−ｌｏｇ｛Ｆｎ（ｘ、ｙ）＊Ｙ（ｘ、ｙ）｝・・・（１）
ここで、周辺視野関数Ｆ（ｘ、ｙ）は、ｒを注目画素と周辺画素の距離、ｃをスケール変数とした場合に、以下の式（２）で表される。
Ｆ（ｘ、ｙ）＝Ｋｅ^{−ｒ２／ｃ２} ・・・（２）
なお、Ｋは、周辺視野関数の合計が１になるように定められる。
式（１）による結果を式（３）により正規化し、出力とする。ここで、ｕはゲイン、ｖはオフセットであり、出力の輝度信号のビット数等により決定される。
Ｙｏｕｔ＝ｕＹｒ＋ｖ ・・・（３）

次いで、ＣＰＵ２１が画素データ決定プログラム２４ｈを実行することにより、制御部２０は出力輝度演算部１０３及び出力画像作成部１０４として機能し、圧縮後の圧縮画像の画素データを決定する。
具体的には、ＣＰＵ２１は、注目画素の輝度が適正な露出で撮像された画素データの適正輝度の範囲内にあるか否かを判断する（ステップＳ４３）。これは、適正な露出で撮像された画像に近い自然な出力画像を作成するためである。
ここで、適正輝度を有する画素データは、図５におけるＰａであり、実際に適正露出で撮像しなくとも適正な露出の条件がわかっていれば合成画像のどの部分に当たるかを推測することができる。
ステップＳ４３において、ＣＰＵ２１が注目画素の輝度が適正輝度の範囲内にあると判断した場合（ステップＳ４３：ＹＥＳ）、ＣＰＵ２１は、Retinex処理により補正された輝度と適正な露出の画素の輝度の平均を算出し、その平均値を画素データに決定する（ステップＳ４４：画素データ決定工程）。平均値の算出においては、単純に平均を算出してもよいし、補正された輝度又は適正な露出の画素の輝度に予めユーザにより設定された重み係数を用いて重みづけをして平均を算出してもよい。具体的には、重みづけは、画素データの処理の度合いを強めたい場合には、補正された輝度に近づくように補正された輝度に重みづけをするように平均し、逆に、画素データの処理の度合いを弱めたい場合には、適正な露出の輝度に近づくように適正な露出の輝度に重みづけをするように平均する。

一方、ステップＳ４３において、ＣＰＵ２１が注目画素の輝度が適正輝度の範囲内にないと判断した場合（ステップＳ４３：ＮＯ）、ＣＰＵ２１は、Retinex処理により補正された輝度になるように画素データを決定する。
次いで、ＣＰＵ２１は、合成画像の輝度と表示部１６の出力レンジに合わせて圧縮された圧縮画像の輝度との輝度比を算出し（ステップＳ４５）、続いて、ＣＰＵ２１は、算出された輝度比を合成画像の画素データに乗じて（ステップＳ４６）、画像の圧縮処理を終了させる。

ここで、画素データの補正から画素データの決定に至るまでの従来の方法と比較した長所を説明する。
例えば、合成画像中に輝度が等しい二つの注目画素Ｐ１，Ｐ２があるとする。この場合において、注目画素の輝度だけを見て画素データの補正を行うと、注目画素Ｐ１，Ｐ２の補正後の画素データは、ともに同じ値の画素データとなる。しかし、周辺画素を考慮して画素データの補正を行うと、図５に示すように、周囲画素の輝度の差によって補正後の画素データが異なってくる。これにより、補正後の画像の精度劣化を低減することができる。
さらに、注目画素Ｐ１，Ｐ２の輝度が、適正な露出で撮像された画素データの輝度の範囲内である場合には、平均又は重みづけ平均により、注目画素Ｐ１，Ｐ２の画素データは、補正された輝度と適正な露出で撮像された画素データの輝度との間に相当する値に決定される。これにより、画素データは適正輝度に近づく方向に補正されるので、作成される圧縮画像を自然な状態の画像に近づけることができる。

そして、ＣＰＵ２１は、合成画像を上述の手法で圧縮した後、図４に示すように、画像処理プログラム２４ｄを実行することにより、圧縮画像にガンマ補正、色補正等の画像処理を施して表示部１６に表示させるための出力画像を作成する（ステップＳ５）。
次いで、ＣＰＵ２１は、画像処理後の出力画像を表示部１６に表示させて（ステップＳ６）、本処理を終了させる。なお、表示部１６に表示された出力画像は、ユーザの判断によりデータエリア２５又は外部メモリ２６に記憶できるようにしてもよいし、出力画像を作成した段階でデータエリア２５又は外部メモリ２６に強制的に記憶させてもよい。

＜実施形態の作用効果＞
実施形態によれば、露出の異なる複数の画像を撮像し、ＣＰＵ２１による位置変化抽出プログラム２４ａの実行により、撮像された画像から被写体の画像内における位置の変化を抽出する。そして、ＣＰＵ２１による画像合成プログラム２４ｂの実行により、二つの撮像画像を合成して一つの合成画像を作成する。このとき、位置変化抽出プログラム２４ａにより抽出された位置の変化に基づき、各画素の位置を合わせた状態で合成が行われる。
作成された合成画像は、ＣＰＵ２１による画像圧縮プログラム２４ｃの実行により表示部１６の出力レンジに合わせて圧縮されるが、圧縮処理においては、ＣＰＵ２１による輝度算出プログラム２４ｆの実行により、合成画像の各画素の輝度を算出し、ＣＰＵ２１による輝度補正プログラム２４ｇの実行により、合成画像のうち、所定位置の画素を注目画素とし、この注目画素の周辺に存在する周辺画素の輝度に基づいて注目画素の輝度を補正する。
そして、ＣＰＵ２１による画素データ決定プログラム２４ｈの実行により、合成画像における画素の輝度が予め設定された適正輝度範囲内にある場合には、当該画素の画素データは、輝度補正プログラム２４ｇにより補正された輝度に相当する値と予め設定された適正な露出における輝度に相当する値の間の値とし、合成画像における画素の輝度が、適正輝度範囲内にない場合には、当該画素の画素データは、輝度補正プログラム２４ｇにより補正された輝度に相当する値とする。

これにより、合成画像を圧縮する際に、補正の対象となる注目画素の輝度は、その周辺画素の輝度に基づいて補正されるので、合成画像中の注目画素の輝度が同じで周辺画素の輝度が異なる場合であっても、両注目画素が同じ輝度に補正されることがなくなり、各画素を適切に補正することができる。
また、画素データがデータエリア２５に記憶された適正な輝度範囲内にある場合は、適正な輝度範囲内の画素データを考慮して圧縮後の画素データが決定されるため、画像データは、撮像されたときの特徴をできるだけ残しつつ、適正な露出に近づくように補正されるので、ユーザが望む圧縮画像を出力することができる。

また、画素データの決定において、画素データ決定プログラム２４ｈの実行により、合成画像における画素の輝度が予め設定された適正輝度範囲内にある場合に、当該画素の画素データを、輝度補正プログラム２４ｇにより補正された輝度に相当する値と予め設定された適正な露出における輝度に相当する値との重み平均によって算出された値に決定するので、重みの設定を変更することで画像の輝度調節を要求に合わせて調節することができるようになる。

＜その他＞
なお、本発明は上記実施形態に限られるものではない。上記実施形態においては、異なる露出で撮像され、合成される画像を二つとしたが、三つ以上の画像を合成するものであってもよい。その場合、露出補正値は、最も露出の長い画像を基準として、他の画像の露出補正値を算出すればよい。
また、合成画像の画像データの圧縮を撮像装置で行うものに限らず、合成画像の画像データをパーソナルコンピュータに送信し、パーソナルコンピュータで圧縮処理を行ってもよい。
その他、発明の範囲内で自由に設計変更が可能である。

撮像装置の構成を示すブロック図である。 図１におけるプログラムエリアの構成を示すブロック図である。 図２における画像圧縮プログラムの構成を示すブロック図である。 撮像画像の処理の流れを示すフローチャートである。 露出の異なる二つの画像データの比較を示すとともに、適正な露出の範囲と認められる輝度範囲を示すグラフである。 合成画像の圧縮処理の機能を示すブロック図である。 合成画像の圧縮処理の流れを示すフローチャートである。

符号の説明

１ 撮像装置
１１ 光学系（撮像手段）
１２ 光電変換部（撮像手段）
１３ ストロボ発光部（撮像手段）
１４ ズーム駆動部（撮像手段）
１５ フォーカス駆動部（撮像手段）
１７ 操作入力部
２０ 制御部（位置変化抽出手段、画像合成手段、画像圧縮手段、輝度算出手段、輝度補正手段、画素データ決定手段）
１０１ 輝度算出部（輝度算出手段）
１０２ 輝度補正部（輝度補正手段）
１０３ 出力輝度演算部（画素データ決定手段）

Claims (4)

1. 撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段と、
   適正な輝度範囲を記憶した記憶手段と、
   前記合成画像を圧縮する画像圧縮手段と、
   前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正手段と、
   前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記第２の輝度補正手段は、
   前記第１の輝度が前記輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度との重み平均である第２の輝度に補正する
   ことを特徴とする請求項１記載の撮像装置。
3. 撮像手段と、適正な輝度範囲を記憶した記憶手段とを備える撮像装置による撮像方法であって、
   前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成ステップと、
   前記合成画像を圧縮する画像圧縮ステップと、
   前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正ステップと、
   前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正ステップと、
   を含むことを特徴とする撮像方法。
4. 撮像手段と、適正な輝度範囲を記憶した記憶手段とを備えるコンピュータを、
   前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段、
   前記合成画像を圧縮する画像圧縮手段、
   前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第１の輝度に補正する第１の輝度補正手段、
   前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第１の輝度が前記適正輝度範囲内にある場合に、前記第１の輝度を、当該第１の輝度と適正露出が得られる輝度とに基づく第２の輝度に補正する第２の輝度補正手段、
   として機能させるプログラム。

Images