JP6087720B2

JP6087720B2 - 撮像装置及びその制御方法

Info

Publication number: JP6087720B2
Application number: JP2013097999A
Authority: JP
Inventors: 義尊竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-07
Filing date: 2013-05-07
Publication date: 2017-03-01
Anticipated expiration: 2033-05-07
Also published as: JP2014220626A; US9131151B2; US20140333791A1

Description

本発明は、画像の多重撮影技術に関するものである。

多重撮影は、被写体を複数のカットで撮影した画像を合成したり、画像ファイルから復号された画像と撮影画像を合成することによって、１カットの撮影では得られない素晴らしい映像効果を表現する手法である。以下では、画像データ同士を加算する処理を合成と呼び、複数の画像を繰り返して撮影することを多重撮影と呼ぶことにする。

例えば、特許文献１には、撮影画像と別の合成用画像を合成する場合に、撮影画像の撮影時情報に基づいて合成用画像を変換してから合成する方法が記載されている。また、特許文献２には、合成した画像データと共に合成前の画像データを復号するための情報を記録する方法が記載されている。

特開平１０−２７１４２７号公報特開２００２−３００３７２号公報

しかしながら、例えば、ＩＳＯ感度が異なる条件での多重撮影や、リサイズ率や明るさ補正のゲインが異なる条件での多重撮影においては、異なるノイズ量、ダイナミックレンジ、及び解像度を持つ画像が合成されることになる。その結果、現像処理のパラメータが不適切なものになる場合が発生し、画像の見栄えが悪くなることがある。

本発明は、上記課題に鑑みてなされ、その目的は、異なる撮影条件で多重撮影を行っても、最適な画像処理のパラメータを用いることにより、適切な画像処理を行ってノイズの少ない画像を得ることができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像素子を有する撮像手段と、撮影時の前記撮像素子の感度に関する情報を取得する取得手段と、前記撮像手段によって取得された複数の画像データを加算合成する合成手段と、前記合成手段によって合成された合成画像データを現像する現像手段と、前記複数の画像データの撮影時の各々の感度を比較し、前記現像手段の現像に用いるパラメータとして、前記撮像素子の感度ごとに特性が異なるパラメータのうちで感度が高い方に対応したパラメータを用いるように制御する制御手段と、を有する。

本発明によれば、異なる撮影条件で多重撮影を行っても、最適な画像処理のパラメータを用いることにより、適切な画像処理を行ってノイズの少ない画像を得ることができる。

本発明に係る実施形態の装置構成を示すブロック図。実施形態１の多重撮影処理及び画像合成処理を示すフローチャート。実施形態１の現像処理部の構成を示すブロック図。実施形態２の多重撮影処理及び画像合成処理を示すフローチャート。実施形態２の現像処理部の構成を示すブロック図。実施形態３の多重撮影処理及び画像合成処理を示すフローチャート。現像処理における各画素の配列を例示する図。輝度・色ノイズ低減処理におけるフィルタの係数を例示する図。色ゲイン処理での輝度信号に対する色ゲインの特性を例示する図。輝度・色ガンマ処理における画像データの入出力特性を例示する図。（ａ）〜（ｃ）はシャープネス処理における画像データレベルの特性を例示する図、（ｄ）〜（ｅ）はエッジ強調成分のゲイン値を例示する図。彩度補正処理おける色信号の入出力特性を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、動画や静止画を撮影するデジタルカメラなどの撮像装置により実現した例について説明するが、スマートフォン等の携帯型電子機器にも適用可能である。

［実施形態１］まず、図１乃至図３を参照して、実施形態１について説明する。なお、以下では、画像同士を加算する処理を合成、画像を繰り返し撮影する処理を多重撮影と呼ぶ。

本実施形態では、被写体を複数のカットで多重撮影し、それぞれのカットの撮影条件を画像データと共にメモリに記録しておき、画像合成後に複数の撮影条件に対応した複数の現像パラメータから、最適なパラメータを選択して現像処理を行う。

＜装置構成＞図１を参照して、本実施形態のデジタルカメラの構成及び動作について説明する。

本実施形態のデジタルカメラは、多重撮影された第１の画像データと第２の画像データ、あるいは第２の画像データの代わりに、既に記録されている画像ファイルから復号された第３の画像データを合成する機能を有する。特に、撮像素子１０１から読み出されてデジタル信号に変換された線形な画像データを合成した後に、最終画像を仕上げるための非線形な現像処理を行うことで、合成される画像の線形性を保持し、撮影時の露出値に線形に対応した合成処理を実現する。すなわち、同じ露出値で撮影された画像の合成処理は、ここでは２倍の露光量となる露出値（１ＥＶ分）で撮影されたときと等価な画質となる。

ＣＰＵ１１２は、操作入力部１１０からの撮影指示信号１１１に応じて、撮像制御部１１４へ撮像制御信号１１３を出力する。操作入力部１１０は、ユーザ操作による各種指示を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材からなる。

撮像制御部１１４は、ＣＰＵ１１２から受けた撮像制御信号１１３に応じて、不図示の光学系のレンズや絞り、シャッターなどを駆動し、撮像素子１０１へ駆動信号１１５を出力して光学系を介して撮像素子１０１の撮像面に結像された被写体像を撮像する。撮像素子１０１は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等のイメージセンサを有し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の複数の色フィルタがベイヤー配列された単板撮像素子である。

撮像素子１０１から出力されるアナログ信号は、Ａ／Ｄ変換部１０２でデジタル信号１０３に変換されて、メモリ１０４の所定のアドレスに第１の画像データとして記録される。

ＣＰＵ１１２は、操作入力部１１０からの画像記録指示信号１１１に応じて、符号化部１０６へ符号化制御信号１２１を出力する。符号化部１０６は、ＣＰＵ１１２から受けた符号化制御信号１２１に応じて、第１の画像データ１０５をメモリ１０４から読み出して、画像ファイル１０７を作成し、メモリカードなどの記録媒体１０８に記録する。

記録媒体１０８に記録された画像ファイル１０７の画像データはＲＡＷデータと呼ばれ、非線形な現像処理がなされる前の線形なデータである（以下、ＲＡＷ画像データとも呼ぶ）。

撮影条件取得部１１６は、メモリ１０４に記録されている第１の画像データを撮影したときのＩＳＯ感度、シャッター速度、絞り、レンズの焦点距離、ピント位置などの撮影条件情報１１７を撮像制御部１１４から取得し、ＣＰＵ１１２に送出する。

次に、ＣＰＵ１１２は、第１の画像データと合成する第２の画像データを作成する。第２の画像データを、第１の画像データと同様に撮影により作成する場合は、第１の画像データと同じ手順で被写体像の撮像を行って、メモリ１０４の第２の画像用の所定のアドレスに記録する。一方、既にＲＡＷ画像データが画像ファイルとして記録媒体１０８に記録されている場合には、当該画像ファイルから画像データを復号して第２の画像データを得ることもできる。

ＣＰＵ１１２は、操作入力部１１０からのファイル読み出し指示信号１１１に応じて、記録媒体１０８へ読み出し制御信号１２６を出力する。

復号部１６１は、ＣＰＵ１１２から受けた読み出し制御信号１２６に応じて、記録媒体１０８に記録されている画像ファイル１６０を読み出し、記録前のＲＡＷ画像データ１６２に復号して、メモリ１０４の第２の画像用の所定のアドレスに記録する。

撮影条件取得部１６３は、復号部１６１により記録媒体１０８から読み出される画像ファイル１６０から撮影条件情報１６４を取得し、現像処理制御部１００へ送出する。この撮影条件情報は、ＩＳＯ感度、シャッター速度、絞り、レンズの焦点距離、ピント位置などを含む。

次に、ＣＰＵ１１２は、多重撮影された複数の画像、或いは復号された画像データの合成処理を行う。

メモリ１０４に記録されている第１の画像データや第２の画像データは、合成する前に変倍部１３１での二次元空間的な線形補間によるリサイズ処理や明るさ補正部１３３でのデジタルゲイン処理が施される。また、第１の画像データと第２の画像データを同じ画素数にして画角を合わせて合成する場合には、小さい方の画像データの画素数をリサイズして大きい方の画像のサイズに合わせる処理を行う。また、第１の画像データと第２の画像データのいずれか、あるいは両方の画面の明るさを変える場合には、画像データにデジタルゲインを掛ける処理を行う。すなわち、変倍部１３１及び明るさ補正部１３３は、ＣＰＵ１１２から受けた変倍制御信号や明るさ補正制御信号１１９に応じて、メモリ１０４に記録されている第１及び第２の画像データ１３０を読み出し、リサイズ処理や明るさ補正処理を行う。

さらに、ＣＰＵ１１２は、操作入力部１１０からのホワイトバランス（ＷＢ）指示信号１１１に応じて、ＷＢ制御信号１２０をＷＢ処理部１３５へ出力する。ＷＢ処理部１３５は、リサイズ処理や明るさ補正処理後の画像データ１３２に対して、ＣＰＵ１１２から受けたＷＢ制御信号１２０に応じてホワイトバランス処理を行う。

ホワイトバランス処理後の第１の画像データは、第３の画像データ１３４として、第２の画像データは第４の画像データ１３４としてそれぞれ、メモリ１０４の第３、第４の画像用の所定の領域に記録される。このようにして、画像処理がなされた第１の画像データを第３の画像データとしてメモリ１０４に書き戻し、同様に第２の画像データを第４の画像データとしてメモリ１０４に書き戻す処理を順次行う。

次に、ＣＰＵ１１２は、操作入力部１１０からのＷＢ指示信号１１１に応じて、合成制御信号１２２を合成処理部１５１へ出力する。合成処理部１５１は、ＣＰＵ１１２から受けた合成制御信号１２２に応じて、メモリ１０４から第３及び第４の画像データ１５０を読み出して同じ位置の画素同士で加算処理する。

合成処理部１５１で合成された合成画像データ１５２は、現像処理部１４１において現像処理される。現像処理部１４１は、多重撮影目的ではなく通常の一回の撮影動作で得られたＲＡＷ画像データ１４０を現像する回路と共用できる構成であり、ＲＡＷ画像データ１４０と合成画像データ１５２は現像処理部１４１の共通の入力部に入力される。

現像処理部１４１は、現像処理制御部１００から受けた現像パラメータを制御する現像制御信号１２５に応じて、線形な合成画像データ１５２に対して、見栄えを良くするために非線形な現像処理を行って最終画像データ１４２を生成し、表示装置１４５へ出力する。ユーザは、表示装置１４５に表示される最終画像を見て画質を確認することができる。

また、最終画像データ１４２は、符号化部１４３においてＪＰＥＧなどの圧縮方式でファイル化されて画像ファイル１４４として記録媒体１０８に記録される。

現像処理制御部１００は、撮影条件情報１１７、１６４、変倍制御信号や明るさ補正制御信号１１９、合成制御信号１２２、現像制御信号１２５を入力し、これらの情報や信号に基づいて現像処理部１４１へ現像処理を制御する現像制御信号１２５を出力する。

＜多重撮影処理及び画像合成処理＞次に、図２を参照して、本実施形態のデジタルカメラによる多重撮影処理及び画像合成処理について説明する。

なお、図２の処理は、メモリ１０４に記録されたファームウェアのプログラムをＣＰＵ１１２が実行することにより実現される。

図２において、Ｓ２０１〜Ｓ２０４では、ＣＰＵ１１２は、操作入力部１１０からの撮影指示信号１１１に応じて、撮像制御部１１４により撮像素子１０１を制御して被写体像を撮像し、Ａ／Ｄ変換部１０２でデジタル信号に変換した第１の画像データ１０３をメモリ１０４の所定の領域に書き込む。また、Ｓ２０４では、撮影条件取得部１１６は、撮像制御部１１４から撮影時の撮影条件情報１１７を取得し、ＣＰＵ１１２と現像処理制御部１００に送出し、ＣＰＵ１１２は第１の画像データ１０３とともに撮影条件情報をメモリ１０４に書き込む。

次に、ＣＰＵ１１２は、操作入力部１１０から再び撮影指示信号１１１を受けた場合は、２回目の多重撮影により得られた第２の画像データ１０３をメモリ１０４に書き込む（Ｓ２０６〜Ｓ２０９）。また、Ｓ２０９では、撮影条件取得部１１６は、撮像制御部１１４から撮影時の撮影条件情報１１７を取得し、ＣＰＵ１１２と現像処理制御部１００に送出し、ＣＰＵ１１２は第２の画像データ１０３とともに撮影条件情報をメモリ１０４に書き込む。

一方、ＣＰＵ１１２は、操作入力部１１０から１回目の撮影画像と合成する画像データを、記録媒体１０８に記録されている画像ファイルとする指示を受けた場合は（Ｓ２０５）、記録媒体１０８に記録されている画像ファイル１６０を読み出して復号部１６１により復号し、復号した第２の画像データ１６２をメモリ１０４に書き込む（Ｓ２１０〜Ｓ２１３）。また、Ｓ２１３では、撮影条件取得部１６３は、記録媒体１０８から読み出された画像ファイルの撮影条件情報１６４を取得し、現像処理制御部１００へ送出し、ＣＰＵ１１２は第２の画像データ１６２とともに撮影条件情報をメモリ１０４に書き込む。

次に、ＣＰＵ１１２は、メモリ１０４に記録されている第１及び第２の画像データ１３０を読み出し（Ｓ２１４）、変倍部１３１及び明るさ補正部１３３によりリサイズ処理及び明るさ補正処理を行う（Ｓ２１５）。変倍制御信号や明るさ補正制御信号１１９に基づくリサイズ処理や明るさ補正処理に関する情報は、現像処理制御部１００に送出される（Ｓ２１６）。

次に、ＣＰＵ１１２は、リサイズ処理及び明るさ補正後の第１及び第２の画像データ１３２に対して、ＷＢ処理部１３５によりホワイトバランス処理を行う（Ｓ２１７）。

次に、ＣＰＵ１１２は、第１の画像データを処理した第３の画像データ１３４、第２の画像データを処理した第４の画像データ１３４をメモリ１０４に書き込む（Ｓ２１８）。

次に、ＣＰＵ１１２は、多重撮影（あるいは画像ファイルの読み出し）が完了した場合は（Ｓ２１９）、合成処理部１５１により第３及び第４の画像データ１５０をメモリ１０４から読み出し（Ｓ２２０）、合成する（Ｓ２２１）。

次に、ＣＰＵ１１２は、現像処理制御部１００により撮影条件情報１１７、１６４に応じた現像パラメータの制御処理を行い（Ｓ２２３）、現像処理部１４１へ現像パラメータを切り換えるための現像制御信号１２５を出力する。

現像処理部１４１は、現像処理制御部１００から受けた現像制御信号１２５に応じて、現像パラメータを設定し、合成画像データ１５２に対して現像処理を行う（Ｓ２２４）。

なお、上記Ｓ２２３及びＳ２２４での処理の詳細は後述する。

次に、ＣＰＵ１１２は、Ｓ２２４で現像処理された最終画像データ１４２から、符号化部１４３により画像ファイル１４４を作成し（Ｓ２２５）、記録媒体１０８に記録する（Ｓ２２６）。

＜現像処理＞次に、図３を参照して、現像処理部１４１の構成及び図２のＳ２２４での現像処理について説明する。

図７（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素がベイヤー配列された合成画像データ１５２は、単独の１枚撮影時のＲＡＷ画像データ１４０と同様に画像データ入力部３０１を介して、補間処理部３０２に入力される。

補間処理部３０２は、合成画像データ１５２に対して、各画素が図７（ｂ）〜（ｄ）に示すＲＧＢの３プレーンの画像データに分離され、図７（ｅ）〜（ｇ）のように０を埋める補間処理を行う。この処理によって、各画素はＲＧＢの情報を持つことになり、この各画素に対してマトリックス変換部３０３で、図７（ｈ）〜（ｊ）に示すような、一次元の輝度信号Ｙ（３０６）と二次元の色信号Ｃｒ、Ｃｂ（３２０）に変換される。この処理に用いられる３Ｘ３のマトリックス係数は、マトリックス変換テーブル３０４から与えられる。マトリックス変換テーブル３０４は、撮像素子１０１のＲＧＢの各色フィルタの分光特性に最適化されたパラメータとして予め設計値として用意されている。

マトリックス変換部３０３で分離された輝度信号Ｙ（３０６）に対しては、輝度ノイズ低減部３０７で輝度ノイズ低減処理が行われる。この輝度ノイズ低減処理では、例えば、図８（ａ）に示すような低帯域通過フィルタ特性を持つガウシアンフィルタのようなフィルタリング処理を行う。色信号３２０に対しても、同様に色ノイズ低減部３２１で色ノイズ低減処理が行われる。

輝度ノイズ低減部３０７で用いるパラメータは、輝度ノイズ低減テーブル３０８から与えられ、色ノイズ低減部３２１のパラメータは、色ノイズ低減テーブル３２２から与えられる。これらのパラメータは、最適化されたパラメータとして各テーブル３０８、３２２として予め用意され、パラメータ切換制御部３４１から入力されるパラメータ切換制御信号３４２に応じて制御される。

ここでのフィルタ特性は輝度信号用と色信号用で同じでも異なるものでもよく、カメラのノイズ性能に適応させた設計値が用いられる。

また、このフィルタのタップ数は、例えば図８（ａ）の３ｘ３タップ、図８（ｂ）の５ｘ５タップ、図８（ｃ）の７ｘ７タップなどが用意されており、タップ数が大きいほど、ノイズ低減効果が大きくなる。よって、ノイズ量に応じて最適なタップ数のフィルタが輝度ノイズ低減テーブル３０８、色ノイズ低減テーブル３２２から選択される。

次に、色信号３２０に対しては、色ゲイン部３２４で輝度信号３１０の大きさに応じた色信号を低減するために負ゲインを掛けるゲイン処理を行う。図９（ａ）は色ゲイン特性を示し、輝度信号３１０の低輝度部に対して、色ノイズが目立たないように負ゲインを掛け、また、高輝度部は画像が見栄え良く綺麗に色が抜けるように負ゲインを掛ける特性を与える。

この色ゲインも、最適化されたパラメータとして色ゲインテーブル３２５に予め用意され、パラメータ切換制御部３４１から入力されるパラメータ切換制御信号３４２に応じて色制御される。

次に、輝度信号３１０に対しては輝度ガンマ部３１１、色信号３２０に対しては色ガンマ部３２７でそれぞれ、非線形な輝度ガンマ処理、色ガンマ処理を行う。

輝度ガンマ特性は、図１０（ａ）、（ｂ）に示すような入力輝度に対する出力輝度の変換テーブルで与えられる。

色ガンマ特性は、色信号Ｃｒ、Ｃｂに対して、輝度信号Ｙと合わせて、例えば、式１に示すＲＧＢ→ＹＣｂＣｒの３次元マトリックス変換テーブルを用いてＲＧＢ信号に変換して、輝度ガンマと同様な図１０（ａ）の色ガンマテーブルで与えられる。さらに、再び式２に示すＹＣｂＣｒ→ＲＧＢの変換テーブルのように、式１の逆行列のマトリックス変換を行ってＣｒ、Ｃｂ信号を得る。

ガンマ特性は、最適化されたパラメータとして輝度ガンマテーブル３１２、色ガンマテーブル３２８として予め用意され、パラメータ切換制御部３４１から入力されるパラメータ切換制御信号３４２に応じて制御される。

ガンマテーブルは、撮像素子１０１のダイナミックレンジに合わせたテーブルが用意されている。例えば、ダイナミックレンジが０〜３５００（１２ｂｉｔ）の場合は図１０（ａ）の特性１００１、０〜３０００（１２ｂｉｔ）の場合は図１０（ｂ）の特性１００２が用いられる。

次に、ガンマ処理後の輝度信号Ｙに対してシャープネス処理部３１４においてシャープネス処理を行い、画像の尖鋭化を行う。

シャープネス特性は、図１１（ｃ）に示すような特性が二次元空間座標に対して与えられる。

図１１（ａ）に示すような輝度信号Ｙの輝度レベルの空間的変化に対して、二次微分係数を求めることで、図１１（ｂ）に示すエッジ成分を検出する。このエッジ成分にゲインＧｓを掛けて正負反転させて元の信号に加えると、画像にシャープネス効果を付与することができる。

また、ここでは、エッジ成分を元の信号に加える条件として、レベル差（Ａ−Ｂ）の絶対値（｜Ａ−Ｂ｜）に対して閾値ｔｈを設けて、
｜Ａ−Ｂ｜＞ｔｈ⇒エッジ成分を元画像に加える。
｜Ａ−Ｂ｜≦ｔｈ⇒エッジ成分を元画像に加えない。
という処理を行うことで、レベルの低いノイズ成分にシャープネス効果を与えにくくすることができる。
ｔｈ−０＜ｔｈ−１とすると、ｔｈ−１を設定した方が、よりシャープネスの効果が低くなる。

また、画像の低輝度部のノイズにシャープネス効果が掛りにくくなるように、輝度信号Ｙに対して、エッジ成分に掛けるゲインＧｓに負ゲインの重みづけを付加する。

また、画像の高輝度部の見栄えを綺麗に見せるために、シャープネス効果が掛りにくくなる特性を与えるために、ゲインＧｓに負ゲインの重みづけを付加する。これらのゲインの変化を図１１（ｄ）に示す。

シャープネス特性も、最適化されたパラメータとしてシャープネステーブル３１５に予め用意され、パラメータ切換制御部３４１から入力されるパラメータ切換制御信号３４２に応じて制御される。

最後に、ガンマ処理後の色信号Ｃｒ、Ｃｂに対しては、彩度補正部３３０で彩度補正処理を行う。

彩度補正処理では、最終的に色信号成分にゲインを掛けて、画像の見栄えを好ましい結果に仕上げる。

彩度特性は、図１２（ａ）に示すように、低彩度部は線形にゲインを掛け、高彩度部は色飽和しにくいようにゲインが低く設定される。

彩度特性も、最適化されたパラメータとして彩度補正テーブル３３１に予め用意され、パラメータ切換制御部３４１から入力されるパラメータ切換制御信号３４２に応じて制御される。

ここで、実施形態１の現像パラメータの切り換え処理について説明する。

上述した各現像パラメータは、主に入力される画像データのノイズ量に依存して変更される場合が多い。すなわち、撮影条件のうち撮像素子の感度設定（ＩＳＯ感度）に依るところが大きい。

多重撮影において、合成処理部１５１で合成される画像データのＩＳＯ感度が異なる場合、ノイズ量の多い高ＩＳＯ感度時に最適化した現像パラメータを採用することが望ましい。

例えば、ＩＳＯ２００で撮影された第１の画像データと、ＩＳＯ１６００で撮影された第２の画像データを合成する場合、各現像パラメータを以下のように制御する。すなわち、
輝度ノイズ低減テーブル３０８に、ＩＳＯ２００用に図８（ａ）の３ｘ３タップフィルタ、ＩＳＯ１６００用に図８（ｂ）の５ｘ５タップフィルタが用意されているとする。この場合、現像処理制御部１００は、撮影条件情報１１７、１６４から第１及び第２の画像データのＩＳＯ感度を比較し、高ＩＳＯ感度であるＩＳＯ１６００用の現像パラメータを選択するための現像制御信号１２５を出力する。

現像処理部１４１は、現像制御信号１２５に応じてパラメータ切換制御部３４１からパラメータ切換制御信号３４２を輝度ノイズ低減テーブル切換部３０９へ出力する。輝度ノイズ低減テーブル切換部３０９は、輝度ノイズ低減テーブル３０８からＩＳＯ１６００用の図８（ｂ）の５×５タップフィルタを選択し、輝度ノイズ低減部３０７へ送出する。

同様にして、色ノイズ低減テーブル３２２に、ＩＳＯ２００用に図８（ｂ）の５ｘ５タップフィルタ、ＩＳＯ１６００用に図８（ｃ）の７ｘ７タップフィルタが用意されているとする。この場合、図８（ｃ）の７ｘ７タップフィルタが送出される。

色ゲインテーブル３２５に、図９（ａ）に示すように、ＩＳＯ２００用に特性９０１、ＩＳＯ１６００用に特性９０１よりも多く色成分に負ゲインを掛ける特性９０２が用意されているとする。この場合、色ゲインテーブル切換部３２６は、パラメータ切換制御信号３４２に応じて特性９０２のパラメータテーブルに切り換えて、色ゲイン部３２４に送出する。

輝度ガンマテーブル３１２及び色ガンマテーブル３２８に、ＩＳＯ２００用に図１０（ａ）の特性１００１、ＩＳＯ１６００用に図１０（ｂ）の特性１００２が用意されているとする。この場合、輝度ガンマテーブル切換部３１３及び色ガンマテーブル切換部３２９は、パラメータ切換制御信号３４２に応じて、図１０（ｂ）の特性１００２を選択し、輝度ガンマ部３１１、色ガンマ部３２７へ送出する。

シャープネス処理部３１４に対しては、シャープネステーブル３１５に用意されているゲインＧｓと閾値ｔｈに対する制御を行う。図１１（ｃ）に示すように、エッジ成分に対して線形に掛けるＧｓ（ＩＳＯ２００）とＧｓ（ＩＳＯ１６００）は、Ｇｓ（ＩＳＯ２００）＞Ｇｓ（ＩＳＯ１６００）であり、ノイズ成分を増幅させにくい設定となっている。シャープネステーブル切換部３１６は、パラメータ切換制御信号３４２に応じて、Ｇｓ（ＩＳＯ１６００）を選択する。また、閾値ｔｈは、ｔｈ（ＩＳＯ２００）＜ｔｈ（ＩＳＯ１６００）となる値が用意されており、パラメータ切換制御信号３４２に応じて、ｔｈ（ＩＳＯ１６００）を選択する。

さらに、図１１（ｄ）に示すＧｓに対する重みづけテーブルでは、ＩＳＯ２００用の特性１１０１とＩＳＯ１６００用の特性１１０２のうち、特性１１０２が選択される。

彩度補正テーブル３３１には、図１２（ａ）に示すように、ＩＳＯ２００用の特性１２０１に対して、ＩＳＯ１６００用に色ノイズを増大させない特性１２０２が用意されている。彩度補正テーブル切換部３３２は、パラメータ切換制御信号３４２に応じて彩度補正テーブル３３１からいずれかの特性を選択する。

そして、上記シャープネス処理後の画像データ３１７および彩度補正処理後の画像データ３３３は現像処理出力部３３４から出力される。

以上のように、本実施形態によれば、ＩＳＯ感度の異なる条件で、多重撮影を行っても、最適な現像パラメータを用いることにより、単独の１枚撮影時よりもノイズを増大させることなく、適切な現像処理を行ってノイズの少ない画像を得ることが可能となる。

［実施形態２］次に、図４及び図５を参照して、実施形態２について説明する。

なお、以下では、実施形態１と異なる点を中心に説明を進めるために、図４において、図２と同じ処理には図２と同じ符号を付し、図５において、図３と同一の構成には図３と同じ符号を付し、重複する説明は省略する。

図５に示す現像処理部１４１は、制御信号入力部３４０から入力される現像制御信号１２５が、パラメータ切換制御部３４１とパラメータ合成制御部５４３に出力される。

本実施形態では、輝度ノイズ低減部３０７、色ノイズ低減部３２１、輝度ガンマ部３１１、色ガンマ部３２７の各現像パラメータが、撮像素子１０１のＩＳＯ感度設定に対して離散的なテーブルとして用意されている。これらは、実施形態１と同様に、ＩＳＯ感度設定に応じてパラメータ切換制御部３４１からのパラメータ切換制御信号３４２に応じて、各テーブル切換部３０９、３１３、３２３、３２９でパラメータテーブルが切り換えられる（図４のＳ２２３）
一方、ＩＳＯ感度に対して線形補間できるテーブルを持つ色ゲイン部３２４、シャープネス処理部３１４、彩度補正部３３０は、パラメータ合成制御部５４３からの制御信号５４４に応じて、各ＩＳＯ感度に応じて現像パラメータを合成する（図４のＳ４２７）。

まず、色ゲイン部３２４については、色ゲインテーブル合成部５４５が多重撮影時の各カットの撮影条件からパラメータ合成条件を算出し、算出した合成条件に応じて色ゲインテーブル３２５の合成を行って、新たに色ゲイン特性を作成する。

図９（ｂ）の特性９０１はＩＳＯ２００用、特性９０２はＩＳＯ１６００用であるとすると、ＩＳＯ２００とＩＳＯ１６００の２カットで撮影された画像を合成する場合は、特性９０１と９０２の中間のゲインが得られる特性となるようにパラメータが算出される。

また、ＩＳＯ２００が２カット、ＩＳＯ１６００が１カットで撮影された画像を合成する場合は、特性９０１と９０２を２：１に内分した特性９０３が得られるようにパラメータが算出される。

このように所定の割合で内分する演算処理によって合成された色ゲイン特性のテーブルを色ゲイン部３２４に与える。

シャープネス処理部３１４については、シャープネステーブル合成部５４６が多重撮影時の各カットの撮影条件からパラメータ合成条件を算出し、算出した合成条件に応じてシャープネステーブル３１５の合成を行って、新たにシャープネス特性を作成する。

図１１（ｅ）に示すＧｓに対する重みづけテーブルでは、ＩＳＯ２００用の特性１１０１とＩＳＯ１６００用の特性１１０２を色ゲイン処理と同様に多重撮影のカット数に応じて内分した特性１１０３を算出する。

３カットの多重撮影でＩＳＯ２００が２カット、ＩＳＯ１６００が１カットの場合は、Ｇｓ＝（Ｇｓ（ＩＳＯ２００）Ｘ２＋Ｇｓ（ＩＳＯ１６００））／３により２：１に内分したゲインを算出する。

また、閾値ｔｈも同様に、ｔｈ＝（ｔｈ（ＩＳＯ２００）Ｘ２＋ｔｈ（ＩＳＯ１６００））／３により２：１に内分した値を算出する。

このように所定の割合で内分する演算処理によって合成されたシャープネス特性のテーブルをシャープネス処理部３１４に与える。

彩度補正部３３０については、彩度補正テーブル合成部５４７が多重撮影時の各カットの撮影条件からパラメータ合成条件を算出し、算出した合成条件に応じて彩度補正テーブル３３１の合成を行って、新たに彩度補正特性を作成する。

図１２（ｂ）の特性１２０１はＩＳＯ２００用、特性１２０２はＩＳＯ１６００用であるとすると、２カットがＩＳＯ２００、１カットがＩＳＯ１６００で撮影された画像を合成する場合は、特性１２０１と１２０２を２：１に内分した特性１２０３が得られるパラメータが算出される。

このような演算処理によって合成された彩度補正特性のテーブルを彩度補正部３３０に与える。

以上のように、本実施形態によれば、ＩＳＯ感度の異なる撮影条件で、多重撮影を行った場合であっても、各カットの撮影条件のバランスを考慮した新たな現像パラメータを作成する。これにより、実施形態１に比べてノイズは増加するものの、各カットのバランスのとれた最適な現像パラメータを反映させた画像を得ることが可能となる。

［実施形態３］次に、図６を参照して、実施形態３について説明する。

なお、実施形態１では、図３のパラメータ切換制御部３４１は、ＩＳＯ感度設定に応じて自動的にパラメータ切換制御信号３４２を出力していた。これに対して、本実施形態では、ユーザが操作入力部１１０を介してパラメータテーブルを切り換える指示を出すことにより、現像処理制御部１００がパラメータ切換制御を行う。

以下では、実施形態１、２と異なる点を中心に説明を進めるために、図６において、図２や図４と同じ処理には図２と同じ符号を付し、重複する説明は省略する。

図６において、Ｓ２０１からＳ２２１までは図２や図４と同様の処理を行う。

その後、現像処理制御部１００は、予め設定されているデフォルトの現像パラメータ（例えば、ＩＳＯ１００用）を設定し（Ｓ６２８）、現像処理部１４１は、設定された現像パラメータを用いて現像処理を行う（Ｓ２２４）。

次に、ＣＰＵ１１２は、現像処理後の画像データを表示装置１４５に表示する（Ｓ６２９）。

ここで、ユーザが表示装置１４５に表示されている画像を確認し、画像が適切である否かを判断する。そして、不適であると判断した場合には、ユーザは操作入力部１１０を介してパラメータテーブルを切り換える指示を出し、現像処理制御部１００は、別のＩＳＯ感度用の現像パラメータを設定し直す（Ｓ６２８）。ここでの現像パラメータを各現像処理部ごとにユーザが設定可能にすることで、ユーザの好みに合った細かな調整を行うことができる。ただし、パラメータが膨大になり、操作が煩雑になるので、例えばＩＳＯ感度ごとに全てのパラメータが切り換えられるようにしたり、各パラメータの設定をまとめたパラメータセットを用意しても良い。

このようにして、ユーザが現像パラメータの設定を切り換えて、表示画像で確認することを繰り返しながら最適な画像が得られたならば、ユーザは操作入力部１１０を介して記録指示を出す。この記録指示を受けて、ＣＰＵ１１２は、符号化部１４３により、現像処理された合成画像データ１５２から画像ファイルを作成し（Ｓ２２５）、記録媒体１０８に記録する（Ｓ２２６）。

以上のように、本実施形態によれば、ＩＳＯ感度の異なる撮影条件で、多重撮影を行った場合であっても、ユーザが表示画像を確認し、不適であると判断した場合には、操作入力部１１０を介して現像パラメータを切り換えることができる。これにより、ユーザの好みに合った細かな画質の調整を行うことができる。

上述した各実施形態では、撮影条件としてＩＳＯ感度を例に挙げて説明したが、その他の撮影条件であっても、その条件によって現像パラメータに変更が必要な場合は、同様に現像パラメータの切り換えや合成が可能である。

さらに、撮影条件の他に、変倍制御信号や明るさ補正制御信号１１９を現像処理制御部１００へ送出し、リサイズ率が大きいほどシャープネス処理を強くしたり、明るさ補正で画像を明るくするときに彩度補正をより大きくするテーブルを選択するように、現像処理部１４１へ現像制御信号１２５を出力しても良い。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

撮像素子を有する撮像手段と、
撮影時の前記撮像素子の感度に関する情報を取得する取得手段と、
前記撮像手段によって取得された複数の画像データを加算合成する合成手段と、
前記合成手段によって合成された合成画像データを現像する現像手段と、
前記複数の画像データの撮影時の各々の感度を比較し、前記現像手段の現像に用いるパラメータとして、前記撮像素子の感度ごとに特性が異なるパラメータのうちで感度が高い方に対応したパラメータを用いるように制御する制御手段と、を有することを特徴とする撮像装置。
前記合成手段によって合成される複数の画像データは、前記撮像手段により撮像された画像と、既に記録されている画像ファイルから復号した画像を含むことを特徴とする請求項１に記載の撮像装置。
前記現像は、輝度ノイズ低減処理、色ノイズ低減処理、輝度ガンマ処理、色ゲイン処理、色ガンマ処理、シャープネス処理、彩度補正処理の少なくとも１つの処理を含み、
前記現像に含まれる処理ごとに複数のパラメータが用意されており、
前記現像手段は、前記複数のパラメータから所定のパラメータを選択するパラメータ切換手段を有することを特徴とする請求項１または２に記載の撮像装置。
前記複数の画像データはＲＡＷ画像データであることを特徴とする請求項１から３の何れか１項に記載の撮像装置。
前記現像は非線形な画像処理であることを特徴とする請求項１から４の何れか１項に記載の撮像装置。
前記現像された合成画像を表示する表示手段と、
前記現像のパラメータを変更するためのユーザ操作を受け付ける入力手段と、を更に有し、
前記制御手段は、前記入力手段により受け付けたパラメータを切り換える指示に応じて、前記現像のパラメータを制御することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
撮像素子を有する撮像手段により画像を撮影した時の前記撮像素子の感度に関する情報を取得するステップと、
前記撮像手段によって取得された複数の画像データを加算合成するステップと、
前記合成された合成画像データを現像するステップと、
前記複数の画像データの撮影時の各々の感度を比較し、前記現像に用いるパラメータとして、前記撮像素子の感度ごとに特性が異なるパラメータのうちで感度が高い方に対応したパラメータを用いるように制御するステップと、を有することを特徴とする撮像装置の制御方法。