JP2023064501A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供すること。【解決手段】複数フレームの画像データを位置合わせして合成する画像処理装置である。画像データには撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれる。画像処理装置は、第１のデータを、第２のデータとは独立して位置合わせ可能である。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法に関し、特には画像合成技術に関する。

必要な露光時間の１／ｎの露光時間で連続に撮影したｎ枚の複数枚の画像を合成することにより、像ブレを抑制する技術が知られている（特許文献１）。

特開2007-243775号公報

複数の画像を合成する場合、画像間の位置合わせが必要になる。しかしながら、画像間で単純に位置合わせすると、有効画素領域外の画素は、位置がずれた状態で合成されることになる。そのため、有効画素領域外の画素の値を利用したい場合に問題が生じる。特許文献１はこのような課題について認識していない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、その一態様において、有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供する。

上述の目的は、複数フレームの画像データを取得する取得手段と、複数フレームの画像データを位置合わせする位置合わせ手段と、位置合わせされた複数フレームの画像データを合成する合成手段と、を有し、画像データには、撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、位置合わせ手段が、第１のデータを、第２のデータとは独立して位置合わせ可能である、ことを特徴とする画像処理装置によって達成される。

本発明によれば、有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係る画像処理装置としての撮像装置の機能構成例を示すブロック図 撮像素子の画素領域に関する模式図 実施形態におけるＲＡＷデータの合成処理の模式図 実施形態における合成撮影モードの動作に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本発明をデジタルカメラなどの撮像装置で実施する形態に関して説明する。しかし、本発明に撮像機能は必須でなく、画像データを取り扱い可能な任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

図１は、本発明の一実施形態に係る画像処理装置の一例としての撮像装置１０の機能構成例を示すブロック図である。

制御部１１３は、プログラムを実行可能なプロセッサを１つ以上と、ＲＡＭと、ＲＯＭとを有する。制御部１１３は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込み、プロセッサによって実行することができる。制御部１１３は、プログラムを実行することにより、図１に示す機能ブロックを含む撮像装置１０の構成要素、および／または通信可能に接続された外部機器の動作を制御する。撮像装置１０の機能は、制御部１１３がプログラムを実行することにより実施することができる。なお、制御部１１３がプログラムを実行することによって実現可能な機能をハードウェア（例えばＡＳＩＣやＦＰＧＡなど）を用いて実施してもよい。ＲＯＭは例えば電気的に書き換え可能であり、制御部１１３が有するプロセッサが実行可能なプログラムのほか、撮像装置１０の設定値、ＧＵＩデータなどを記憶する。制御部１１３は例えばシステムオンチップ（ＳｏＣ）やシステムオンパッケージ（ＳｉＰ）の形態を有しうる。

撮影レンズ１００は複数のレンズおよび絞りを有し、被写体の光学像を生成する。撮像素子１０２は例えばＣＭＯＳイメージセンサであり、２次元配列された複数の光電変換部（画素）を有する。

図２は撮像素子１０２の画素配列を模式的に示した図である。撮像素子１０２は、画素が配列された領域として、有効画素領域２００と、有効画素領域外のオプティカルブラック（ＯＢ）領域２０１とを有する。有効画素領域２０２は、被写体像の撮影に用いられる（露光される）領域である。一方、ＯＢ領域２０１は被写体像の撮影には用いられない（露光されない）領域である。ＯＢ領域２０１の画素には、光の入射を防止するために例えば遮光膜を設けてもよい。

ＯＢ領域２０１に配置される画素は、遮光膜を除けば、有効画素領域２００に配置される画素と同じ構造を有する。また、有効画素領域２００の画素にカラーフィルタが設けられている場合、ＯＢ領域２０１の画素にも有効画素領域２００の画素と同様にカラーフィルタが設けられる。

有効画素領域２００およびＯＢ領域２０１は撮像素子１０２の領域であるが、本明細書では便宜上、撮像素子１０２によって得られる画像においても同様の表現を用いる。例えば、画像もしくは有効画素領域とは、撮影によって得られる１フレームの画像のうち、撮像素子１０２の有効画素領域２００の画素によって得られる画像領域を意味する。

カラーフィルタは異なる色の単位フィルタが配列された構成を有し、画素ごとに１つの単位フィルタが設けられる。例えば原色ベイヤ配列のカラーフィルタは、２×２画素を繰り返し単位として、Ｒ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の４種類の単位フィルタが配列された構成を有する。以下では、単位フィルタＧ１が設けられた画素をＧ１画素と呼ぶ。他の種類の単位フィルタが設けられた画素についても同様である。

ＯＢ領域２０１に配置される画素は、例えば、画素が有する光電変換素子（例えばフォトダイオード）のノイズ成分を検出するために用いられる。例えば、有効画素領域２００の画素の信号値から、ＯＢ領域２０１の画素の信号値を減じることにより、ノイズ成分によるオフセットを除去し、画像の黒レベルを補正することができる。

撮像素子１０２が有する画素は、電荷蓄積期間に発生した電荷量に応じた値を有する画素信号を生成する。なお、メカニカルシャッタ１０１を開閉させる撮影では、電荷蓄積期間は露光期間に相当する。メカニカルシャッタ１０１を開状態に維持する撮影では、電荷蓄積期間は蓄積電荷のリセット時から露光期間経過までの期間に相当する。一般に前者は静止画撮影、後者は動画撮影に相当するが、後者は静止画撮影にも該当しうる。

１回の電荷蓄積期間が終了すると、撮像素子１０２から、１フレーム分の画素信号群（アナログ画像信号）が読み出される。１フレーム分のアナログ画像信号には、有効画素領域２００およびＯＢ領域２０１の画素信号が含まれる。アナログ画像信号はＡ／Ｄ変換部１０３でデジタル画像信号（デジタル形式の画素信号群）に変換される。なお、撮像素子１０２がデジタル形式の画素信号群を出力可能な場合、Ａ／Ｄ変換部１０３はなくてもよい。

この段階では、各画素信号は、対応する画素が有する単位フィルタの色に応じた１つの色成分のみを有する。本明細書では、このような、所定の色成分の配列に対応する画素信号（単位フィルタの色に応じた１つの色成分のみを有する画素信号）から構成されるデジタル形式の画像信号をＲＡＷデータと呼ぶ。

Ａ／Ｄ変換部１０３もしくは撮像素子１０２から出力されるＲＡＷデータは、メモリ１１４に一旦格納される。メモリ１１４は、ＲＡＷデータや、信号処理部１１１によって処理された画像データなどを一時的に記憶するために用いられる。

ＯＢ積分部１０４は、ＲＡＷデータのうち、ＯＢ領域２０１の画素値について、画素の種類ごとの平均画素値を算出する。ここでは、撮像素子１０２が原色ベイヤ配列のカラーフィルタを有するため、ＯＢ積分部１０４は、ＯＢ領域２０１内のＲ画素、Ｇ１画素、Ｇ２画素、Ｂ画素の平均画素値を算出する。この平均画素値は黒レベルとして用いられる。

ＯＢクランプ部１０５は、有効画素領域２００の画素値に対し、ＯＢ領域２０１の画素値に基づいて黒レベルを補正するＯＢクランプ処理を適用する。ＯＢクランプ処理は、具体的には、ＯＢ積分部１０４が算出した平均画素値を減じる処理であってよい。ＯＢクランプ処理により、有効画素領域２００の画素信号から得られる画像の黒浮きや色ずれ等を抑制することができる。なお、ＯＢクランプ処理では、画素の種類に応じた黒レベルを用いる。例えば、有効画素領域２００のＲ画素の画素値については、ＯＢ領域のＲ画素から得られた黒レベルを減じる。ＯＢクランプ部１０５は、合成元の画像それぞれに対して、また合成部１０８が生成した合成画像に対して、ＯＢクランプ処理を適用する。

シェーディング補正部１０６は、有効画素領域２００の画素値に対してシェーディング補正を適用する。シェーディング補正は、撮影レンズ１００や画素が有するマイクロレンズの光学特性などに起因する画素位置に応じた輝度低下を補正する。したがって、シェーディング補正では、画素位置に応じたゲインが適用される。

ホワイトバランス（ＷＢ）処理部１０７は、シェーディング補正後の画像に対してホワイトバランス調整処理を適用する。ホワイトバランス調整処理は、シェーディング補正された画素値に対して、画素の種類（Ｒ，Ｇ１，Ｇ２，Ｂ）に応じたゲインを適用する処理である。

位置ずれ検出部１０９は、合成元の複数フレームの画像のそれぞれについて、位置ずれ量を検出する。位置ずれ量は、最初に撮影された１フレーム目のずれ量を０とした絶対的なずれ量であってもよいし、直前のフレームに対する相対的なずれ量であってもよい。絶対的なずれ量を検出する場合、１フレーム目の画像が基準画像となる。

位置ずれ検出部１０９は、フレーム間における、有効画素領域２００の画像の移動ベクトルとしてずれ量を検出することができる。位置ずれ検出部１０９は、例えば、フレーム間でテンプレートマッチングを用いる方法や、撮像装置１０が有するジャイロセンサなどの出力を用いる方法など、任意の公知技術を用いてずれ量を検出することができる。位置ずれ検出部１０９は、検出した位置ずれ量を位置ずれ補正部１１０に出力するか、メモリ１１４に保存する。

位置ずれ補正部１１０は、位置ずれ検出部１０９で検出された位置ずれ量に基づいて、合成するフレームの画像を位置合わせする。位置ずれ補正部１１０は例えば、合成するフレームの各画素の座標値を位置ずれ量に応じて変更することにより、位置合わせを行うことができる。

なお、位置ずれ補正部１１０は、有効画素領域２００の画像だけを位置合わせするモードと、有効画素領域２００とＯＢ領域２０１とを含んだ領域（例えばフレーム全体）の画像を位置合わせするモードを有する。このように、位置ずれ補正部１１０は、有効画素領域２００のデータ（第１のデータ）を、ＯＢ領域２０１のデータ（第２のデータ）とは独立して位置合わせ可能である。位置ずれ補正部１１０のモードは、例えば制御部１１３が設定可能である。

制御部１１３は、フレーム全体を位置合わせするモードが設定されていても、位置合わせによってＯＢ領域２０１の合成精度が低下する条件を満たす場合には、有効画素領域２００の画像だけを位置合わせするモードに変更してもよい。例えば、ＯＢ領域２０１が重複するフレーム数が総フレーム数Ｎの所定割合以下となる場合、制御部１１３は有効画素領域２００の画像だけを位置合わせするモードに変更することができる。ＯＢ領域２０１が重複するフレーム数は、位置ずれ検出部１０９が検出する個々のフレームの位置ずれ量に基づいて把握することができる。

合成部１０８は、選択可能な複数の合成モードの１つで複数の画像を合成し、合成画像を生成する。フレーム全体に合成処理を適用する必要はなく、基準画像における有効画素領域とＯＢ領域に対する合成処理が行われればよい。

合成部１０８は、生成した合成画像をメモリ１１４に保存する。本実施形態において撮像装置１０は、合成モードとして加算モード、平均加算モード、比較明モードが選択可能であるものとする。なお、これらの合成モードは例示であり、他の合成モードが選択可能であってもよいし、合成モードが１つであってもよい。

各合成モードにおける画像合成方法について説明する。ここで、Ｎフレーム（Ｎは２以上の整数）の画像を合成するものとする。各フレームの画像を構成する画素が、ｘｙ直交座標系の座標（ｘ，ｙ）を有し、座標（ｘ，ｙ）の画素の輝度値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１～Ｎ）、合成画像の座標（ｘ，ｙ）の画素の輝度値をＩ（ｘ，ｙ）とする。合成部１０８は、合成モードに応じて、以下のように合成画像の各画素の輝度値Ｉ（ｘ，ｙ）を算出する。

・加算モード
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
加算モードにおいて合成部１０８は、各フレームの同じ座標の画素の輝度値を加算して合成画像を生成する。加算モードは、例えば適正露出量の１／Ｎの露出量で撮影したＮフレームの画像を合成して適正露出の画像を生成する場合に用いられる。

・加算平均モード
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
加算平均モードにおいて合成部１０８は、加算モードと同様に求めた輝度値をフレーム数Ｎで割ることで、各画素の輝度値がＮフレームの平均値である合成画像を生成する。加算平均モードは、例えば高感度で撮影した画像のノイズを低減するために用いられる。

・比較明モード
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
ここで、ｍａｘ（）は、（）内の要素の最大値を抽出する関数である。各フレームで同じ座標を有するＮ画素のうち最大の輝度値から構成される合成画像が得られる。比較明モードは、例えば花火や星空を撮影した画像を合成する際に効果的である。

なお、位置合わせによる座標の変更により、合成する画素値が存在しない座標について、合成部１０８は、加算モードおよび加算平均モードでは他の所定のフレーム（例えば１フレーム目）における当該座標の画素値を代わりに用いることができる。また、合成部１０８は、加算平均モードまたは比較明モードでは存在する画素値だけを用いて合成を行うことができる（加算平均モードの場合には除数を加算に用いたフレーム数（＜Ｎ）に変更する）。なお、これらは考えられる一例であり、他の方法を用いて合成してもよい。

また、合成部１０８は、有効画素領域２００外の画像が基準画像の有効画素領域に合成されないようにする。位置合わせによって基準画像の有効画素領域に重なる位置に座標が変更された、有効画素領域２００外の画素値について、合成部１０８は、画素値が存在しない場合と同様に取り扱うことができる。

信号処理部１１１は、（合成されていない）ＲＡＷデータや、合成部１０８により生成された合成画像のデータ（合成ＲＡＷデータ）に対し、現像処理を適用する。なお、現像処理を適用するのは、有効画素領域２００に対応する画像領域である。現像処理は、色補間処理や階調補正処理（ガンマ処理）など、複数の画像処理の総称である。色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。色補間処理が適用されることにより、各画素はカラー画像として必要な複数の色成分（例えばＲＧＢやＹＣｂＣｒ）を有するようになり、ＲＡＷデータではなくなる。

信号処理部１１１は、現像後の画像データに対して、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などの検出処理、合成処理、スケーリング処理、符号化および復号処理を適用することができる。また、信号処理部１１１は、ヘッダ情報生成処理などのデータ加工処理、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出などの評価値算出処理など、様々な画像処理を適用することができる。なお、これらは信号処理部１１１が適用可能な画像処理の例示であり、信号処理部１１１が適用する画像処理を限定するものではない。

記録部１１２は、撮影モードおよび記録設定に応じて、ＲＡＷデータ、合成ＲＡＷデータ、現像処理された画像データ、これらのデータに付随する音声データなどを、メモリカードなどの記録媒体に記録する。

操作部１１５は、ユーザが撮像装置１０に様々な指示を与えるための入力デバイス（スイッチ、キー、ボタン、ダイヤル、タッチパネルなど）の総称である。
表示部１１６は、例えばタッチディスプレイであり、ライブビュー画像、再生画像、ＧＵＩ、撮像装置１０の設定値や情報などの表示に用いられる。

図４のフローチャートを用いて、撮像装置１０の合成撮影モードにおける動作について説明する。合成撮影モードは、経時的に撮影された複数フレームの画像を合成した合成画像を記録する撮影モードである。合成撮影モードでは、上述した複数の合成モードのいずれかが設定される。なお、ここでは静止画撮影に関して説明するが、各フレームを合成画像とするような動画撮影の１フレーム分の生成処理としても実行可能である。

Ｓ１０１で制御部１１３は、操作部１１５を通じてユーザから合成するフレーム数Ｎの設定を受け付ける。なお、フレーム数Ｎは、合成モードの設定と同様、事前に設定されていてもよい。

Ｓ１０２で制御部１１３は、操作部１１５を通じてユーザから撮影指示が入力されたことを検出する。撮影指示は例えば操作部１１５に含まれるシャッタボタンの全押し操作であってよい。撮影指示の入力を検出すると、制御部１１３はＳ１０３を実行する。

Ｓ１０３で制御部１１３は１フレームの撮影処理を実行する。なお、撮影時の露出条件（シャッタスピード、絞り値、感度）は、Ｓ１０２の前（例えばシャッタボタンの半押し操作を検出した際）に、例えばライブビュー画像を用いたＡＥ処理を実行して得られる適正露出量とすることができる。なお、合成モードが加算モードの場合、制御部１１３は、Ｓ１０１で設定されたフレーム数Ｎに基づいて、適正露出量の１／Ｎとなるような露出条件を設定する。

制御部１１３は撮影で得られたＲＡＷデータをメモリ１１４に保存する。制御部１１３は、１フレーム目の撮影時にはＳ１０４をスキップしてＳ１０５を実行し、２フレーム目以降の撮影時にはＳ１０４を実行する。

Ｓ１０４で、位置ずれ検出部１０９は、直近の撮影で得られた画像（ＲＡＷデータ）のずれ量を検出する。ここでは、２フレーム目以降の全ての画像について、１フレーム目の画像（基準画像）に対するずれ量を検出するものとする。また、ずれ量は、基準画像の一部をテンプレートとするテンプレートマッチングを用いて検出する。

ここでは、ずれ量の検出精度を高めるため、位置ずれ検出部１０９は、基準画像から複数のテンプレートを生成し、個々のテンプレートについて位置ずれ量を検出する。そして、位置ずれ検出部１０９は、検出された複数の位置ずれ量に基づいて、最終的な位置ずれ量を決定する。位置ずれ検出部１０９は、例えば、最も頻度が高い位置ずれ量、または位置ずれ量の平均値を最終的な位置ずれ量として決定することができるが、他の方法で決定してもよい。

Ｓ１０５で、ＯＢ積分部１０４は、直近の撮影で得られた画像（ＲＡＷデータ）のうち、ＯＢ領域２０１の画素値を用いて、画素の種類ごとに黒レベルを算出する。

Ｓ１０６で、ＯＢクランプ部１０５は、Ｓ１０５で算出された黒レベルを用いて、直近の撮影で得られた画像（ＲＡＷデータ）のうち、有効画素領域の画素に対してＯＢクランプ処理を適用する。

Ｓ１０７で、位置ずれ補正部１１０は、Ｓ１０４で検出された位置ずれ量を用い、直近の撮影で得られた画像（ＲＡＷデータ）を、基準画像に位置合わせする。この位置合わせ処理について、図３を用いて説明する。

図３は、基準画像である１フレーム目の画像（ＲＡＷデータ）３０１に対し、２フレーム目の画像（ＲＡＷデータ）３０２を位置合わせして合成処理する構成を模式的に示している。画像３０１は、有効画素領域３０１ａおよびＯＢ領域３０１ｂを有している。同様に、画像３０２は、有効画素領域３０２ａおよびＯＢ領域３０２ｂを有している。

ここでは、位置ずれ補正部１１０のモードが、有効画素領域の画像だけを位置合わせするモードに設定されているものとする。したがって、位置合わせ後の画像３０２’では、有効画素領域３０２ａ’だけが移動し、ＯＢ領域３０２ｂは移動していない。その結果、位置合わせ後の画像３０２’には画素が存在しない領域３０２ｃが生じている。位置ずれ補正部１１０のモードがフレーム全体を位置合わせするモードに設定されている場合、内部的に座標情報が変更されているが、位置合わせ前後で画像３０２の見かけに変化はない。

Ｓ１０８で、合成部１０８は、Ｓ１０７で位置合わせされた画像（図３の画像３０２’）を、基準画像もしくは前フレームまでの合成画像（合成ＲＡＷデータ）に合成する。合成部１０８は、設定されているモードに応じて、上述したように合成処理を実行する。

図３では、位置合わせによって生じた、画素が存在しない領域３０２ｃについては、合成対象から外す加算平均モードまたは比較明モードにおける合成処理の例を示している。その結果、合成画像３１０の有効画素領域３１０ａには、２フレーム目の画像が合成されない領域３１０ｃが含まれている。合成画像３１０のＯＢ領域３１０については、１フレーム目のＯＢ領域３０１ｂと２フレーム目のＯＢ領域３０２ｂが、モードに応じた方法で合成されている。

なお、画素信号がマイナス方向のノイズの影響を受けている場合、Ｓ１０６のＯＢクランプ処理で黒レベルを減じた際に画素値が０未満になる可能性がある。これを防止するため、合成画像に所定の正のオフセットを付与してからメモリ１１４に保存してもよい。合成画像にオフセットが与えられる場合、合成する画像に合成画像に与えたものと同量のオフセットを与えてからＳ１０５のＯＢクランプ処理を適用する。ＯＢクランプ処理の適用後、Ｓ１０８で合成処理を適用する前に両方の画像からオフセットを除去する。

また、図４のフローチャートでは基準画像に対して２フレーム目から順次合成を行うが、２フレーム目からＮフレーム目までの合成画像を生成し、最後に基準画像に合成するようにしてもよい。この場合、２フレーム目からＮフレーム目までの合成は、全てのフレームで重複する領域にだけ行ってもよい。基準画像の有効画素領域において、２フレーム目からＮフレーム目までの合成画像が生成されていない部分については、合成する画素値が存在しないものとして、上述した合成モードに応じた方法を適用することができる。

Ｓ１０９で、制御部１１３は、設定フレーム数Ｎの撮影が完了したか否かを判定する。制御部１１３は、撮影が完了したと判定されればＳ１１０を、判定されなければＳ１０３で次のフレームの撮影を実行する。なお、制御部１１３は例えば撮影指示が継続して入力されている間は連続して撮影を行うものとする。設定フレーム数Ｎの撮影完了前に撮影指示の入力が途絶えた場合、例えば制御部１１３はそれまでに行った処理結果を破棄して撮影スタンバイ状態に復帰してもよい。

Ｓ１１０で、ＯＢ積分部１０４が、メモリ１１４に保存された合成画像のＯＢ領域の画素値に基づいて、黒レベルを算出する。黒レベルの算出は、ＯＢ領域の画素値が合成処理後の画素値であることを除き、Ｓ１０５と同じである。

Ｓ１１１で、ＯＢ積分部１０４は、合成画像のＯＢ領域の画素値のばらつきを示す値（例えば分散値）を算出する。分散値は画素の種類（色）ごとに算出してもよいし、全ての画素について１つの分散値を算出してもよい。ＯＢ積分部１０４は、Ｓ１１０とＳ１１１の処理を並行して実行してもよい。

Ｓ１１２で、ＯＢクランプ部１０５は、Ｓ１１０で算出された、合成画像に基づく黒レベルを用い、合成画像の有効画素領域内の画素値に対してＯＢクランプ処理を適用する。なお、Ｓ１０６で合成前の画像にＯＢクランプを適用しているにも係わらず、合成後にＯＢクランプ処理を適用するのは、合成に起因した黒浮きを低減するためである。

例えば、高感度で撮影された複数フレームの画像を比較明モードで合成する場合、各フレームの画像はノイズを多く含んでいる。比較明モードの合成は、各座標において最も高い輝度値を選択するものである。したがって、ノイズによって本来の輝度値より高くなった輝度値が各座標について選択される可能性が高くなる。そのため、有効画素領域２００と同様に比較明モードで合成されたＯＢ領域２０１（合成ＯＢ領域）の画素に基づく黒レベルを用いて合成画像に対してＯＢクランプ処理を適用することにより、合成に起因する黒浮きを抑制することができる。ここでは合成による黒浮きが発生する典型例として比較明モードの合成について説明したが、他の合成モードでも合成による黒浮きは発生するため、合成画像について合成ＯＢ領域の画素に基づく黒レベルを用いたＯＢクランプ処理を適用する。

Ｓ１１３で、ＷＢ処理部１０７は、ＯＢクランプ処理された、合成画像の有効画素領域の画像（ＲＡＷデータ）に対して、ホワイトバランス調整処理を適用する。

Ｓ１１４で、信号処理部１１１が、ホワイトバランス調整処理が適用されたＲＡＷデータに対して、現像処理を適用する。信号処理部１１１は、Ｓ１１１で算出された分散値に応じて、現像処理の過程で適用するノイズ低減処理のパラメータを変更する。具体的には、信号処理部１１１は、分散値が予め定められた閾値より大きい場合には、そうでない場合よりも強いノイズ低減処理が適用されるように、ノイズ低減処理のパラメータを変更する。分散値が閾値より大きい場合にはそうでない場合よりもノイズ量が大きいためである。なお、ノイズ低減処理の強さが３通り以上ある場合には、２つ以上の閾値を用いてノイズ低減処理の強さを調整してもよい。信号処理部１１１は、現像処理後の画像データから、画像データを格納した画像データファイルを生成する。

Ｓ１１５で、記録部１１２は、Ｓ１１４で生成された画像データファイルをメモリカードなどの記録媒体や外部装置に記録する。なお、現像処理された画像データに加えて、あるいはその代わりに、Ｓ１１２でＯＢクランプ処理を適用する前の、有効画素領域の合成ＲＡＷデータを記録してもよい。また、合成ＲＡＷデータに外部装置がＳ１１２～Ｓ１１４の処理を実行するために必要な情報（Ｓ１１０で算出した黒レベルおよびＳ１１１で算出した分散量）を合成ＲＡＷデータに加えて記録してもよい。また、外部装置でＳ１０４～Ｓ１１４の処理を実行できるように、合成元のＮフレームのＲＡＷデータを記録してもよい。

記録部１１２による記録が終了すると、制御部１１３は図４に示した動作を終了し、例えば撮影スタンバイ状態に復帰する。

以上説明したように、本実施形態によれば、複数フレームのＲＡＷデータを合成する際に、ＲＡＷデータの位置合わせを、有効画素領域のデータとＯＢ領域のデータとで別個に適用できるようにした。有効画素領域のデータを独立して位置合わせ可能にすることで、ＯＢ領域のデータが有効画素領域のデータに合成されることを防止できるため、合成画像の品質低下を抑制できる。また、合成するフレーム間でＯＢ領域にズレを生じなくすることができるため、合成後のＯＢ領域から精度の良い黒レベルが算出でき、合成によって生じる画像の黒浮きを効果的に抑制することができる。

また、撮像素子１０２が積層構造を有する場合には、Ａ／Ｄ変換部１０３、メモリ１１４に加え、位置ずれ検出部１０９、位置ずれ補正部１１０、および合成部１０８も撮像素子１０２内に実装することができる。そのため、撮影、位置合わせ、合成までを撮像素子１０２で実行することも可能になる。

（その他の実施形態）
上述の実施形態では撮像装置における撮影時に合成画像を生成する場合について説明した。しかし、先に述べたとおり、本発明において撮影機能は必須でない。したがって、Ｓ１０３で撮影する代わりに、経時的に撮影され、記録されたＲＡＷデータの１フレームを取得して、Ｓ１０４以降の処理を実行する画像処理装置でも本発明を実施可能である。この場合、Ｓ１０９の判定処理は、設定数のフレームの取得を完了したか否かを判定する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１０２…撮像素子、１０４…ＯＢ積分部、１０５…ＯＢクランプ部、１０８…合成部、１０９…位置ずれ検出部、１１０…位置ずれ補正部、１１３…制御部

Claims (11)

1. 複数フレームの画像データを取得する取得手段と、
   前記複数フレームの画像データを位置合わせする位置合わせ手段と、
   位置合わせされた前記複数フレームの画像データを合成する合成手段と、を有し、
   前記画像データには、撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、
   前記位置合わせ手段が、前記第１のデータを、前記第２のデータとは独立して位置合わせ可能である、
   ことを特徴とする画像処理装置。
2. 前記位置合わせ手段が、前記第１のデータは位置合わせし、前記第２のデータは位置合わせしないことを特徴とする、請求項１に記載の画像処理装置。
3. 前記合成手段は、前記複数フレームの前記第１のデータを合成するとともに、前記複数フレームの前記第２のデータを合成し、前記第１のデータを合成する方法と、前記第２のデータを合成する方法が同じである、請求項１または２に記載の画像処理装置。
4. 前記第２のデータが、露光されない画素のデータであることを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２のデータが、前記第１のデータの黒レベルの調整に用いられることを特徴とする請求項４に記載の画像処理装置。
6. 前記黒レベルの調整が、前記複数フレームの画像データのそれぞれと、前記合成手段が合成した画像データに対して行われることを特徴とする請求項５に記載の画像処理装置。
7. さらに、前記合成手段が合成した画像データの前記第２のデータのばらつきを表す値を算出する算出手段をさらに有し、
   前記合成手段が合成した画像データの現像処理において適用するノイズ低減処理の強さが、前記ばらつきを示す値に基づいて決定される、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記合成手段は、位置合わせされた前記第２のデータが、前記第１のデータに合成されないようにすることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 撮像素子と、
   請求項１から８のいずれか１項に記載の画像処理装置と、
   を有し、
   前記複数フレームの画像データが、前記撮像素子を用いて経時的に撮影されたものである、ことを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    複数フレームの画像データを取得することと、
    前記複数フレームの画像データを位置合わせすることと、
    位置合わせされた前記複数フレームの画像データを合成することと、を有し、
    前記画像データには撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、
    前記第１のデータを、前記第２のデータとは独立して位置合わせ可能である、
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images