JP2023091493A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供すること。【解決手段】複数フレームの画像データを位置合わせして合成する画像処理装置である。画像データには撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれる。画像処理装置は、第１のデータを位置合わせするために用いる位置合わせ量に基づいて、第２のデータを位置合わせする。画像処理装置は、位置合わせされた第１のデータを合成した第１の合成画像のデータを、位置合わせされた第２のデータを合成した第２の合成画像のデータに基づいて補正する。【選択図】図７

Description

本発明は、画像処理装置および画像処理方法に関し、特には画像合成技術に関する。

必要な露光時間の１／ｎの露光時間で連続に撮影したｎ枚の複数枚の画像を合成することにより、像ブレを抑制する技術が知られている（特許文献１）。

特開2007-243775号公報

複数の画像を合成する場合、画像間の位置合わせが必要になる。しかしながら、画像間で単純に位置合わせすると、有効画素領域外の画素は、位置がずれた状態で合成されることになる。そのため、有効画素領域外の画素の値を利用したい場合に問題が生じる。特許文献１はこのような課題について認識していない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、その一態様において、有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供する。

上述の目的は、複数フレームの画像データを取得する取得手段と、複数フレームの画像データを位置合わせする位置合わせ手段と、位置合わせされた複数フレームの画像データを合成する合成手段と、を有する画像処理装置であって、画像データには、撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、位置合わせ手段は、複数フレームの画像データに含まれる第１のデータを位置合わせするために用いる位置合わせ量に基づいて、複数フレームの画像データに含まれる第２のデータを位置合わせし、合成手段が、位置合わせされた第１のデータを合成した第１の合成画像のデータと、位置合わせされた第２のデータを合成した第２の合成画像のデータとを生成し、画像処理装置は、第２の合成画像のデータに基づいて、第１の合成画像のデータを補正する補正手段をさらに有する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、有効画素領域外の画素値を適切に利用可能な画像合成が可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係る画像処理装置としての撮像装置の機能構成例を示すブロック図 撮像素子の画素領域に関する模式図 第１実施形態におけるＲＡＷデータの合成処理の模式図 第１実施形態における合成撮影モードの動作に関するフローチャート 第２実施形態の背景を説明するための図 第２実施形態の概要を説明するための図 第２実施形態における合成撮影モードの動作に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本発明をデジタルカメラなどの撮像装置で実施する形態に関して説明する。しかし、本発明に撮像機能は必須でなく、画像データを取り扱い可能な任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

図１は、本発明の一実施形態に係る画像処理装置の一例としての撮像装置１０の機能構成例を示すブロック図である。

制御部１１３は、プログラムを実行可能なプロセッサを１つ以上と、ＲＡＭと、ＲＯＭとを有する。制御部１１３は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込み、プロセッサによって実行することができる。制御部１１３は、プログラムを実行することにより、図１に示す機能ブロックを含む撮像装置１０の構成要素、および／または通信可能に接続された外部機器の動作を制御する。撮像装置１０の機能は、制御部１１３がプログラムを実行することにより実施することができる。なお、制御部１１３がプログラムを実行することによって実現可能な機能をハードウェア（例えばＡＳＩＣやＦＰＧＡなど）を用いて実施してもよい。ＲＯＭは例えば電気的に書き換え可能であり、制御部１１３が有するプロセッサが実行可能なプログラムのほか、撮像装置１０の設定値、ＧＵＩデータなどを記憶する。制御部１１３は例えばシステムオンチップ（ＳｏＣ）やシステムオンパッケージ（ＳｉＰ）の形態を有しうる。

撮影レンズ１００は複数のレンズおよび絞りを有し、被写体の光学像を生成する。撮像素子１０２は例えばＣＭＯＳイメージセンサであり、２次元配列された複数の光電変換部（画素）を有する。

図２は撮像素子１０２の画素配列を模式的に示した図である。撮像素子１０２は、画素が配列された領域として、有効画素領域２００と、有効画素領域外のオプティカルブラック（ＯＢ）領域２０１とを有する。有効画素領域２００は、被写体像の撮影に用いられる（露光される）領域である。一方、ＯＢ領域２０１は被写体像の撮影には用いられない（露光されない）領域である。ＯＢ領域２０１の画素には、光の入射を防止するために例えば遮光膜を設けてもよい。なお、有効画素領域２００の上方もしくは下方に、さらなるＯＢ領域２０２を設けてもよい。ＯＢ領域２０２は黒レベルの算出に用いることができるほか、垂直画素ライン単位のラインオフセット補正に用いることができる。

ＯＢ領域２０１に配置される画素は、遮光膜を除けば、有効画素領域２００に配置される画素と同じ構造を有する。また、有効画素領域２００の画素にカラーフィルタが設けられている場合、ＯＢ領域２０１の画素にも有効画素領域２００の画素と同様にカラーフィルタが設けられる。

有効画素領域２００およびＯＢ領域２０１は撮像素子１０２の領域であるが、本明細書では便宜上、撮像素子１０２によって得られる画像においても同様の表現を用いる。例えば、画像もしくは有効画素領域とは、撮影によって得られる１フレームの画像のうち、撮像素子１０２の有効画素領域２００の画素によって得られる画像領域を意味する。

カラーフィルタは異なる色の単位フィルタが配列された構成を有し、画素ごとに１つの単位フィルタが設けられる。例えば原色ベイヤ配列のカラーフィルタは、２×２画素を繰り返し単位として、Ｒ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の４種類の単位フィルタが配列された構成を有する。以下では、単位フィルタＧ１が設けられた画素をＧ１画素と呼ぶ。他の種類の単位フィルタが設けられた画素についても同様である。

ＯＢ領域２０１に配置される画素は、例えば、画素が有する光電変換素子（例えばフォトダイオード）のノイズ成分を検出するために用いられる。例えば、有効画素領域２００の画素の信号値から、ＯＢ領域２０１の画素の信号値を減じることにより、ノイズ成分によるオフセットを除去し、画像の黒レベルを補正することができる。

撮像素子１０２が有する画素は、電荷蓄積期間に発生した電荷量に応じた値を有する画素信号を生成する。なお、メカニカルシャッタ１０１を開閉させる撮影では、電荷蓄積期間は露光期間に相当する。メカニカルシャッタ１０１を開状態に維持する撮影では、電荷蓄積期間は蓄積電荷のリセット時から露光期間経過までの期間に相当する。一般に前者は静止画撮影、後者は動画撮影に相当するが、後者は静止画撮影にも該当しうる。

１回の電荷蓄積期間が終了すると、撮像素子１０２から、１フレーム分の画素信号群（アナログ画像信号）が読み出される。１フレーム分のアナログ画像信号には、有効画素領域２００およびＯＢ領域２０１の画素信号が含まれる。アナログ画像信号はＡ／Ｄ変換部１０３でデジタル画像信号（デジタル形式の画素信号群）に変換される。なお、撮像素子１０２がデジタル形式の画素信号群を出力可能な場合、Ａ／Ｄ変換部１０３はなくてもよい。

この段階では、各画素信号は、対応する画素が有する単位フィルタの色に応じた１つの色成分のみを有する。本明細書では、このような、所定の色成分の配列に対応する画素信号（単位フィルタの色に応じた１つの色成分のみを有する画素信号）から構成されるデジタル形式の画像信号をＲＡＷデータと呼ぶ。

Ａ／Ｄ変換部１０３もしくは撮像素子１０２から出力されるＲＡＷデータは、メモリ１１４に一旦格納される。メモリ１１４は、ＲＡＷデータや、信号処理部１１１によって処理された画像データなどを一時的に記憶するために用いられる。

ＯＢ積分部１０４は、ＲＡＷデータのうち、ＯＢ領域２０１の画素値について、画素の種類ごとの平均画素値を算出する。ここでは、撮像素子１０２が原色ベイヤ配列のカラーフィルタを有するため、ＯＢ積分部１０４は、ＯＢ領域２０１内のＲ画素、Ｇ１画素、Ｇ２画素、Ｂ画素の平均画素値を算出する。この平均画素値は黒レベルとして用いられる。

ＯＢクランプ部１０５は、有効画素領域２００の画素値に対し、ＯＢ領域２０１の画素値に基づいて黒レベルを補正するＯＢクランプ処理を適用する。ＯＢクランプ処理は、具体的には、ＯＢ積分部１０４が算出した平均画素値を減じる処理であってよい。ＯＢクランプ処理により、有効画素領域２００の画素信号から得られる画像の黒浮きや色ずれ等を抑制することができる。なお、ＯＢクランプ処理では、画素の種類に応じた黒レベルを用いる。例えば、有効画素領域２００のＲ画素の画素値については、ＯＢ領域のＲ画素から得られた黒レベルを減じる。ＯＢクランプ部１０５は、合成元の画像それぞれに対して、また合成部１０８が生成した合成画像に対して、ＯＢクランプ処理を適用する。

シェーディング補正部１０６は、有効画素領域２００の画素値に対してシェーディング補正を適用する。シェーディング補正は、撮影レンズ１００や画素が有するマイクロレンズの光学特性などに起因する画素位置に応じた輝度低下を補正する。したがって、シェーディング補正では、画素位置に応じたゲインが適用される。

ホワイトバランス（ＷＢ）処理部１０７は、シェーディング補正後の画像に対してホワイトバランス調整処理を適用する。ホワイトバランス調整処理は、シェーディング補正された画素値に対して、画素の種類（Ｒ，Ｇ１，Ｇ２，Ｂ）に応じたゲインを適用する処理である。

位置ずれ検出部１０９は、合成元の複数フレームの画像のそれぞれについて、位置ずれ量を検出する。位置ずれ量は、最初に撮影された１フレーム目のずれ量を０とした絶対的なずれ量であってもよいし、直前のフレームに対する相対的なずれ量であってもよい。絶対的なずれ量を検出する場合、１フレーム目の画像が基準画像となる。

位置ずれ検出部１０９は、フレーム間における、有効画素領域２００の画像の移動ベクトルとしてずれ量を検出することができる。位置ずれ検出部１０９は、例えば、フレーム間でテンプレートマッチングを用いる方法や、撮像装置１０が有するジャイロセンサなどの出力を用いる方法など、任意の公知技術を用いてずれ量を検出することができる。位置ずれ検出部１０９は、検出した位置ずれ量を位置ずれ補正部１１０に出力するか、メモリ１１４に保存する。

位置ずれ補正部１１０は、位置ずれ検出部１０９で検出された位置ずれ量に基づいて、合成するフレームの画像を位置合わせする。位置ずれ補正部１１０は例えば、合成するフレームの各画素の座標値を位置ずれ量に応じて変更することにより、位置合わせを行うことができる。

なお、位置ずれ補正部１１０は、有効画素領域２００の画像だけを位置合わせするモードと、有効画素領域２００とＯＢ領域２０１とを含んだ領域（例えばフレーム全体）の画像を位置合わせするモードを有する。このように、位置ずれ補正部１１０は、有効画素領域２００のデータ（第１のデータ）を、ＯＢ領域２０１のデータ（第２のデータ）とは独立して位置合わせ可能である。位置ずれ補正部１１０のモードは、例えば制御部１１３が設定可能である。

制御部１１３は、フレーム全体を位置合わせするモードが設定されていても、位置合わせによってＯＢ領域２０１の合成精度が低下する条件を満たす場合には、有効画素領域２００の画像だけを位置合わせするモードに変更してもよい。例えば、ＯＢ領域２０１が重複するフレーム数が総フレーム数Ｎの所定割合以下となる場合、制御部１１３は有効画素領域２００の画像だけを位置合わせするモードに変更することができる。ＯＢ領域２０１が重複するフレーム数は、位置ずれ検出部１０９が検出する個々のフレームの位置ずれ量に基づいて把握することができる。

合成部１０８は、選択可能な複数の合成モードの１つで複数の画像を合成し、合成画像を生成する。フレーム全体に合成処理を適用する必要はなく、基準画像における有効画素領域とＯＢ領域に対する合成処理が行われればよい。

合成部１０８は、生成した合成画像をメモリ１１４に保存する。本実施形態において撮像装置１０は、合成モードとして加算モード、平均加算モード、比較明モードが選択可能であるものとする。なお、これらの合成モードは例示であり、他の合成モードが選択可能であってもよいし、合成モードが１つであってもよい。

各合成モードにおける画像合成方法について説明する。ここで、Ｎフレーム（Ｎは２以上の整数）の画像を合成するものとする。各フレームの画像を構成する画素が、ｘｙ直交座標系の座標（ｘ，ｙ）を有し、座標（ｘ，ｙ）の画素の輝度値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１～Ｎ）、合成画像の座標（ｘ，ｙ）の画素の輝度値をＩ（ｘ，ｙ）とする。合成部１０８は、合成モードに応じて、以下のように合成画像の各画素の輝度値Ｉ（ｘ，ｙ）を算出する。

・加算モード
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
加算モードにおいて合成部１０８は、各フレームの同じ座標の画素の輝度値を加算して合成画像を生成する。加算モードは、例えば適正露出量の１／Ｎの露出量で撮影したＮフレームの画像を合成して適正露出の画像を生成する場合に用いられる。

・加算平均モード
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
加算平均モードにおいて合成部１０８は、加算モードと同様に求めた輝度値をフレーム数Ｎで割ることで、各画素の輝度値がＮフレームの平均値である合成画像を生成する。加算平均モードは、例えば高感度で撮影した画像のノイズを低減するために用いられる。

・比較明モード
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
ここで、ｍａｘ（）は、（）内の要素の最大値を抽出する関数である。各フレームで同じ座標を有するＮ画素のうち最大の輝度値から構成される合成画像が得られる。比較明モードは、例えば花火や星空を撮影した画像を合成する際に効果的である。

なお、位置合わせによる座標の変更により、合成する画素値が存在しない座標について、合成部１０８は、加算モードおよび加算平均モードでは他の所定のフレーム（例えば１フレーム目）における当該座標の画素値を代わりに用いることができる。また、合成部１０８は、加算平均モードまたは比較明モードでは存在する画素値だけを用いて合成を行うことができる（加算平均モードの場合には除数を加算に用いたフレーム数（＜Ｎ）に変更する）。なお、これらは考えられる一例であり、他の方法を用いて合成してもよい。

また、合成部１０８は、有効画素領域２００外の画像が基準画像の有効画素領域に合成されないようにする。位置合わせによって基準画像の有効画素領域に重なる位置に座標が変更された、有効画素領域２００外の画素値について、合成部１０８は、画素値が存在しない場合と同様に取り扱うことができる。

信号処理部１１１は、（合成されていない）ＲＡＷデータや、合成部１０８により生成された合成画像のデータ（合成ＲＡＷデータ）に対し、現像処理を適用する。なお、現像処理を適用するのは、有効画素領域２００に対応する画像領域である。現像処理は、色補間処理や階調補正処理（ガンマ処理）など、複数の画像処理の総称である。色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。色補間処理が適用されることにより、各画素はカラー画像として必要な複数の色成分（例えばＲＧＢやＹＣｂＣｒ）を有するようになり、ＲＡＷデータではなくなる。

信号処理部１１１は、現像後の画像データに対して、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などの検出処理、合成処理、スケーリング処理、符号化および復号処理を適用することができる。また、信号処理部１１１は、ヘッダ情報生成処理などのデータ加工処理、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出などの評価値算出処理など、様々な画像処理を適用することができる。なお、これらは信号処理部１１１が適用可能な画像処理の例示であり、信号処理部１１１が適用する画像処理を限定するものではない。

記録部１１２は、撮影モードおよび記録設定に応じて、ＲＡＷデータ、合成ＲＡＷデータ、現像処理された画像データ、これらのデータに付随する音声データなどを、メモリカードなどの記録媒体に記録する。

操作部１１５は、ユーザが撮像装置１０に様々な指示を与えるための入力デバイス（スイッチ、キー、ボタン、ダイヤル、タッチパネルなど）の総称である。
表示部１１６は、例えばタッチディスプレイであり、ライブビュー画像、再生画像、ＧＵＩ、撮像装置１０の設定値や情報などの表示に用いられる。

図４のフローチャートを用いて、撮像装置１０の合成撮影モードにおける動作について説明する。合成撮影モードは、経時的に撮影された複数フレームの画像を合成した合成画像を記録する撮影モードである。合成撮影モードでは、上述した複数の合成モードのいずれかが設定される。なお、ここでは静止画撮影に関して説明するが、各フレームを合成画像とするような動画撮影の１フレーム分の生成処理としても実行可能である。

Ｓ１０１で制御部１１３は、操作部１１５を通じてユーザから合成するフレーム数Ｎの設定を受け付ける。なお、フレーム数Ｎは、合成モードの設定と同様、事前に設定されていてもよい。

Ｓ１０２で制御部１１３は、操作部１１５を通じてユーザから撮影指示が入力されたことを検出する。撮影指示は例えば操作部１１５に含まれるシャッタボタンの全押し操作であってよい。撮影指示の入力を検出すると、制御部１１３はＳ１０３を実行する。

Ｓ１０３で制御部１１３は１フレームの撮影処理を実行する。なお、撮影時の露出条件（シャッタスピード、絞り値、感度）は、Ｓ１０２の前（例えばシャッタボタンの半押し操作を検出した際）に、例えばライブビュー画像を用いたＡＥ処理を実行して得られる適正露出量とすることができる。なお、合成モードが加算モードの場合、制御部１１３は、Ｓ１０１で設定されたフレーム数Ｎに基づいて、適正露出量の１／Ｎとなるような露出条件を設定する。

制御部１１３は撮影で得られたＲＡＷデータをメモリ１１４に保存する。制御部１１３は、１フレーム目の撮影時にはＳ１０４をスキップしてＳ１０５を実行し、２フレーム目以降の撮影時にはＳ１０４を実行する。

Ｓ１０４で、位置ずれ検出部１０９は、直近の撮影で得られた画像（ＲＡＷデータ）のずれ量を検出する。ここでは、２フレーム目以降の全ての画像について、１フレーム目の画像（基準画像）に対するずれ量を検出するものとする。また、ずれ量は、基準画像の一部をテンプレートとするテンプレートマッチングを用いて検出する。

ここでは、ずれ量の検出精度を高めるため、位置ずれ検出部１０９は、基準画像から複数のテンプレートを生成し、個々のテンプレートについて位置ずれ量を検出する。そして、位置ずれ検出部１０９は、検出された複数の位置ずれ量に基づいて、最終的な位置ずれ量を決定する。位置ずれ検出部１０９は、例えば、最も頻度が高い位置ずれ量、または位置ずれ量の平均値を最終的な位置ずれ量として決定することができるが、他の方法で決定してもよい。

Ｓ１０５で、ＯＢ積分部１０４は、直近の撮影で得られた画像（ＲＡＷデータ）のうち、ＯＢ領域２０１の画素値を用いて、画素の種類ごとに黒レベルを算出する。

Ｓ１０６で、ＯＢクランプ部１０５は、Ｓ１０５で算出された黒レベルを用いて、直近の撮影で得られた画像（ＲＡＷデータ）のうち、有効画素領域の画素に対してＯＢクランプ処理を適用する。

Ｓ１０７で、位置ずれ補正部１１０は、Ｓ１０４で検出された位置ずれ量を用い、直近の撮影で得られた画像（ＲＡＷデータ）を、基準画像に位置合わせする。この位置合わせ処理について、図３を用いて説明する。

図３は、基準画像である１フレーム目の画像（ＲＡＷデータ）３０１に対し、２フレーム目の画像（ＲＡＷデータ）３０２を位置合わせして合成処理する構成を模式的に示している。画像３０１は、有効画素領域３０１ａおよびＯＢ領域３０１ｂを有している。同様に、画像３０２は、有効画素領域３０２ａおよびＯＢ領域３０２ｂを有している。

ここでは、位置ずれ補正部１１０のモードが、有効画素領域の画像だけを位置合わせするモードに設定されているものとする。したがって、位置合わせ後の画像３０２’では、有効画素領域３０２ａ’だけが移動し、ＯＢ領域３０２ｂは移動していない。その結果、位置合わせ後の画像３０２’には画素が存在しない領域３０２ｃが生じている。位置ずれ補正部１１０のモードがフレーム全体を位置合わせするモードに設定されている場合、内部的に座標情報が変更されているが、位置合わせ前後で画像３０２の見かけに変化はない。

Ｓ１０８で、合成部１０８は、Ｓ１０７で位置合わせされた画像（図３の画像３０２’）を、基準画像もしくは前フレームまでの合成画像（合成ＲＡＷデータ）に合成する。合成部１０８は、設定されているモードに応じて、上述したように合成処理を実行する。

図３では、位置合わせによって生じた、画素が存在しない領域３０２ｃについては、合成対象から外す加算平均モードまたは比較明モードにおける合成処理の例を示している。その結果、合成画像３１０の有効画素領域３１０ａには、２フレーム目の画像が合成されない領域３１０ｃが含まれている。合成画像３１０のＯＢ領域３１０については、１フレーム目のＯＢ領域３０１ｂと２フレーム目のＯＢ領域３０２ｂが、モードに応じた方法で合成されている。

なお、画素信号がマイナス方向のノイズの影響を受けている場合、Ｓ１０６のＯＢクランプ処理で黒レベルを減じた際に画素値が０未満になる可能性がある。これを防止するため、合成画像に所定の正のオフセットを付与してからメモリ１１４に保存してもよい。合成画像にオフセットが与えられる場合、合成する画像に合成画像に与えたものと同量のオフセットを与えてからＳ１０５のＯＢクランプ処理を適用する。ＯＢクランプ処理の適用後、Ｓ１０８で合成処理を適用する前に両方の画像からオフセットを除去する。

また、図４のフローチャートでは基準画像に対して２フレーム目から順次合成を行うが、２フレーム目からＮフレーム目までの合成画像を生成し、最後に基準画像に合成するようにしてもよい。この場合、２フレーム目からＮフレーム目までの合成は、全てのフレームで重複する領域にだけ行ってもよい。基準画像の有効画素領域において、２フレーム目からＮフレーム目までの合成画像が生成されていない部分については、合成する画素値が存在しないものとして、上述した合成モードに応じた方法を適用することができる。

Ｓ１０９で、制御部１１３は、設定フレーム数Ｎの撮影が完了したか否かを判定する。制御部１１３は、撮影が完了したと判定されればＳ１１０を、判定されなければＳ１０３で次のフレームの撮影を実行する。なお、制御部１１３は例えば撮影指示が継続して入力されている間は連続して撮影を行うものとする。設定フレーム数Ｎの撮影完了前に撮影指示の入力が途絶えた場合、例えば制御部１１３はそれまでに行った処理結果を破棄して撮影スタンバイ状態に復帰してもよい。

Ｓ１１０で、ＯＢ積分部１０４が、メモリ１１４に保存された合成画像のＯＢ領域の画素値に基づいて、黒レベルを算出する。黒レベルの算出は、ＯＢ領域の画素値が合成処理後の画素値であることを除き、Ｓ１０５と同じである。

Ｓ１１１で、ＯＢ積分部１０４は、合成画像のＯＢ領域の画素値のばらつきを示す値（例えば分散値）を算出する。分散値は画素の種類（色）ごとに算出してもよいし、全ての画素について１つの分散値を算出してもよい。ＯＢ積分部１０４は、Ｓ１１０とＳ１１１の処理を並行して実行してもよい。

Ｓ１１２で、ＯＢクランプ部１０５は、Ｓ１１０で算出された、合成画像に基づく黒レベルを用い、合成画像の有効画素領域内の画素値に対してＯＢクランプ処理を適用する。なお、Ｓ１０６で合成前の画像にＯＢクランプを適用しているにも係わらず、合成後にＯＢクランプ処理を適用するのは、合成に起因した黒浮きを低減するためである。

例えば、高感度で撮影された複数フレームの画像を比較明モードで合成する場合、各フレームの画像はノイズを多く含んでいる。比較明モードの合成は、各座標において最も高い輝度値を選択するものである。したがって、ノイズによって本来の輝度値より高くなった輝度値が各座標について選択される可能性が高くなる。そのため、有効画素領域２００と同様に比較明モードで合成されたＯＢ領域２０１（合成ＯＢ領域）の画素に基づく黒レベルを用いて合成画像に対してＯＢクランプ処理を適用することにより、合成に起因する黒浮きを抑制することができる。ここでは合成による黒浮きが発生する典型例として比較明モードの合成について説明したが、他の合成モードでも合成による黒浮きは発生するため、合成画像について合成ＯＢ領域の画素に基づく黒レベルを用いたＯＢクランプ処理を適用する。

Ｓ１１３で、ＷＢ処理部１０７は、ＯＢクランプ処理された、合成画像の有効画素領域の画像（ＲＡＷデータ）に対して、ホワイトバランス調整処理を適用する。

Ｓ１１４で、信号処理部１１１が、ホワイトバランス調整処理が適用されたＲＡＷデータに対して、現像処理を適用する。信号処理部１１１は、Ｓ１１１で算出された分散値に応じて、現像処理の過程で適用するノイズ低減処理のパラメータを変更する。具体的には、信号処理部１１１は、分散値が予め定められた閾値より大きい場合には、そうでない場合よりも強いノイズ低減処理が適用されるように、ノイズ低減処理のパラメータを変更する。分散値が閾値より大きい場合にはそうでない場合よりもノイズ量が大きいためである。なお、ノイズ低減処理の強さが３通り以上ある場合には、２つ以上の閾値を用いてノイズ低減処理の強さを調整してもよい。信号処理部１１１は、現像処理後の画像データから、画像データを格納した画像データファイルを生成する。

Ｓ１１５で、記録部１１２は、Ｓ１１４で生成された画像データファイルをメモリカードなどの記録媒体や外部装置に記録する。なお、現像処理された画像データに加えて、あるいはその代わりに、Ｓ１１２でＯＢクランプ処理を適用する前の、有効画素領域の合成ＲＡＷデータを記録してもよい。また、合成ＲＡＷデータに外部装置がＳ１１２～Ｓ１１４の処理を実行するために必要な情報（Ｓ１１０で算出した黒レベルおよびＳ１１１で算出した分散量）を合成ＲＡＷデータに加えて記録してもよい。また、外部装置でＳ１０４～Ｓ１１４の処理を実行できるように、合成元のＮフレームのＲＡＷデータを記録してもよい。

記録部１１２による記録が終了すると、制御部１１３は図４に示した動作を終了し、例えば撮影スタンバイ状態に復帰する。

以上説明したように、本実施形態によれば、複数フレームのＲＡＷデータを合成する際に、ＲＡＷデータの位置合わせを、有効画素領域のデータとＯＢ領域のデータとで別個に適用できるようにした。有効画素領域のデータを独立して位置合わせ可能にすることで、ＯＢ領域のデータが有効画素領域のデータに合成されることを防止できるため、合成画像の品質低下を抑制できる。また、合成するフレーム間でＯＢ領域にズレを生じなくすることができるため、合成後のＯＢ領域から精度の良い黒レベルが算出でき、合成によって生じる画像の黒浮きを効果的に抑制することができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態はＯＢクランプ処理に加え、ラインオフセット補正を行う場合に関する。撮像素子に形成される多数の回路素子の特性は、製造誤差などに起因するばらつきが発生する。例えば画素ライン単位で設けられる増幅器の特性のばらつきによって生じる画素信号のオフセット量の差は、画像において縞状のパターンとして視認されうる。

ラインオフセット補正は、このような、水平画素ライン単位や垂直画素ライン単位で生じうる画素信号のオフセットの差を補正する処理である。画素ラインごとのオフセット量の差はＯＢ領域の画素で検出することができる。そのため、ＯＢ領域で検出した画素ラインごとのオフセット量の差に基づいて、有効画素領域から読み出される画素信号にラインオフセット補正を適用することができる。

しかし、有効画素領域とＯＢ領域とで位置合わせ量が異なる場合、ラインオフセット補正が必要な画素ラインの位置が、ＯＢ領域と位置合わせ後の有効画素領域とで一致しない。特に、複数フレームの画像を合成する場合にはフレームごとにＯＢ領域と有効画素領域との位置合わせ量が異なりうる。そのため、合成処理後のＯＢ領域で検出した画素ラインごとのオフセット量は合成後の有効画素領域の画素信号のオフセット量と一致せず、ラインオフセット補正を正しく行うことができない。

図５を用いて、正しいラインオフセット補正ができない例について説明する。ここでは水平画素ラインに対するラインオフセット補正に関して示しているが、垂直画素ラインに対するラインオフセット補正についても同様である。垂直画素ラインに対するラインオフセット補正を行う場合、図２に示したＯＢ領域２０２を用いる。

図５は、基準画像である１フレーム目の画像（ＲＡＷデータ）３０１に対し、ＯＢ領域と有効画素領域との位置合わせ量を別個に適用して２フレーム目の画像（ＲＡＷデータ）３０２を位置合わせして合成処理する構成を模式的に示している。画像３０１は、有効画素領域３０１ａおよびＯＢ領域３０１ｂを有している。同様に、画像３０２は、有効画素領域３０２ａおよびＯＢ領域３０２ｂを有している。

ここでも、位置ずれ補正部１１０のモードが、有効画素領域の画像だけを位置合わせするモードに設定されているものとする。したがって、位置合わせ後の画像３０２’では、有効画素領域３０２ａ’だけが移動し、ＯＢ領域３０２ｂは移動していない。その結果、位置合わせ後の画像３０２’には画素が存在しない領域３０２ｃが生じている。

１フレーム目の画像（基準画像）３０１には、信号オフセットが他の水平画素ラインの信号オフセットよりも一定量以上大きい（または小さい）２つの水平画素ラインが、明るい（または暗い）筋状パターン５０１を形成している。同様に、２フレーム目の画像３０２にも、２つの水平画素ラインが明るい（または暗い）筋状パターン５０２を形成している。

撮像素子における水平画素ラインの位置は固定であるため、撮像画像には常に同じ位置に筋状のパターンが形成される。したがって、２フレーム目の画像の有効画素領域３０２ａを１フレーム目の画像の有効画素領域３０１ａに位置合わせする前は、１フレーム目の画像と２フレーム目の画像で同じ位置に筋状パターンが形成される。

しかしながら、２フレーム目の画像における筋状のパターンは、有効画素領域３０２を１フレーム目の画像の有効画素領域３０１に位置合わせすることにより、位置合わせ後の画像の有効画素領域３０２’では数と位置が変化している。

その結果、１フレーム目の画像に２フレーム目の画像の合成画像３０１の有効画素領域３１０ａには、有効画素領域３０１が有する筋状パターン５０１に加え、有効画素領域３０２ａ’が有する筋状パターン５０２’が含まれている。

一方、ＯＢ領域に着目すると、１フレーム目および２フレーム目の画像のＯＢ領域３０１ｂおよび３０２ｂは位置合わせされずに合成される。そのため、合成画像３１０におけるＯＢ領域３１０ｂにおける筋状パターンの数および位置は、合成前と同じである。

ここで、ラインオフセット補正について説明する。ラインオフセット補正は、筋状パターンの有無および位置の検出と、オフセット補正量の決定とを含む。ラインオフセット補正は、例えば信号処理部１１１で実行することができる。

筋状パターンの有無および位置の検出は、ＯＢ領域３１０ｂの画素値を例えば水平方向に平均して形成した垂直方向に伸びる画素信号列について、代表信号レベルとの差の絶対値が閾値以上である信号レベルを有する画素とその位置の検出であってよい。代表信号レベルは信号レベルの平均値もしくは中央値であってよい。また、閾値は予め実験的に定めることができる。

代表信号レベルとの差の絶対値が閾値以上である信号レベルを有する画素が存在する場合、その位置が補正すべき画素ラインの位置に相当し、その信号レベルと代表信号レベルとの差をオフセット補正量とすることができる。なお、ここで説明したものとは異なる方法により、補正すべき画素ラインとその位置を検出したり、オフセット補正量を決定したりしてもよい。

合成画像３１０について、ＯＢ領域３１０ｂで検出された筋状パターンに基づいて有効画素領域３１０ａにラインオフセット補正を適用することを考える。この場合、補正後の画像５１１の有効画素領域５１１ａには、合成される画像のうち、有効画素領域の垂直方向の位置合わせ量が０でない画像（ここでは２フレーム目の画像）の筋状パターン５０２’が残ってしまう。

本実施形態では、ラインオフセット補正用の合成画像を生成することにより、上述した問題を解決する。具体的には、基準画像のＯＢ領域に、合成する個々のフレーム画像のＯＢ領域を、有効画素領域の位置合わせ量に応じて位置合わせして合成することにより、ラインオフセット補正用の合成画像を生成する。

従って、本実施形態においては、
・有効画素領域を位置合わせして合成して得られる合成画像（第１の合成画像）
・抽出したＯＢ領域を位置合わせして合成して得られる、ラインオフセット補正用の合成画像（第２の合成画像）
・ＯＢ領域を位置合わせせずに合成して得られる、ＯＢクランプ（黒レベルの調整）用の合成画像（第３の合成画像）
が生成される。

図６は、図５と同じ合成処理において、ラインオフセット補正用の合成画像を用いる例を示している。合成部１０８は、図６に示すように、１フレーム目の画像（基準画像）３０１に合成する、２フレーム目の画像３０２のＯＢ領域３０２ｂを抽出し、有効画素領域３０２ａの位置合わせ量の垂直方向成分を適用して位置合わせした画像６０１を生成する。そして、合成部１０８は、位置合わせしたＯＢ領域の画像６０１を、基準画像から抽出したＯＢ領域３０１ｂに合成し、ラインオフセット補正用の合成画像６０２を生成する。

なお、３フレーム以上を合成する場合、合成部１０８は、基準画像を除く各フレーム画像について、ＯＢ領域を抽出し、有効画素領域の位置合わせ量の垂直成分を適用して位置合わせしたのち、基準画像から抽出したＯＢ領域に順次合成する。このようにして、合成部１０８はラインオフセット補正用の合成画像を生成することができる。

なお、ＯＢ領域の位置合わせを行う際、有効画素領域の位置合わせ量の垂直方向成分だけを適用するのは、ラインオフセット補正の対象が水平画素ラインのためである。ラインオフセット補正の対象が垂直画素ラインの場合には、フレーム画像のＯＢ領域２０２に有効画素領域の位置合わせ量の水平方向成分だけを適用し、ＯＢ領域を位置合わせする。

なお、ラインオフセット補正用の合成画像は、各フレームから抽出したＯＢ領域を用いるため、各フレームのＯＢ領域の合成には影響を与えない。合成部１０８は、ＯＢクランプ用に用いるＯＢ領域の合成や、有効画素領域の合成とは別個に、ラインオフセット補正用の合成を行う。

ラインオフセット補正用の合成画像６０２には、位置合わせされて合成された有効画素領域３１０ａと同じ位置に筋状パターンが存在する。そのため、ラインオフセット補正用の合成画像６０２を用いて合成後の有効画素領域３１０ａに対してラインオフセット補正を適用することにより、筋状パターンを適切に補正することができる。図６に示すように、ラインオフセット補正後の画像５１１’の有効画素領域５１１ａには筋状パターンが存在しない。

なお、ラインオフセット補正用の合成画像６０２を用いたラインオフセット補正を適用する場合、信号処理部１１１は、合成画像６０２のうち、合成画像６０２の生成に用いられたＯＢ領域の全てに共通する領域を用いてもよい。この場合、信号処理部１１１は、図６の６０２ａで示す領域のように、一部のフレームのＯＢ領域しか合成されていない領域はラインオフセット補正に用いない。

図７は、第１実施形態で説明した撮像装置１０の合成撮影モードにおける動作に、本実施形態で説明したラインオフセット補正に関する工程を追加したフローチャートである。Ｓ７０１～Ｓ７０８は図４のＳ１０１～Ｓ１０８と、Ｓ７１１～Ｓ７１４は図４のＳ１０９～７１２と、Ｓ７１６～Ｓ７１８は図４のＳ１１３～Ｓ１１５の処理とそれぞれ同じであるため、説明を省略する。

Ｓ７０９で制御部１１３は、信号処理部１１１に直近に撮影されたフレーム画像からＯＢ領域を抽出して位置ずれ補正部１１０に供給するように指示する。また、制御部１１３は、Ｓ７０９を最初に実行する場合には、信号処理部１１１に基準画像のＯＢ領域も抽出して合成部１０８に供給するように指示する。信号処理部１１１は制御部１１３からの指示に従ってフレーム画像からＯＢ領域を抽出し、位置ずれ補正部１１０に供給する。

また、制御部１１３は位置ずれ補正部１１０に対し、Ｓ７０７における位置合わせ処理で有効画素領域に適用した位置合わせ量を用いてＯＢ領域に位置合わせ処理を適用し、合成部１０８に供給するように指示する。位置ずれ補正部１１０は、信号処理部１１１から供給されるＯＢ領域に対して位置合わせ処理を適用し、合成部１０８に供給する。上述したように、位置合わせ処理において位置ずれ補正部１１０は、ＯＢ領域２０１が抽出される場合には位置合わせ量の垂直方向成分のみを適用し、ＯＢ領域２０２が抽出される場合には位置合わせ量の水平方向成分のみを適用する。位置ずれ補正部１１０は、位置合わせ処理を適用したＯＢ領域を合成部１０８に供給する。

Ｓ７１０で制御部１１３は、合成部１０８に対し、ラインオフセット補正用の合成画像を生成するように指示する。合成部１０８は、位置ずれ補正部１１０から供給される位置合わせ後のＯＢ領域を、直近に生成し、メモリ１１４に格納した合成画像にさらに合成する。Ｓ７１０を最初に実行する場合、合成部１０８は信号処理部１１１から供給される、基準画像のＯＢ領域に対して、位置ずれ補正部１１０から供給される位置合わせ後のＯＢ領域を合成する。合成部１０８は、ＯＢ領域の合成画像をメモリ１１４に格納する。

なお、ここでは記録用のフレーム画像のＯＢ領域３０１と有効画素領域３０２の合成処理が完了してからオフセット補正用の合成画像を生成するための位置合わせ処理や合成処理を実行する場合について説明した。しかし、オフセット補正用のＯＢ領域の合成画像を生成するための位置合わせ処理および合成処理についてもＳ７０７およびＳ７０８で実行するようにしてもよい。

Ｓ７１４のＯＢクランプ処理が終了すると、Ｓ７１５で制御部１１３は、信号処理部１１１にラインオフセット補正を実行するように指示する。信号処理部１１１は、メモリ１１４に格納されているオフセット補正用の合成画像を読み出して、筋状パターンの有無および位置を検出する。筋状パターンが検出されない場合、信号処理部１１１は制御部１１３に検出結果（検出されない）を通知し、ラインオフセット補正を適用しない。この場合制御部１１３はＳ７１６を実行し、ＷＢ処理部１０７にホワイトバランス調整処理の実行を指示する。

一方、筋状パターンが検出された場合、信号処理部１１１はその位置を検出するともに、検出された筋状パターンごとにオフセット補正値を決定する。そして、信号処理部１１１は、メモリ１１４に格納されているＯＢクランプ処理済みの合成画像に対し、ラインオフセット補正を適用する。以降の処理は第１実施形態と同じであるため、説明を省略する。

本実施形態では、ＯＢ領域を位置合わせして合成した画像をラインオフセット補正用に生成する。そして、ラインオフセット補正用に生成した、ＯＢ領域の合成画像を用いて、有効画素領域の合成画像に対してラインオフセット補正を適用するようにした。これにより、第１実施形態の効果に加え、撮像素子の回路特性のばらつきに起因する筋状のパターンを適切に補正することが可能になる。

（その他の実施形態）
上述の実施形態では撮像装置における撮影時に合成画像を生成する場合について説明した。しかし、先に述べたとおり、本発明において撮影機能は必須でない。したがって、Ｓ１０３（Ｓ７０３）で撮影する代わりに、経時的に撮影され、記録されたＲＡＷデータの１フレームを取得して、Ｓ１０４（Ｓ７０４）以降の処理を実行する画像処理装置でも本発明を実施可能である。この場合、Ｓ１０９（Ｓ７０９）の判定処理は、設定数のフレームの取得を完了したか否かを判定する。

また、第２実施形態で説明したラインオフセット補正についても、撮影時に実行しなくてもよい。例えば、有効画素領域の合成画像と関連付けてラインオフセット補正用のＯＢ領域の合成画像を記録しておくことにより、記録した装置とは異なる装置で、かつ任意のタイミングで、ラインオフセット補正を実行することができる。

あるいは、ＯＢ領域についてもＲＡＷデータとして記録しておくことで、合成画像の生成とラインオフセット補正とを、記録した装置とは異なる装置で、かつ任意のタイミングで実行することができる。

また、上述の実施形態において、撮像素子１０２とは別の機能ブロックとして記載した構成の１つ以上を撮像素子１０２に実装してもよい。撮像素子１０２を積層型撮像素子とすることで、Ａ／Ｄ変換部１０３、メモリ１１４、位置ずれ検出部１０９、位置ずれ補正部１１０、および合成部１０８を撮像素子１０２に実装することができる。

この場合、有効画素領域の合成画像は撮像素子１０２で生成することができる。また、ラインオフセット補正用のＯＢ領域の合成画像も撮像素子１０２内で生成することができる。撮像素子１０２は、有効画素領域の合成画像のデータと、ラインオフセット補正用のＯＢ領域の合成画像のデータとを別個の画像データとして出力してもよいし、１つの画像データに合成して出力してもよい。撮像素子内でラインオフセット補正も可能である場合、撮像素子はラインオフセット補正用のＯＢ領域の合成画像のデータを出力しなくてもよい。

また、第２実施形態ではラインオフセット補正用のＯＢ領域の合成画像を常に生成するものとしたが、ラインオフセット補正が必要と判断される場合のみ生成するようにしてもよい。ラインオフセット補正の必要性は、例えば撮影時のＩＳＯ感度やシャッタ速度など撮影条件や、センサ温度や環境温度等の環境条件を、予め定めた閾値と比較することによって判定することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１０２…撮像素子、１０４…ＯＢ積分部、１０５…ＯＢクランプ部、１０８…合成部、１０９…位置ずれ検出部、１１０…位置ずれ補正部、１１３…制御部

Claims (11)

1. 複数フレームの画像データを取得する取得手段と、
   前記複数フレームの画像データを位置合わせする位置合わせ手段と、
   位置合わせされた前記複数フレームの画像データを合成する合成手段と、を有する画像処理装置であって、
   前記画像データには、撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、
   前記位置合わせ手段は、前記複数フレームの画像データに含まれる前記第１のデータを位置合わせするために用いる位置合わせ量に基づいて、前記複数フレームの画像データに含まれる前記第２のデータを位置合わせし、
   前記合成手段が、前記位置合わせされた前記第１のデータを合成した第１の合成画像のデータと、前記位置合わせされた前記第２のデータを合成した第２の合成画像のデータとを生成し、
   前記画像処理装置は、前記第２の合成画像のデータに基づいて、前記第１の合成画像のデータを補正する補正手段をさらに有する、ことを特徴とする画像処理装置。
2. 前記補正手段は、前記複数フレームの画像データの生成に用いられた撮像素子に起因して前記第１の合成画像に画素ライン単位で発生する筋状パターンを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段が水平画素ラインに発生する筋状パターンを補正する場合、前記位置合わせ手段は、前記複数フレームの画像データに含まれる前記第１のデータを位置合わせするために用いる位置合わせ量の水平方向成分と垂直方向成分のうち、垂直方向成分を用いて前記第２のデータを位置合わせすることを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段が垂直画素ラインに発生する筋状パターンを補正する場合、前記位置合わせ手段は、前記複数フレームの画像データに含まれる前記第１のデータを位置合わせするために用いる位置合わせ量の水平方向成分と垂直方向成分のうち、水平方向成分を用いて前記第２のデータを位置合わせすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１の合成画像のデータと、前記第２の合成画像のデータとを関連付けて記録する記録手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、位置合わせされていない前記第２のデータを合成した第３の合成画像のデータをさらに生成することを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第３の合成画像のデータが、前記第１の合成画像のデータの黒レベルの調整に用いられることを特徴とする請求項６に記載の画像処理装置。
8. 前記第２のデータが露光されない画素のデータであることを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 撮像素子と、
   請求項１から８のいずれか１項に記載の画像処理装置と、
   を有し、
   前記複数フレームの画像データが、前記撮像素子を用いて経時的に撮影されたものである、ことを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    複数フレームの画像データを取得することと、
    前記複数フレームの画像データを位置合わせすることと、
    位置合わせされた前記複数フレームの画像データを合成することと、を有し、
    前記画像データには、撮像素子の有効画素領域の画素のデータであって、所定の色成分の配列に対応する信号で構成される第１のデータと、有効画素領域外の画素のデータである第２のデータが含まれ、
    前記位置合わせすることは、前記複数フレームの画像データに含まれる前記第１のデータを位置合わせするために用いる位置合わせ量に基づいて、前記複数フレームの画像データに含まれる前記第２のデータを位置合わせすることを含み、
    前記合成することは、前記位置合わせされた前記第１のデータを合成した第１の合成画像のデータと、前記位置合わせされた前記第２のデータを合成した第２の合成画像のデータとを生成することを含み、
    前記画像処理方法は、前記第２の合成画像のデータに基づいて、前記第１の合成画像のデータを補正することをさらに有する、ことを特徴とする画像処理方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images