JP2019169939A - 撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】高品質な画像データを得ることができる撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置（２０）は、入力手段（２１）と、画素特定手段（２２）と、補正手段（２３）とを有している。入力手段（２１）には、第１の画像データと第２の画像データが入力する。画素特定手段（２２）は、第１の画像データに含まれる第１の画素に相当する第２の画像データに含まれる第２の画素を特定する。補正手段（２３）は、第２の画素の値を用いて第１の画素の値を補正する。【選択図】図５

Description

本発明は、撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムに関する。

撮像素子には数十万〜数千万の画素が配列されるが、素子を形成する物質の結晶欠陥やダストなどの影響により、画素として出力すべき信号を発生しない画素が含まれる。例えば画像センサのある画素に欠陥がある場合には、画像センサが出力する画像の画素のうちの、欠陥がある画素の画素値が、本来の値とは異なる値となり、不自然な画像が得られることがある。

カメラにおいて、画素の欠陥に起因して、不自然な画像が得られることを防止するためには、欠陥がある欠陥画素を検出し、欠陥画素の本来の画素に近づけるように画素を復元する場合がある。

特許文献１には、固定パターン雑音を固体撮像装置があらかじめ記憶し、温度検出手段によって固定パターン雑音を減算する固体撮像装置が開示されている。また、特許文献１には、温度をパラメータとする固定パターン雑音をメモリ手段に記憶しておき、温度検出手段が検出した温度情報に応じた固定パターン雑音を読み出すことにより、温度変化に応じた固定パターン雑音を固体撮像素子の出力ビデオ信号から除くようにした固体撮像装置が開示されている。

また、画素補間方法として、撮影画像の欠陥画素を検出し、撮影画像の欠陥画素の周辺画素の情報をもとに、補正後の画素値を求める構成が知られている。非特許文献１によると、補間画素値に一番近い参照画素を補間画素値とする最近接内挿法（nearest neighbor interpolation）、補間画素の周囲の４点の画素値を用いて距離に応じた重み付け加算を行って補間画素値を算出するバイリニア補間法（bi-linear interpolation）、補間画素の周囲の１６点の画素値を用いて距離に応じた重み付けを行って補間画素値を算出するキュービック補間法（cubic convolution）等がある。

特開平０１−１４７９７３号公報

「新編画像解析ハンドブック」、監修：高木幹雄・下田陽久、発行：東京大学出版会、２００４年９月１０日

しかしながら、上記従来の画素補間（画素補正）の技術では、欠陥画素の復元の精度が不十分であるという問題があった。例えば、ある画像に欠陥画素が存在する場合、周辺の平坦な部分では画素補間の出力は大きな問題にならないが、周辺の複雑な部分では画素補間の出力にずれが発生してエラーとして画像に現れてしまう。また、ある画像に欠陥画素が存在する場合、周辺画素に欠陥画素が含まれる可能性が高くなるので、その点においても、欠陥画素の復元精度が低下しがちである。

一方、出願人は、イメージセンサを画素単位（例えば１画素単位）で移動（微小振動）させながら撮影した複数の画像データを合成して合成画像データを得る、いわゆるマルチショット合成と呼ばれる撮影技術の研究開発を進めている。しかし、上記従来の画素補間（画素補正）の技術をマルチショット合成に適用した場合、画像品質の劣化が顕著になってしまう。

本発明は、以上の問題意識に基づいてなされたものであり、高品質な画像データを得ることができる撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的の１つとする。

本実施形態による撮影装置は、第１の画像データと第２の画像データが入力する入力手段と、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定する画素特定手段と、前記第２の画素の値を用いて前記第１の画素の値を補正する補正手段と、を備えることを特徴としている。

本実施形態による撮影方法は、第１の画像データと第２の画像データが入力するステップと、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、を備えることを特徴としている。

本実施形態による撮影プログラムは、第１の画像データと第２の画像データが入力するステップと、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、をコンピュータに実行させることを特徴としている。

本実施形態による画像処理装置は、第１の画像データと第２の画像データが入力する入力手段と、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定する画素特定手段と、前記第２の画素の値を用いて前記第１の画素の値を補正する補正手段と、を備えることを特徴としている。

本実施形態による画像処理装置は、画像データ間の位置ずれ量を検出する位置ずれ量検出部と、前記位置ずれ量に応じて被補正画像データと補正画像データを選択する選択部と、前記位置ずれ量と前記補正画像データに基づいて被補正画像の欠陥画素を変更する欠陥画素補正部と、を有し、前記位置ずれ量に基づいて前記被補正画像データと前記補正画像データを合成する、ことを特徴としている。

本実施形態による画像処理装置は、画像データ間の位置ずれ量を検出する位置ずれ量検出部と、複数の画像から前記位置ずれ量に応じて基準画像と合成対象画像を選択し、欠陥画素を含む基準画像データ又は合成対象画像データを被補正画像データとして、前記被補正画像データと前記位置ずれ量に応じて前記複数の画像から補正画像データを選択する選択部と、前記位置ずれ量と前記補正画像データに基づいて被補正画像の欠陥画素を変更する欠陥画素補正部と、を有し、前記位置ずれ量に基づいて前記基準画像と前記合成対象画像を合成する、ことを特徴としている。

本実施形態による画像処理方法は、第１の画像データと第２の画像データが入力するステップと、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、を備えることを特徴としている。

本実施形態による画像処理プログラムは、第１の画像データと第２の画像データが入力するステップと、前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、をコンピュータに実行させることを特徴としている。

本発明によれば、高品質な画像データを得ることができる撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

第１実施形態の撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器の概略構成を示すブロック図である。 マルチショット合成モードの一例を示す概念図である。 画像処理装置（プロセッサ）の内部構成の一例を示す機能ブロック図である。 画素特定手段による位置合わせと着目画素の設定の一例を示す概念図である。 画素特定手段による置換画素及び／又は補正値の取得を示す概念図である。 従来一般の画素補間における置換画素の算出方法を示す概念図である。 第１実施形態の画素補間における置換画素の算出方法を示す概念図である。 置換手段による画素置換を示す概念図である。 イメージセンサを１画素ずつ移動させて撮影した複数の画像データと欠陥画素のコピーを示す概念図である。 イメージセンサを３画素ずつ移動させて撮影した複数の画像データと欠陥画素のコピーを示す概念図である。 第１実施形態のデジタルカメラによる撮影処理を示すフローチャートである。 図１１のステップＳＴ５の欠陥画素補正処理を示すフローチャートである。 画像処理装置（プロセッサ）の内部構成の他の例を示す機能ブロック図である。 第２実施形態の画像処理装置（プロセッサ）の内部構成を示す機能ブロック図である。 複数の画像を互いに対応する画像領域に分割する場合の一例を示す図である。 第２実施形態による撮影処理の一例を示すフローチャートである。 防振ユニットの構成の一例を示す背面図と断面図である。 防振ユニットの可動ステージを示す背面図である。 Ｘ方向用磁石とＸ駆動用コイルを含むＸ駆動部を拡大して示す断面図である。 Ｚ方向用磁石とＺ駆動用コイルとＺ方向用ホール素子を含むＺ駆動部を拡大して示す断面図である。 ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。 複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示す図である。

以下、本技術の一実施の形態による欠陥画素の補正方法および補正装置の一例として、撮影装置に使用する欠陥画素の補正方法および補正装置を例示して説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本技術を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

本実施の形態では、欠陥が生じるのは「画像センサの画素」であり、画像センサの画素に欠陥が生じることで、画像センサの欠陥がある画素に相当する、画像センサが出力する「画像の画素」の画素値が、本来の値とは異なる値になる。本明細書等では、説明の便宜上、欠陥が生じた画素を「欠陥画素」と表現し、「画像センサの画素」に欠陥があることを、「画像の画素」に欠陥がある、とも表現する。また、その欠陥画素に対して、補正後の画素値（以降、補正値と表現する）を求めて（データ上で）画素値を置き換えることを、画素情報を補正（復元）する、と表現する。

また、欠陥画素の補正を行う画像データを、被補正画像データと表現することがある。被補正画像データの補正値を求めるために参照する画像データを、補正画像データと表現することがある。被補正画像データと補正画像データの枚数には自由度があり、各１枚以上あればよく、具体的な枚数は問わない。

被補正画像データと補正画像データは、被写体と欠陥画素の位置関係が異なるデータセットである。一例として、マルチショットで４枚連続撮影された最初の１枚を被補正画像データ（後述する第１の画像データ）とした場合、最初の１枚以外の３枚の画像データを補正画像データ（後述する第２の画像データ）とすることが好ましい。

被補正画像データと補正画像データは、被写体と欠陥画素の位置関係がそれぞれ異なるため、被補正画像データでは正しく出力されず欠陥画素となった画素値が、補正画像データでは正しく出力されている可能性が高い。よって被補正画像データにおける欠陥画素の位置情報と、被補正画像データと補正画像データ間の位置のずれ量の情報（画素ずれ量、位置ずれ量）を基に、補正画像データにおける、欠陥画素に対応する位置の画素情報を参照することが可能である。詳細な画素ずれ量の算出方法や補正値の算出方法は後述する。なお、画素の位置情報とは、画像データにおける画素座標の情報を示す。

後述するが、被補正画像データが、ある画像データに対しては補正画像データとして機能する場合もある。画像データと画像は、同じ意味で用いる。

≪第１実施形態≫
図１は、第１実施形態の撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器１の概略構成を示すブロック図である。第１実施形態の撮影方法、撮影プログラム、画像処理方法及び画像処理プログラムは、電子機器１に内蔵されたコンピュータに所定の処理ステップを実行させることにより実現される。

電子機器１は、例えば、デジタルカメラ、携帯電話、ゲーム機器等の撮影機能を搭載した各種機器とすることができるが、第１実施形態では、電子機器１がデジタルカメラである場合を例示して説明する。あるいは、電子機器１は、撮影機能を搭載することなく、画像の入力を受けて当該画像に画像処理を施すＰＣ等の各種機器とすることもできる。

デジタルカメラ１は、カメラボディＣＢの内部に、カメラユニット（取得手段）１０と、画像処理装置（プロセッサ）２０と、メモリ（例えばＲＡＭ）３０と、記録媒体（例えばＵＳＢメモリ）４０と、表示装置（例えばＬＣＤ）５０と、入力装置６０と、センサ７０と、防振ユニット８０と、ＣＰＵ（制御手段）９０と、これらの各構成要素を直接的又は間接的に接続するバス１００とを有している。なお、画像処理装置（プロセッサ）２０とＣＰＵ９０は、同一のハードウェアにより構成されてもよいし、別々のハードウェアにより構成されてもよい。

カメラユニット１０は、撮影光学系（図示略）と、イメージセンサ（撮像素子）１１（図２）とを有している。撮影光学系による被写体像はイメージセンサ１１の受光面上に結像され、マトリックス状に配置された検出色の異なる複数の画素によって電気信号に変換され、画像として画像処理装置２０に出力される。画像処理装置２０は、カメラユニット１０による画像に所定の画像処理を施す。画像処理装置２０により画像処理が施された画像は、メモリ３０に一時的に記録される。メモリ３０に記録された画像は、ユーザの選択・決定に従って、記録媒体４０に保存され、表示装置５０に表示される。

入力装置６０は、例えば、電源スイッチ、レリーズスイッチ、各種機能の選択・設定を実行するためのダイヤルスイッチ、四方向スイッチ、タッチパネル等から構成される。センサ７０は、例えば、デジタルカメラ１のボディ本体に加えられる加速度、角速度、角加速度を検出する加速度検出器、角速度検出器、角加速度検出器等から構成される。センサ７０による出力は、デジタルカメラ１のボディ本体の振れを示す振れ検出信号として、ＣＰＵ９０に入力される。

防振ユニット８０は、カメラユニット１０の撮影光学系とイメージセンサ１１の少なくとも一方を移動部材（駆動部材）として、当該移動部材を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）駆動する。ＣＰＵ９０は、防振ユニット８０を駆動制御する。ＣＰＵ９０は、センサ７０からデジタルカメラ１のボディ本体の振れを示す振れ検出信号の入力を受けて、防振ユニット８０によって移動部材を撮影光学系の光軸と異なる方向に駆動する。これにより、イメージセンサ１１における被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。なお、防振ユニット８０の構成については後に詳細に説明する。

デジタルカメラ１は、防振ユニット８０を利用して、カメラユニット１０のイメージセンサ１１を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード、マルチショット高解像度撮影モード）を搭載している。「マルチショット合成モード」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図２Ａ〜図２Ｄは、第１実施形態のマルチショット合成モードの一例を示す概念図である。図２Ａ〜図２Ｄにおいて、イメージセンサ１１は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（特定の波長域）の光を光電変換し、その強さ（輝度）に応じた出力が得られる。より具体的に、図２Ａの基準位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ下方に相対移動させた図２Ｂの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ右方に相対移動させた図２Ｃの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ上方に相対移動させた図２Ｄの位置で１枚の画像を撮影し、最後に図２Ａの基準位置に戻る。このように、光軸直交平面内で、太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、画像処理装置２０に入力される。画像処理装置２０は、イメージセンサ１１で時系列に撮影した４枚の画像を合成して合成画像を得る。なお、図２Ａ〜図２Ｄの例では、光束領域（撮影領域）をイメージセンサ１１に対して１画素ピッチで相対移動させているが、４画素でベイヤ配列となっているものでは、奇数画素ピッチで相対移動させればよいので、１画素ピッチに限定されるものではない。例えば、後述する図１０では、光束領域（撮影領域）をイメージセンサ１１に対して３画素ピッチで相対移動させている。

画像処理装置２０は、画像データ（第１の画像データ）に欠陥画素（第１の画素）が含まれている場合に、被欠陥画素を、複数の画像データのうち被欠陥画素を含む画像データ以外の画像データ（第２の画像データ）に基づく置換画素及び／又は置換画素に基づく補正値（第２の画素）を用いて補正する機能を持つ。以下では、この機能に関する画像処理装置２０の構成及び作用効果について詳細に説明する。なお、以下では、適宜、複数の画像データとして、マルチショット合成のために取得した４枚の画像データを用いる場合を例示して説明する。

図３は、画像処理装置（プロセッサ）２０の内部構成の一例を示す機能ブロック図である。図３に示すように、画像処理装置（プロセッサ）２０は、自身を構成するＣＰＵの機能構成要素として、入力手段（画像データ入力部）２１と、画素特定手段（欠陥画素検出部、位置ずれ量算出部、置換画素／補正値取得部）２２と、補正手段（欠陥画素補正部）２３と、合成手段（画像データ合成部）２４と、置換手段（像面位相差補正用画素置換部）２５とを有している。

入力手段２１は、複数の画像データ（マルチショット合成のために取得した４枚の画像データ）が入力する。複数の画像データのいずれかの画像データを「第１の画像データ」とする一方、複数の画像データのその他の画像データを「第２の画像データ」とすることができる。第１の画像データと第２の画像データは、同一のイメージセンサ１１から出力することができる。第１の画像データと第２の画像データは、それぞれ異なる像位置関係とすることができる。

画素特定手段２２は、入力手段２１に入力した第１の画像データに含まれる第１の画素に相当する第２の画像データに含まれる第２の画素を特定する。

画素特定手段２２は、複数の画像データのいずれかの画像データ（第１の画像データ）に含まれる欠陥画素（第１の画素）を検出して、当該欠陥画素の位置情報を求める。画素特定手段２２が欠陥画素（第１の画素）を検出して当該欠陥画素の位置情報を求める手法には自由度があり、種々の設計変更が可能である。例えば、画素特定手段２２は、イメージセンサ１１が撮像した画像（以下、適宜、撮像画像ということがある）の各画素の画素値を、所定の閾値と比較することにより、欠陥画素であるかどうかを判定することができる。その他、撮像時のイメージセンサ１１の出力情報によって、撮像時に欠陥画素が存在するかどうかを判定する方法や、撮像装置もしくは撮像素子の製造工程において、撮影された画像に基づいて欠陥画素のアドレスを記録して撮像装置のメモリに保存する方法がある。このように、画像データにおける欠陥画素の位置情報が得られれば良く、その方法は問わない。また、欠陥画素はセンサの特性や製造上の問題により発生したものだけではなく、位相差検出画素（像面位相差画素）のような機能性画素などを含む。

画素特定手段２２は、複数の画像データの画素ずれ量（位置ずれ量）、例えば、第１の画像データと第２の画像データの画素ずれ量（位置ずれ量）を算出する。画素特定手段２２は、例えば、特許第４７６０９２３号公報に開示されているブロックマッチング等の周知技術を用いて、複数の画像データ（例えば第１の画像データと第２の画像データ）の画素ずれ量を確実かつ精密に検出することができる。また画素特定手段２２は、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の少なくとも１つの出力に基づいて、複数の画像データの画素ずれ量を検出することができる。さらに、画素特定手段２２は、ブロックマッチング等の、複数の画像データの画素ズレ量を算出する手法と、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の何れかひとつ以上の出力との組み合わせで複数の画像データの画素ずれ量を検出することができる。また画素特定手段２２は、イメージセンサ１１の画素出力に基づいて、ピクセル毎又はサブピクセル毎に、複数の画像データ（例えば第１の画像データと第２の画像データ）の画素ずれ量を検出することができる。また画素特定手段２２は、イメージセンサ１１の画素出力に基づいて、ＲＧＢプレーン毎に、複数の画像データ（例えば第１の画像データと第２の画像データ）の画素ずれ量を検出することができる。その際、画素特定手段２２は、ＲＧＢプレーンのうちの特定のＲプレーン、Ｇプレーン、または、Ｂプレーンだけを使用してもよいし、使用するプレーンを変動させてもよい。例えば、ある画像データ間の画素ずれ量を検出するときにはＧプレーンを使用し、その他の画像データ間の画素ずれ量を検出するときにはＲプレーンを使用するといった柔軟な対応が可能である。画素特定手段２２は、上述したセンサ７０の出力を利用した検出態様とイメージセンサ１１の画素出力を利用した検出態様を組み合わせることができる。すなわち、センサ７０の出力を利用して画素ずれ量の方向性におおよその見当をつけた後に、イメージセンサ１１の画素出力を利用して精密な画素ずれ量を検出することができる。画素特定手段２２は、イメージセンサ１１の画素出力に画素欠陥または特定用途の画素出力が含まれている場合、従来の欠陥画素の補正手法を用いて一時的に補正して位置ずれ量を検出することが可能である。また、当該特定用途の画素出力を除外するか、低い重み付けを与えて画素ずれ量を検出することができる。特定用途の画素出力とは、例えば、撮影に無関係な位相差検出画素などを含むことができる。

画素特定手段２２は、複数の画像データの画素ずれ量と、複数の画像データの欠陥画素の位置情報とに基づいて、いずれかの画像データに欠陥画素が含まれていた場合に当該欠陥画素を置換するための置換画素及び／又は置換画素に基づく補正値を取得する。すなわち、画素特定手段２２は、第１の画像データと第２の画像データの画素ずれ量と、第１の画像データにおける第１の画素の位置情報に基づいて、第２の画像データにおける第２の画素の値及び／又は第２の画素に基づく補正値を取得する。置換画素及び／又は補正値は、上記いずれかの画像データ以外のその他の画像データに基づいて取得される。例えば、マルチショット合成のために取得した４枚の画像データのうち１枚目の画像データ（第１の画像データ）に欠陥画素（第１の画素）が含まれていた場合には、残りの３枚の画像データの一部又は全部（第２の画像データ）に基づいて、置換画素及び／又は補正値（第２の画素）が取得される。

画素特定手段２２は、複数の画像データの画素ずれ量に応じて、複数の画像データを一致させる位置合わせを実行する。画素特定手段２２は、位置合わせ後の複数の画像データの共通位置に着目画素を設定する。例えば、画素特定手段２２は、第１の画像データと第２の画像データの位置ずれ量（画素ずれ量）に応じて、第１の画像データと第２の画像データの画素位置を一致させ、第１の画像データと第２の画像データの共通位置に着目画素を設定する。

ここで、位置合わせとは、複数の画像データに対して、画像データ間の位置ずれ量を差し引く挙動である。つまり、複数の画像データにおける画素位置を一致させて、共通する着目画素の位置情報を求めている。着目画素は複数の画像データ間で対応関係にあり、着目画素は各画像データにおける位置情報は異なるが、被写体の同じ位置を指している。

図４は、画素特定手段２２による位置合わせと着目画素の設定の一例を示す概念図である。連続撮影された２枚の画像データにおいて、１枚を被補正画像データ、撮像装置を右上に１画素分（Ｘ方向とＹ方向に各１画素分）移動して撮像した画像データを補正画像データとする。被補正画像データの欠陥画素がＸ１（０，０）に発現した場合、被補正画像データと補正画像データの位置ずれ量は（＋１、＋１）であるから、欠陥画素に対応する補正画像データの位置情報は、Ｘ２（１，１）である。このとき、補正画像データにおける欠陥画素は画素座標（０，０）である。つまり、被補正画像データの画素座標（０，０）の画素Ｘ１を着目画素とする場合、補正画像データの着目画素は画素座標（１，１）の画素Ｘ２である。

図５は、画素特定手段２２による置換画素及び／又は補正値の取得を示す概念図である。図５は、マルチショット合成のために取得した４枚の画像データの位置合わせ状態を例示しており、各画像データを３×３の９画素で描くとともに、各画像の中心画素を着目画素としている。図５において、１枚目の画像データの着目画素はＲ_００であり、２枚目の画像データの着目画素はＧ_１２であり、３枚目の画像データの着目画素はＧ_２２であり、４枚目の画像データの着目画素はＢ_３０である。なお、マルチショット合成のような高解像度化のための合成後の各画素値は、Ｒ＝Ｒ_００、Ｇ＝（Ｇ_１２＋Ｇ_２２）／２、Ｂ＝Ｂ_３０でそれぞれ表される。

画素特定手段２２は、複数の画像データのいずれかの画像データの着目画素が欠陥画素である場合、複数の画像データのその他の画像データの着目画素及び／又は着目画素以外の画素に基づいて、その他の画像データの置換画素及び／又は置換画素に基づく補正値を取得する。例えば、画素特定手段２２は、第１の画像データの着目画素が第１の画素である場合、第２の画像データの着目画素及び／又は着目画素以外の画素に基づいて、第２の画像データにおける第２の画素の値及び／又は第２の画素に基づく補正値を取得し、第１の画素を第２の画素の値及び／又は前記補正値で補正する。

図５において、１枚目の画像データの着目画素Ｒ_００が欠陥画素である場合は、１枚目の画像データが被補正画像データ（第１の画像データ）で、２枚目〜４枚目の画像データが補正画像データ（第２の画像データ）となる。置換画素及び／又は補正値であるＲは、次の式によって求められる。
Ｒ＝（２Ｒ_１０＋２Ｒ_１１＋２Ｒ_２０＋２Ｒ_２１＋Ｒ_３０＋Ｒ_３１＋Ｒ_３２＋Ｒ_３３）／１２

図５において、２枚目の画像データの着目画素Ｇ_１２が欠陥画素である場合は、２枚目の画像データが被補正画像データ（第１の画像データ）で、３枚目の画像データが補正画像データ（第２の画像データ）となる。置換画素及び／又は補正値であるＧは、次の式によって求められる。
Ｇ＝Ｇ_２２

図５において、３枚目の画像データの着目画素Ｇ_２２が欠陥画素である場合は、３枚目の画像データが被補正画像データ（第１の画像データ）で、２枚目の画像データが補正画像データ（第２の画像データ）となる。置換画素及び／又は補正値であるＧは、次の式によって求められる。
Ｇ＝Ｇ_１２

図５において、４枚目の画像データの着目画素Ｂ_３０が欠陥画素である場合は、４枚目の画像データが被補正画像データ（第１の画像データ）で、１枚目〜３枚目の画像データが補正画像データ（第２の画像データ）となる。置換画素及び／又は補正値であるＢは、次の式によって求められる。
Ｂ＝（Ｂ_００＋Ｂ_０１＋Ｂ_０２＋Ｂ_０３＋２Ｂ_１０＋２Ｂ_１１＋２Ｂ_２０＋２Ｂ_２１）／１２

画素特定手段２２は、２枚目の画像データの着目画素Ｇ_１２が欠陥画素である場合は、３枚目の画像データの着目画素Ｇ_２２を置換画素及び／又は補正値として抽出する。また、画素特定手段２２は、３枚目の画像データの着目画素Ｇ_２２が欠陥画素である場合は、２枚目の画像データの着目画素Ｇ_１２を置換画素及び／又は補正値として抽出する。このように、いずれかの画像データの着目画素が欠陥画素である場合に、その他の画像データの着目画素を置換画素及び／又は補正値として抽出することで、ＣＰＵ演算量を削減しつつ、高精度な置換画素及び／又は補正値を得ることができる。別言すると、画素特定手段２２は、第１の画像データの着目画素が第１の画素である場合、第２の画像データの着目画素を第２の画素の値及び／又は補正値として抽出することができる。

画素特定手段２２は、１枚目の画像データの着目画素Ｒ_００が欠陥画素である場合は、２枚目〜４枚目の画像データにおいて着目画素に隣接する画素群に基づいて、置換画素及び／又は補正値を算出する。画素特定手段２２は、４枚目の画像データの着目画素Ｂ_３０が欠陥画素である場合は、１枚目〜３枚目の画像データにおいて着目画素に隣接する画素群に基づいて、置換画素及び／又は補正値を算出する。このように、いずれかの画像データの着目画素が欠陥画素である場合に、その他の画像データにおいて着目画素に隣接する画素群に基づいて置換画素及び／又は補正値を算出することで、ＣＰＵ演算量を削減しつつ、高精度な置換画素及び／又は補正値を得ることができる。別言すると、画素特定手段２２は、第１の画像データの着目画素が第１の画素である場合、第２の画像データにおいて着目画素に隣接する画素群に基づいて第２の画素の値及び／又は補正値を算出することができる。

図６は、従来一般の画素補間（画素補正）における置換画素の算出方法を示す概念図である。すなわち、ある１枚の画像データに欠陥画素がある場合、当該１枚の画像データの同色のその他の画素に基づいて置換画素を算出し、当該置換画素によって欠陥画素を補正する。図６では、１枚の画像データを５×５の２５画素で描いており、中心画素であるＸ（Ｒの欠陥画素と推定される）の置換画素は、次の式によって求められる。
Ｘ＝（Ｒ_０＋２Ｒ_１＋Ｒ_２＋２Ｒ_３＋２Ｒ_５＋Ｒ_６＋２Ｒ_７＋Ｒ_８）／１２

撮像素子に含まれるベイヤ型原色フィルタを用いたイメージセンサは、赤色（Ｒ）、緑色（Ｇ（Ｇｒ，Ｇｂ））および青色（Ｂ）フィルタの集合体であり、垂直方向・水平方向とも１画素おきに同色のフィルタが配置される。従って、図６に示すように、従来一般の画素補間では、欠陥画素に隣接せずに当該欠陥画素から離れた（遠い）位置にある同色の画素を参照して置換画素を算出することになり、偽解像や偽色、モアレ等の補正エラーが発生しやすいという問題がある。

これに対し、第１実施形態では、図７に示すように、欠陥画素を有する画像データと別の画像データを参照することにより、欠陥画素を取り囲むように隣接する同色の画素を集合させて、置換画素及び／又は補正値を算出している。このため、偽解像や偽色、モアレ等の補正エラーを防止して、信頼性の高い置換画素及び／又は補正値を取得することが可能になる。

なお、図６に示す従来一般の画素補間を行った後に、図７に示す第１実施形態の画素補間を行うことも可能である。また、他の画像データで参照する範囲（以降、参照範囲もしくは参照領域とする）に欠陥画素がある（画素シフト後の参照範囲に欠陥画素が含まれる）場合は、当該欠陥画素を使わないで置換画素及び／又は補正値を算出することも可能である。なお、参照範囲（参照領域）は、適宜設定することが出来る。

ここで述べた画素特定手段２２による置換画素及び／又は補正値の取得手法はあくまで一例にすぎない。この補正手法によらず、ほかにも一番近い画素へとの置き換えや周囲の出力の方向差、他色との比率など従来の高性能な画素欠陥補正や画素補間などの手法を用いたり、併用することなども可能である。すなわち、ある画像データに欠陥画素が含まれている場合に、その他の画像データに基づいて置換画素及び／又は補正値を取得する限りにおいて、置換画素及び／又は補正値の取得手法には自由度があり、種々の設計変更が可能である。

補正手段２３は、画素特定手段２２が取得した置換画素及び／又は補正値によって、画素特定手段２２が検出した画像データの欠陥画素を補正する。すなわち、補正手段２３は、置換画素及び／又は補正値（第２の画素の値）を用いて第１の画素の値を補正する。これにより、欠陥画素が高精度に復元された画像データを得ることができる。例えば、マルチショット合成のために取得した４枚の画像データの欠陥画素を高精度に復元して、優れた画像品質の合成画像を得ることが可能になる。

合成手段２４は、補正手段２３によって必要に応じて欠陥画素が補正された複数の画像データを合成することで、合成画像データを取得する。すなわち、合成手段２４は、イメージセンサ１１を画素単位（例えば１画素単位）で移動（微小振動）させながら撮影した複数の画像データを合成して合成画像データを得る、いわゆるマルチショット合成を実行する。合成手段２４による合成画像データは、元となる画像データ（例えば第１、第２の画像データ）の欠陥画素が良好に補正されていることにより、極めて高品質（高品位）とすることができる。

置換手段２５は、複数の画像データのうちのいずれかの画像データにＲＧＢの一色に対応する像面位相差補正用画素が設定されている場合において、イメージセンサ１１の画素単位の相対移動に従って、当該像面位相差補正用画素の元位置に同一色の別の画素が相対移動してきたとき、当該同一色の別の画素による置換を実行する。つまり置換手段２５は、第１の画像データ及び／又は第２の画像データにＲＧＢの一色に対応する像面位相差補正用画素が設定されている場合において、像面位相差補正用画素の元位置に同一色の別の画素が相対移動するとき、別の画素による置換を実行する。

図８は、置換手段２５による画素置換を示す概念図である。図８において、１枚目の画像データ（被補正画像データ、第１の画像データ）と２枚目〜４枚目の画像データ（補正画像データ、第２の画像データ）に像面位相差補正用画素ＺＡ、ＺＢが設定されている。１枚目の画像データ（被補正画像データ、第１の画像データ）において、像面位相差補正用画素ＺＡ、ＺＢはＲＧＢのうちのＧ色に対応している。そして、３枚目の画像データ（補正画像データ、第２の画像データ）において、像面位相差補正用画素ＺＡ、ＺＢの元位置にＧ色の別の画素が相対移動してきたとき、当該Ｇ色の別の画素による置換が実行される。

第１実施形態のデジタルカメラ１では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら撮影を行うことで、複数の画像データを取得している。すなわち、カメラユニット１０とイメージセンサ１１が、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら第１の画像データと第２の画像データを取得する「取得手段」として機能する。しかし、上記相対移動の画素単位のサイズが不適切である場合、基準画素及び該基準画素の周囲に位置する参照領域に複数の欠陥画素が存在する（欠陥画素を周辺にコピーする）ことになり、欠陥画素を高精度に復元することが難しくなってしまうおそれがある。

図９は、イメージセンサ１１を１画素ずつ移動させて撮影した複数の画像データと欠陥画素のコピーを示す概念図である。１枚目の画像データを被補正画像データとする。２枚目の画像データは、イメージセンサ１１を上に１画素分移動させて撮影した補正画像データである。３枚目の画像データは、イメージセンサ１１を更に左に１画素分移動させて撮影した補正画像データである。４枚目の画像データは、イメージセンサ１１を更に下に１画素分移動させて撮影した補正画像データである。これら４枚の画像データが補正処理を行うために画像処理装置２０に入力した場合、基準画素（欠陥画素）周辺の参照範囲には多く（基準画素を含む４つ）の欠陥画素が含まれるため、置換画素／補正値が正しく算出されず、欠陥画素を高精度に復元することが難しくなってしまうおそれがある。

そこで、デジタルカメラ１のＣＰＵ（制御手段）９０は、複数の画像データにおいて、基準画素及び該基準画素の周囲に位置する参照領域に複数の欠陥画素が存在しないように、イメージセンサ１１を相対移動させるための画素単位のサイズを制御する。具体的には、デジタルカメラ１のＣＰＵ（制御手段）９０は、第１の画像データと第２の画像データにおいて、基準画素及び基準画素の周囲に位置する参照領域に複数の欠陥画素が存在しないように、画素単位のサイズを制御する。例えば、図１０に示すように、イメージセンサ１１を相対移動させるための画素単位のサイズを３画素ピッチに制御することができる。図１０では、１枚目〜４枚目の画像データを重畳した基準画素（欠陥画素）周辺の参照範囲には、単一の欠陥画素しか含まれていない（欠陥画素が参照領域にコピーされることがない）。このため、置換画素／補正値を正しく算出して、欠陥画素を高精度に復元することが可能になる。

なお、図１０の例では、イメージセンサ１１を相対移動させるための画素単位のサイズを３画素ピッチに制御したが、画素単位のサイズをどのように制御するかについては自由度があり、種々の設計変更が可能である。すなわち、複数の画像データにおいて、基準画素及び該基準画素の周囲に位置する参照領域に複数の欠陥画素が存在しない限りにおいて、例えば、イメージセンサ１１の参照範囲や画素サイズ、移動周期等に応じて、相対移動のための画素単位のサイズを適宜変更することができる。

上記の説明では、イメージセンサ１１の画素として、欠陥画素の検出とその補正に使用される「着目画素」、及び、複数の欠陥画素が存在しないようにイメージセンサ１１を駆動制御するために使用される「基準画素」を挙げている。「着目画素」と「基準画素」は別々の技術思想に基づく概念であり、同一の画素となる場合もあるし、別々の画素となる場合もある。

図１１は、第１実施形態のデジタルカメラ１による撮影処理を示すフローチャートである。

ステップＳＴ１では、通常撮影（１枚撮影）であるか、マルチショット合成であるかを判定する。通常撮影（１枚撮影）である場合はステップＳＴ２に進み、マルチショット合成である場合はステップＳＴ４に進む。

ステップＳＴ２では、通常撮影（１枚撮影）を実行して１枚の画像データを取得する。

ステップＳＴ３では、ステップＳＴ２で取得した１枚の画像データの欠陥画素補正処理を実行する。すなわち、１枚の画像データに欠陥画素があるか否かを判定し、欠陥画素がある場合には、当該１枚の画像データの同色のその他の画素に基づいて置換画素を算出し、当該置換画素によって欠陥画素を補正する（図６参照）。なお、通常撮影で１枚の画像データを取得した場合であっても、データストレージや撮影されたデータの中に、補正画像データとして使用できる画像データ（その他の画像データ）が存在する場合は、本実施の形態の他の画像データの画素に基づく欠陥画素補正処理を行ってもよい。

ステップＳＴ４では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら複数回（例えば４回）の撮影を行うことにより、複数枚（例えば４枚）の画像データを取得する。

ステップＳＴ５では、ステップＳＴ４で取得した複数枚（４枚）の画像データの欠陥画素補正処理を実行する。この欠陥画素補正処理については、サブルーチンとして後に詳細に説明する。

ステップＳＴ６では、欠陥画素補正処理の実行後の複数枚(４枚)の画像データを合成して高解像度画像を得る。

なお、第１実施形態の欠陥画素補正処理に注目したとき、ステップＳＴ６の画像合成ステップは必須の処理ステップではなく、これを省略することが可能である。

図１２は、図１１のステップＳＴ５の欠陥画素補正処理を示すフローチャートである。

ステップＳＴ５１では、ステップＳＴ４で取得した複数枚（４枚）の画像データが画像処理装置２０の入力手段２１に入力する。画像処理装置２０の入力手段２１に入力する複数の画像データは、第１実施形態のようにカメラユニット１０によって撮影されたものであってもよいし、指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から選択・抽出されたものであってもよい。あるいは、画像処理装置２０の入力手段２１に入力する複数の画像データは、防振ユニット８０を利用することなく（イメージセンサ１１の能動的に動かすのではなく）、撮影者の手振れ（揺らぎ）によるショット毎の画像のずれを利用して行う、所謂「手振れ利用マルチショット合成」により得られたものであってもよい。

ステップＳＴ５２では、複数枚（４枚）の画像データの画素ずれ量（位置ずれ量）を算出する。

ステップＳＴ５３では、ステップＳＴ５２で算出した画素ずれ量に応じて、複数枚（４枚）の画像データの画素位置を一致させる位置合わせ演算処理を実行する。この位置合わせ演算処理は、実際に画像データを重ね合わせる必要はなく、仮に画像データを重ね合わせた場合の演算を行えばよい。

ステップＳＴ５４では、複数枚（４枚）の画像データの共通位置に着目画素を設定する。

ステップＳＴ５５では、複数枚（４枚）の画像データのいずれかの画像データの着目画素が欠陥画素であるか否かを判定する。着目画素に欠陥画素が存在しない場合（ステップＳＴ５５：Ｎｏ）には、欠陥画素補正処理を終了してリターンする。着目画素に欠陥画素が存在する場合（ステップＳＴ５５：Ｙｅｓ）には、ステップＳＴ５６に進む。

ステップＳＴ５６では、欠陥画素が存在するいずれかの画像データ以外のその他の画像データの着目画素及び／又は着目画素以外の画素に基づいて、欠陥画素を補正するための置換画素及び／又は補正値を取得する。

ステップＳＴ５７では、ステップＳＴ５６で取得した置換画素及び／又は補正値により、いずれかの画像データの欠陥画素を補正する。

なお、図１２のフローチャートのステップＳＴ５１とステップＳＴ５２の間に、画像処理装置２０に入力した複数の画像データが第１実施形態の欠陥画素補正処理に適しているか否かを判定するマッチング処理を割り込ませてもよい。また、図１２のフローチャートのステップＳＴ５３とステップＳＴ５４の間に、複数の画像データの画素ずれ量に応じて該複数の画像データの一部を選択（選別）する選択処理（選別処理）を割り込ませてもよい。マッチング処理と選択処理を実行するか否かは、複数の画像データの枚数や撮影環境等に応じて柔軟に切り替えることができる。

また、画像や画素を読み出す際に、逐次位置あわせ演算処理を行うことも可能であるが、複数の画像間では読み出す画像によって位置あわせは変化しないため、複数の画像が入力された直後に位置あわせ演算処理を行うことで、計算量を減らすことができる。そして、欠陥画素の補正（被補正画像データへの欠陥画素データの書き込み）を行うタイミングは、全ての画像に対する補正値を計算した後や、いずれかの画像データにおいて、全ての欠陥画素の補正値を算出した後に適宜行ってもよい。

ここで、画像の合成を行う場合、欠陥画素の補正値を抽出する際の適切な位置ずれ量を判断する基準と、合成対象画像の選択をする際の適切な位置ずれ量を判断する基準とは、互いに異なっていてもよい。つまり、合成対象画像と補正画像（補正値を抽出する画像）は、必ずしも同一でなくてもよい。複数の画像の中によりふさわしい合成対象画像があったり、合成対象画像としては位置ずれ量が不適格だが補正値の抽出としては適当な画像があったりする場合、その画像と位置ずれ量を用いて補正値の抽出を行い、合成対象画像としてもっとも効果的なものと位置ずれ量とを用いて画像合成を実行することができる。

また、被補正画像データを合成処理する際に、欠陥画素の補正に用いた補正画像とは異なる画像を合成対象画像とすることにより、更なる高解像画像を得ることも可能である。具体的には、複数の画像からなるデータセットを複数セット用意して、各データセットにおいて、欠陥画素を補正したい１枚の画像を被補正画像として設定し、それ以外の画像を補正画像として欠陥画素を補正することができる。各データセットで同様に補正された複数の被補正画像データ同士を合成することにより、高解像画像を得ることができる。この場合、複数の被補正画像同士が、基準画像又は合成対象画像として機能するような画像である必要があるが、合成対象画像として抽出可能な画像を多く有する場合（例えば連写撮影など）には、効果的である。

このように第１実施形態の撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムでは、入力手段２１に、第１の画像データと第２の画像データが入力し、画素特定手段２２が、第１の画像データに含まれる第１の画素に相当する第２の画像データに含まれる第２の画素を特定し、補正手段２３が、第２の画素の値を用いて第１の画素の値を補正する。これにより、高品質な画像データを得ることができる。とりわけ、マルチショット合成を行う場合に高品質な合成画像データを得ることができる。

従来一般の欠陥画素補正技術は、欠陥画素に置き換わる画素を有していないが、第１実施形態では、例えばマルチショット合成のための複数回の撮影を行っていて、且つ、被写体と画素の位置関係がそれぞれ異なる複数の画像データが得られている。そのため、ある画像データの欠陥画素の補正を行う場合に、その対になるその他の画像データの正常画素からの出力により置換画素及び／又は補正値を求めて、欠陥画素を補正することにより、欠陥画素を高精度に復元することができる。また入力した複数枚の画像データの中で、補正画像データと被補正画像データを変えて各画像データに対して欠陥画素の補正を行うことが出来るため、撮影された複数の画像データの欠陥画素が高精度に復元され、マルチショット合成を行う際にもより高精度な合成画像を得ることが出来る。

図１３は、画像処理装置（プロセッサ）２０の内部構成の他の例を示す機能ブロック図である。図１３の機能ブロック図は、図３の機能ブロック図を別の観点から見た機能ブロック図と捉えることもできる。

図１３に示すように、画像処理装置（プロセッサ）２０は、位置ずれ量検出部２６Ａと、選択部２６Ｂと、欠陥画素補正部２６Ｃとを有している。

位置ずれ量検出部２６Ａは、画像データ間（例えば、第１、第２の画像データ間）の位置ずれ量を検出する。

選択部２６Ｂは、位置ずれ量検出部２６Ａが検出した位置ずれ量に応じて、被補正画像データと補正画像データを選択する。あるいは、選択部２６Ｂは、複数の画像から位置ずれ量検出部２６Ａが検出した位置ずれ量に応じて基準画像と合成対象画像を選択し、欠陥画素を含む基準画像データ又は合成対象画像データを被補正画像データとして、被補正画像データと位置ずれ量に応じて複数の画像から補正画像データを選択する。

欠陥画素補正部２６Ｃは、位置ずれ量検出部２６Ａが検出した位置ずれ量と、選択部２６Ｂが選択した補正画像データに基づいて、被補正画像の欠陥画素を変更する。

そして、位置ずれ量検出部２６Ａが検出した位置ずれ量に基づいて、被補正画像データと補正画像データを合成することができる。あるいは、位置ずれ量検出部２６Ａが検出した位置ずれ量に基づいて、基準画像と合成対象画像を合成することができる。

このように、複数の画像間で位置ずれ量を計算し、該位置ずれ量に基づいて、合成対象画像と基準画像を選択する。合成対象画像と基準画像の少なくとも一方に欠陥画素がある場合、該画像（つまり被補正画像）の欠陥画素を補正するため、位置ずれ量に応じて補正画像を選択する。この場合、補正画像は、必ずしも、合成対象画像や基準画像でなくてもよい。

≪第２実施形態≫
図１４〜図１６を参照して第２実施形態について説明する。第１実施形態と重複する内容については説明を省略する。

図１４に示すように、画像処理装置（プロセッサ）２０は、入力手段２１と画素特定手段２２と補正手段２３と合成手段２４と置換手段２５に加え、分割手段２７を有している。

分割手段２７は、複数の画像を互いに対応する画像領域に分割する。図１５Ａ〜図１５Ｄは複数の画像を互いに対応する画像領域に分割する場合の一例を示す図である。図１５Ａでは、第１の画像が縦横同サイズのマトリクス状の画像領域１−１、１−２、・・・、１−Ｎに分割されている。図１５Ｂでは、第２の画像が縦横同サイズのマトリクス状の画像領域２−１、２−２、・・・、２−Ｎに分割されている。図１５Ｃでは、第３の画像が縦横同サイズのマトリクス状の画像領域３−１、３−２、・・・、３−Ｎに分割されている。図１５Ｄでは、第４の画像が縦横同サイズのマトリクス状の画像領域４−１、４−２、・・・、４−Ｎに分割されている。各画像領域のブロックサイズには自由度があるが、例えば、各画像領域のブロックサイズを１２８画素×１２８画素とすることができる。

画素特定手段２２（図３）又は位置ずれ量検出部２６Ａ（図１３）は、複数の画像の互いに対応する画像領域毎の位置ずれ量（画素ずれ量）を検出する。図１５Ａ〜図１５Ｄの例に沿って説明すると、画素特定手段２２又は位置ずれ量検出部２６Ａは、第１の画像の画像領域１−１と、第２の画像の画像領域２−１と、第３の画像の画像領域３−１と、第４の画像の画像領域４−１との位置ずれ量（画素ずれ量）を計算する。また、画素特定手段２２又は位置ずれ量検出部２６Ａは、第１の画像の画像領域１−２と、第２の画像の画像領域２−２と、第３の画像の画像領域３−２と、第４の画像の画像領域４−２との位置ずれ量（画素ずれ量）を計算する。また、画素特定手段２２又は位置ずれ量検出部２６Ａは、第１の画像の画像領域１−Ｎと、第２の画像の画像領域２−Ｎと、第３の画像の画像領域３−Ｎと、第４の画像の画像領域４−Ｎとの位置ずれ量（画素ずれ量）を計算する。このように、画素特定手段２２又は位置ずれ量検出部２６Ａは、各画像の同じ位置のブロック同士で、例えば、サブピクセル推定によって相関を演算する。

画素特定手段２２（図３）又は選択部２６Ｂ（図１３）は、画素特定手段２２（図３）又は位置ずれ量検出部２６Ａ（図１３）が検出した相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。例えば、画素特定手段２２又は選択部２６Ｂは、いずれかの画像の画像領域を基準画像領域に設定し、その他の画像の画像領域を比較画像領域に設定して、基準画像領域との位置ずれ量（画素ずれ量）が所定の閾値以内であり、且つ、最もずれ量が小さく奇数画素分または偶数画素分ずれている比較画像領域を合成対象画像領域として選択することができる。例えば、図１５Ａの第１の画像の画像領域１−１〜１−Ｎを基準画像領域に設定した場合、基準画像領域１−１に対する合成対象画像領域として画像領域２−１、３−１、４−１の中から少なくとも１つを選択することができ、基準画像領域１−２に対する合成対象画像領域として画像領域２−２、３−２、４−２の中から少なくとも１つを選択することができ、基準画像領域１−Ｎに対する合成対象画像領域として画像領域２−Ｎ、３−Ｎ、４−Ｎの中から少なくとも１つを選択することができる。

合成手段２４（図３）又は欠陥画素補正部２６Ｃ（図１３）は、画素特定手段２２（図３）又は位置ずれ量検出部２６Ａ（図１３）が検出した相関値である位置ずれ量（画素ずれ量）と、画素特定手段２２（図３）又は選択部２６Ｂ（図１３）が選択した合成対象画像領域とに基づいて、合成画像を得る。合成手段２４又は欠陥画素補正部２６Ｃは、画素特定手段２２又は位置ずれ量検出部２６Ａが検出した相関値である位置ずれ量（画素ずれ量）に応じて、画素特定手段２２又は選択部２６Ｂが選択した合成対象画像領域の画像演算を実行することにより、合成画像を得る。例えば、合成手段２４又は欠陥画素補正部２６Ｃは、図１５Ａの基準画像領域１−１に、図１５Ｂ〜図１５Ｄの比較画像領域２−１〜４−１の中から画素特定手段２２又は選択部２６Ｂが選択した合成対象画像領域を合成または置換する。また、合成手段２４又は欠陥画素補正部２６Ｃは、図１５Ａの基準画像領域１−２に、図１５Ｂ〜図１５Ｄの比較画像領域２−２〜４−２の中から画素特定手段２２又は選択部２６Ｂが選択した合成対象画像領域を合成または置換する。また、合成手段２４又は欠陥画素補正部２６Ｃは、図１５Ａの基準画像領域１−Ｎに、図１５Ｂ〜図１５Ｄの比較画像領域２−Ｎ〜４−Ｎの中から画素特定手段２２又は選択部２６Ｂが選択した合成対象画像領域を合成または置換する。

このようにして、合成手段２４又は欠陥画素補正部２６Ｃは、分割手段２７が分割した複数の画像領域の各々について、画素特定手段２２又は位置ずれ量検出部２６Ａと画素特定手段２２又は選択部２６Ｂが協働して求めた合成対象画像領域による画像演算（合成または置換）を実行することにより、１枚の合成画像を得る。

つまり、１枚の基準画像の各基準画像領域は、その他の比較画像の各比較画像領域から選択された合成対象画像領域に基づいて合成または置換される。例えば、基準画像である第１の画像の基準画像領域１−１を第２の画像の合成対象画像領域２−１で合成または置換し、第１の画像の基準画像領域１−２を第３の画像の合成対象画像領域３−２で合成または置換し、第１の画像の基準画像領域１−Ｎを第４の画像の合成対象画像領域４−Ｎで合成または置換することができる。

なお、基準画像のある基準画像領域について、比較画像の比較画像領域から適切な合成対象画像領域を選択できなかった場合は、当該基準画像領域の合成または置換を行うことなく、当該基準画像領域をそのまま利用してもよい。

図１６は、第２実施形態による撮影処理の一例を示すフローチャートである。

ステップＳＴ１１０では、複数の画像を互いに対応する画像領域に分割する。

ステップＳＴ１２０では、複数の画像の互いに対応する画像領域の位置ずれ量（画素ずれ量）を検出する。

ステップＳＴ１３０では、相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。

ステップＳＴ１４０では、全ての画像領域について合成対象画像領域を選択したか否かを判定する。全ての画像領域について合成対象画像領域を選択していない場合（ステップＳＴ１４０：ＮＯ）、ステップＳＴ１３０に戻って、全ての画像領域について合成対象画像領域を選択し終わるまで、ステップＳＴ１３０〜ステップＳＴ１４０の処理ループを繰り返す。全ての画像領域について合成対象画像領域を選択した場合（ステップＳＴ１４０：ＹＥＳ）、ステップＳＴ１５０に進む。

ステップＳＴ１５０では、相関値である位置ずれ量（画素ずれ量）と選択した合成対象画像領域に基づいて、合成画像を得る。

以上説明した第２実施形態では、複数の画像を互いに対応する画像領域に分割し、複数の画像の互いに対応する画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得る。従って、画像単位で位置ずれ量を検出して合成対象画像を選択して合成画像を得る第１実施形態よりも、優れた画像品質（高詳細、モアレや偽色や高感度ノイズの低減等）を実現することができる。

第１実施形態では、画像の一部の画素を補正（置換）することが特徴の１つとなっている。つまり、ある画像の欠陥画素に対応する、別の画像の画素の位置を特定できればよい。このため、第２実施形態のように、１つの画像を複数の画像領域に分割して合成対象画像を見つける必要がない場合もある。例えば、イメージセンサを１画素ずつ相対移動させるマルチショット合成を想定した場合、各画像の位置ずれ量を高精度に把握する必要がない。これに対して、カメラ本体からの情報（例えばイメージセンサからの情報）を用いることなく、手振れした状態で撮影された画像の画素情報から画素の位置を特定する場合（例えば手振れ利用マルチショット合成を行う場合）、細かいブロック毎にサブピクセル精度のずれ量を算出しないと、領域の特定が困難になるおそれがある。

例えば、本実施形態の画像の一部の画素を補正（置換）する処理の前段の処理として、複数の画像どうしの位置ずれ量を相対移動して合成することを想定する。例えば、複数の画像の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像を選択し、位置ずれ量と合成対象画像に基づいて合成画像を得ることが考えられる。すなわち、複数の画像の画素ずれ量を検出し、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択し、位置ずれ量に応じて基準画像と合成対象画像を相対移動して合成画像を得ることが考えられる。

上記の基準画像と比較画像（合成対象画像）に本願の被補正画像と補正画像を当てはめた場合、被補正画像の欠陥画素（第１の画素）の位置に相当する、補正画像における画素（第２の画素）を用いて、被補正画像を補正（置換）した高品質画像を得ることが可能になる。そして、各画像の欠陥画素を補正した後に、補正画像と被補正画像を合成することにより、欠陥画素が補正された高解像な画像を得ることができる。

第２実施形態では、各画像を複数の画像領域に分割して、各画像領域をペアリングして比較演算を行う場合を例示して説明した。しかし、例えば、イメージセンサを１画素ずつ相対移動させるマルチショット合成を行うような場合には、画像領域への分割並びに画像領域毎のペアリング及び比較演算を行うことなく、画像同士でのペアリング及び比較演算を行うことも可能である。

≪第３実施形態≫
上記の第１、第２実施形態のデジタルカメラ１は、マルチショット合成モードにおいて、防振ユニット８０を利用した移動部材（例えばイメージセンサ１１）の駆動（例えば像振れ補正駆動）を実行していない場合を想定している。しかし、画像が特定の位置で完全に固定されず（複数の画像の位置ずれを完全に補正せず）、大まかな像振れ位置決め補正を行う程度であれば、防振ユニット８０を利用した像振れ補正駆動を実行することができる。

つまり、防振ユニット８０による像振れ補正駆動を行った場合であっても厳密な意味で（完全に）像振れをゼロにすることはできない（ミクロン単位のずれ量は発生する）ので、むしろこのずれ量を積極的に利用してマルチショット合成を実行するのが第３実施形態である。これは、防振ユニット８０による像振れ補正駆動の駆動量とマルチショット合成に要求される各画像の位置ずれ量（画素ずれ量）を比較したときに、前者が後者よりも格段に大きいという着眼に基づいている。

第３実施形態では、マルチショット合成モード（いわば防振ユニット８０による像振れ補正駆動ありの手振れ利用マルチショット合成モード）の設定をした後に、例えば、連写撮影によって複数の画像を得る。そして、複数の画像に基づく画像合成処理によって１枚の合成画像を得る。

例えば、複数の画像の画素ずれ量を検出し、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択し、位置ずれ量に応じて基準画像と合成対象画像を相対移動して合成画像を得ることができる。

あるいは、複数の画像を互いに対応する画像領域に分割し、複数の画像の互いに対応する画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得ることができる。

図１７〜図２０を参照して、防振ユニット８０の構成について詳細に説明する。各図において、撮影光学系の光軸Ｏと平行な方向を第１の方向（Ｚ方向、Ｚ軸方向）、第１の方向と直交する方向を第２の方向（Ｘ方向、Ｘ軸方向）、第１の方向及び第２の方向の双方と直交する方向を第３の方向（Ｙ方向、Ｙ軸方向）とする。例えば、Ｘ軸、Ｙ軸及びＺ軸を３次元の直交座標系の座標軸と仮定すると、光軸ＯをＺ軸としたとき、Ｚ軸と直交し、かつ互いに直交する二方向の軸がＸ軸及びＹ軸になる。カメラが正位置（横位置）にあるとき、第１の方向（Ｚ方向、Ｚ軸、光軸Ｏ）及び第２の方向（Ｘ方向、Ｘ軸）は水平になり、第３の方向（Ｙ方向、Ｙ軸）は鉛直になる。

デジタルカメラ１は、カメラボディＣＢの振れ（振動）を検出する検出手段として、ロール（Ｚ方向回りの傾動（回転））検出部、ピッチ（Ｘ方向回りの傾動（回転））検出部、ヨー（Ｙ方向回りの傾動（回転））検出部、Ｘ方向加速度検出部、Ｙ方向加速度検出部、及びＺ方向加速度検出部を備えている。これらの各検出手段は、例えば６軸センサ、または３軸ジャイロセンサと３軸加速度センサによって構成されている。これらの各検出手段は、図１のセンサ７０の一部として構成されていてもよい。

撮像ブロック（例えば図１のカメラユニット１０）は、撮像素子１１０と、撮像素子１１０を支持したステージ装置１２０とを有している。ステージ装置１２０は、撮像素子１１０が搭載された可動ステージ１２１と、可動ステージ１２１の前後に位置する前固定ヨーク１２２と後固定ヨーク１２３とを備え、少なくとも通電時には、可動ステージ１２１を前後の固定ヨーク１２２、１２３に対して、浮上（重力に抗して浮上させ、静止状態に保持）させることができる。ステージ装置１２０は、浮上状態の可動ステージ１２１を、Ｚ方向（第１の方向）並進、Ｚ方向と直交するＸ方向（第２の方向）並進、Ｚ方向及びＸ方向の双方と直交するＹ方向（第３の方向）並進、Ｘ方向（第２の方向）回りの傾動（回転）、Ｙ方向（第３の方向）回りの傾動（回転）、及びＺ方向（第１の方向）回りの傾動（回転）（６自由度の移動、６軸移動）させることができる。

ボディＣＰＵ（例えば図１のＣＰＵ９０）は、ピッチ（Ｘ方向回りの傾動（回転））、ヨー（Ｙ方向回りの傾動（回転））、ロール（Ｚ方向回りの傾動（回転））、Ｘ方向加速度、Ｙ方向加速度、及びＺ方向加速度に基づいてデジタルカメラ１０のぶれ方向、ぶれ速度等を演算する。ボディＣＰＵは、撮像素子１１０に投影された被写体像が撮像素子１１０に対して相対移動しないように撮像素子１１０を駆動する方向、駆動速度、駆動量などを演算し、演算結果に基づいてステージ装置１２０を並進、傾動、傾動中の並進、傾動後に並進及び並進後に傾動駆動する。

ステージ装置１２０は、撮像素子１１０が固定された可動ステージ１２１を前固定ヨーク１２２と後固定ヨーク１２３に対して、並進、傾動、傾動中の並進、及び傾動後に並進自在に保持する。可動ステージ１２１は、正面視で、撮像素子１１０より大きい長方形の板状部材である。前固定ヨーク１２２と後固定ヨーク１２３は、平面視、外形が可動ステージ１２１より大きい同一形状の長方形の枠状部材からなり、中央部にそれぞれ、正面視で（Ｚ方向から見て）、撮像素子１１０の外形より大きい長方形の開口１２２ａと１２３ａが形成されている。

前固定ヨーク１２２の後面（被写体側と反対側の面）にはＹ軸を中心線としＺ軸を挟んで開口１２２ａの少なくとも左右（Ｘ方向）の一方、図示実施形態では左右両側部に位置する態様で、同一仕様の左右一対の永久磁石からなるＸ方向用磁石ＭＸが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３が左右のＸ方向用磁石ＭＸの磁束を通すことにより、左右のＸ方向用磁石ＭＸと後固定ヨーク１２３の対向部の間にＸ方向（第２の方向）の推力を発生する磁気回路が形成される。

前固定ヨーク１２２の後面には開口１２２ａの下方にＹ軸を中心線としてＺ軸から離間して位置する態様で、同一仕様の一対の永久磁石からなるＹ方向用磁石ＭＹＡと同一仕様の一対のＹ方向用磁石ＭＹＢが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３がＹ方向用磁石ＭＹＡとＹ方向用磁石ＭＹＢの磁束を通すことにより、Ｙ方向用磁石ＭＹＡ及びＹ方向用磁石ＭＹＢと後固定ヨーク１２３との間に、Ｙ方向（第３の方向）の推力を発生する磁気回路が形成される。

前固定ヨーク１２２の後面には、Ｘ方向用磁石ＭＸ、Ｙ方向用磁石ＭＹＡとＭＹＢとは異なる３カ所に、同一仕様の永久磁石からなるＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣが固定されている。３個のＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣは、Ｚ軸を中心としてＺ軸直交平面内に略等間隔に配置されている。前固定ヨーク１２２及び後固定ヨーク１２３がＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣの磁束を通すことにより、Ｚ方向用磁石ＭＺＡ、ＭＺＢ、ＭＺＣと後固定ヨーク１２３との間に、Ｚ方向（第１の方向）の推力を発生する複数の磁気回路が形成される。

可動ステージ１２１の中央部には正面視長方形の撮像素子取付孔１２１ａが穿設され、撮像素子取付孔１２１ａに撮像素子１１０が嵌合固定されている。撮像素子１１０は、撮像素子取付孔１２１ａから可動ステージ１２１の光軸Ｏ方向前方に突出している。

可動ステージ１２１には、撮像素子１１０の左右の両辺（短辺）の外方部に位置させて、一対のＸ駆動用コイルＣＸが固定され、撮像素子３１の下方の一辺（長辺）の下方部に位置させて、左右に離して一対のＹ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢが固定されている。可動ステージ１２１にはさらに、一対のＹ駆動用コイルＣＹＡとＣＹＢの間（中間位置）に位置させて円形のＺ駆動用コイルＣＺＡが固定され、一対のＸ駆動用コイルＣＸより上方に位置させて円形の一対のＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣが固定されている。

以上のＸ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣは、アクチュエータ駆動回路（図示略）に接続され、当該アクチュエータ駆動回路を介して通電制御される。

可動ステージ１２１には、Ｘ駆動用コイルＣＸの空芯領域に位置するＸ方向用ホール素子ＨＸと、Ｙ駆動用コイルＣＹＡとＣＹＢの空芯領域にそれぞれ位置するＹ方向用ホール素子ＨＹＡとＹ方向用ホール素子ＨＹＢと、各Ｚ駆動用コイルＣＺＡ、ＣＺＢ、ＣＺＣの空芯領域にそれぞれ位置するＺ方向用ホール素子ＨＺＡ、Ｚ方向用ホール素子ＨＺＢ、Ｚ方向用ホール素子ＨＺＣとが固定されている。

位置検出回路（図示略）は、Ｘ方向用ホール素子ＨＸ、Ｙ方向用ホール素子ＨＹＡ、ＨＹＢ、及びＺ方向用ホール素子ＨＺＡ、ＨＺＢ、ＨＺＣが出力した検出信号により可動ステージ１２１のＸ方向位置、Ｙ方向位置、Ｚ方向位置、Ｘ方向回りの傾動位置（Ｘ方向回りの傾動（回転）角、ピッチ角）、Ｙ方向回りの傾動位置（Ｙ方向回りの傾動（回転）角、ヨー角）、及びＺ方向回りの傾動位置（Ｚ方向回りの傾動（回転）角、ロール角）を検出する。

位置検出回路（図示略）の検出結果に応じて、アクチュエータ駆動回路（図示略）が、Ｘ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣを通電制御することにより、撮像素子１１０（可動ステージ１２１）を駆動することができる。例えば、防振ユニット８０は、撮影部の少なくとも一部である撮像素子１１０を駆動部材として、当該駆動部材を光軸Ｏ（Ｚ軸）と異なる方向に駆動することで像振れを補正する手ぶれ補正機構（駆動機構）として機能する。なお、駆動対象となる駆動部材は撮像素子１１０に限定されず、例えば、撮影レンズの一部を像振れ補正レンズとすることも可能である。

本発明者は、一例として挙げた上記のような六軸駆動ユニット（但し像振れ補正の態様は問わない）によって像振れ補正駆動を実行しながらマルチショット合成を実行する技術について鋭意研究を重ねた結果、次のような知見を得た。すなわち、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向のずれが残存していても、マルチショット合成の画像品質に与える悪影響は小さいが、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向のずれが残存していると、マルチショット合成の画像品質に悪影響を与えることが判明した。

上述したように、本実施形態では、複数の画像又は画像領域の位置ずれ量（画素ずれ量）の検出等の画像演算は、ＸＹ平面内のＸＹ座標軸に基づいて行われるので、ＸＹ平面内の回転方向のずれ量が大きいと、複数の画像同士又は複数の画像領域同士で相関が得られず、適切な画像演算が困難になるおそれがある。

図２１は、ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。図２１に示すように、ＸＹ平面内の回転方向の像振れ量は、光軸Ｏ（Ｚ軸）に近いほど（画像中心部寄りのほど）小さくなり、光軸Ｏ（Ｚ軸）から遠いほど（画像周辺部寄りのほど）大きくなる。

本実施形態では、防振ユニット８０によって、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における平行方向のずれ量のみならず、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における回転方向のずれ量を補正することによって、画像演算の精度を高めて、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。

防振ユニット（駆動機構）８０は、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向の駆動成分（駆動量）を相対的に小さくし、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向の駆動成分（駆動量）を相対的に大きくしてもよい。これにより、マルチショット合成の画像品質に与える悪影響が小さい駆動部材（撮像素子）の平行方向のずれ成分（ずれ量）が残存することをある程度許容し、マルチショット合成の画像品質に大きな悪影響を与える駆動部材（撮像素子）の回転方向のずれ成分（ずれ量）を積極的に除去して、マルチショット合成の画像品質を向上することができる。

また第２実施形態のように、分割手段２７によって複数の画像を互いに対応する画像領域に分割して、各画像領域について位置ずれ量（画素ずれ量）を演算することにより、駆動部材（撮像素子）の回転方向のずれ量の悪影響を低減することができる。

この場合、分割手段２７は、複数の画像を互いに異なるサイズの画像領域に分割することが好ましい。より具体的に、分割手段２７は、複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、複数の画像の周辺側を相対的に小さいサイズの画像領域に分割することが好ましい。

図２２は、複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示している。図２２では、最小ブロック単位で縦８ブロック×横１０ブロックの計８０ブロックに相当する画像領域を、画像中央側の最大画像領域ブロックと、最大画像領域ブロックの左右両側に位置する２つの中間画像領域ブロックと、最大画像領域ブロックと２つの中間画像領域ブロックの周囲を取り囲む画像周辺側の最小画像領域ブロックとに分割している。最大画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横４つずつの１６ブロック分のサイズであり、中間画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横２つずつの４ブロック分のサイズである。

例えば、複数の画像の間で回転方向のずれがある場合、そのずれ量は、画像中心部寄りであるほど小さくなり、画像周辺部寄りであるほど大きくなる（図２１を参照）。そこで、回転方向のずれ量が小さい画像中心部の画像領域を大きい（粗い）ブロックに分割する一方、回転方向のずれ量が大きい画像周辺部の画像領域を小さい（細かい）ブロックに分割することで、各画像領域ブロック（特に画像周辺部の画像領域ブロック）において、より高い精度の画像演算を実行して、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。仮に、図２２において、全ての画像領域ブロックを最小画像領域ブロック（最小ブロック単位）に分割すると、画像演算の処理負荷及び処理時間が増大してしまう。また、図２２において、全ての画像領域ブロックを最大画像領域ブロックに分割すると、回転方向のずれ量が大きい画像周辺部において、画像領域ブロック同士の相関がとれなくなる（画素ずれ量が演算できなくなる）おそれがある。

本開示の技術は上記の実施の形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらに、技術の進歩又は派生する別技術によって、技術的思想を別の仕方で実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

例えば、撮像時に欠陥画素の補正を行うか否かは、デフォルト設定されていてもよいし、撮像装置のモードとしてユーザに選択させてもよい。また、画像処理装置が、保存された画像に対して自動で欠陥画素補正処理を行う被補正画像データを選択してもよいし、ユーザが適宜選択してもよい。

なお、欠陥画素の補正処理装置を画像処理装置２０に含ませてもよいし、画像処理装置２０とは別体として設けてもよい。後者の場合、欠陥画素の補正処理装置に複数の画像を入力し、補正された画像を出力するように構成してもよい。

以上の実施形態では、画像の高解像度化を行うために欠陥画素補正処理とマルチショット合成とを組み合わせて、欠陥画素補正後に複数の画像データを合成する方法を説明した。しかし、欠陥画像の補正に関しては、補正画像データと被補正画像データを合成せずに、欠陥画素の位置情報と位置ずれ量から補正値を算出し、被補正画像データの欠陥画素と補正値を置き換えるだけでもよい。

以上の実施形態では、補正画像データが複数枚ある場合を例示して説明したが、補正画像データが１枚以上あれば、被補正画像データの欠陥画素の補正値の算出は可能である。

また、欠陥画素の補正値を算出する際に、被補間画像データと補間画像データ間または非補間画像データ間での露出差を補正するために、ゲイン補正を行ってもよい。

１ デジタルカメラ（カメラユニット付き電子機器）
１０ カメラユニット（取得手段）
１１ イメージセンサ（撮像素子、取得手段）
２０ 画像処理装置（プロセッサ）
２１ 入力手段（画像データ入力部）
２２ 画素特定手段（欠陥画素検出部、位置ずれ量算出部、置換画素／補正値取得部）
２３ 補正手段（欠陥画素補正部）
２４ 合成手段（画像データ合成部）
２５ 置換手段（像面位相差補正用画素置換部）
２６Ａ 位置ずれ量検出部
２６Ｂ 選択部
２６Ｃ 欠陥画素補正部
２７ 分割手段
３０ メモリ
４０ 記録媒体
５０ 表示装置
６０ 入力装置
７０ センサ
８０ 防振ユニット（駆動部材）
９０ ＣＰＵ（制御手段）
１００ バス
１１０ 撮像素子（駆動部材）
１２０ ステージ装置
１２１ 可動ステージ
１２２ 前固定ヨーク
１２３ 後固定ヨーク
ＣＢ カメラボディ

Claims (17)

1. 第１の画像データと第２の画像データが入力する入力手段と、
   前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定する画素特定手段と、
   前記第２の画素の値を用いて前記第１の画素の値を補正する補正手段と、
   を備えることを特徴とする撮影装置。
2. 前記画素特定手段は、前記第１の画像データと前記第２の画像データの位置ずれ量を算出し、前記位置ずれ量と前記第１の画像データにおける前記第１の画素の位置情報に基づいて、前記第２の画像データにおける前記第２の画素の値及び／又は前記第２の画素に基づく補正値を取得する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記画素特定手段は、前記位置ずれ量に応じて前記第１の画像データと前記第２の画像データの画素位置を一致させ、前記第１の画像データと前記第２の画像データの共通位置に着目画素を設定し、前記第１の画像データの前記着目画素が前記第１の画素である場合、前記第２の画像データの前記着目画素及び／又は前記着目画素以外の画素に基づいて、前記第２の画像データにおける前記第２の画素の値及び／又は前記第２の画素に基づく補正値を取得し、前記第１の画素を前記第２の画素の値及び／又は前記補正値で補正する、
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記画素特定手段は、前記第１の画像データの前記着目画素が前記第１の画素である場合、前記第２の画像データの前記着目画素を前記第２の画素の値及び／又は前記補正値として抽出する、
   ことを特徴とする請求項３に記載の撮影装置。
5. 前記画素特定手段は、前記第１の画像データの前記着目画素が前記第１の画素である場合、前記第２の画像データにおいて前記着目画素に隣接する画素群に基づいて前記第２の画素の値及び／又は前記補正値を算出する、
   ことを特徴とする請求項３に記載の撮影装置。
6. 被写体光束に対して撮像素子の撮像面を画素単位で相対移動させながら前記第１の画像データと前記第２の画像データを取得する取得手段と、
   前記第１の画像データと前記第２の画像データにおいて、基準画素及び前記基準画素の周囲に位置する参照領域に複数の欠陥画素が存在しないように、前記画素単位のサイズを制御する制御手段と、
   をさらに有することを特徴とする請求項１から請求項５のいずれかに記載の撮影装置。
7. 前記第１の画像データ及び／又は前記第２の画像データにＲＧＢの一色に対応する像面位相差補正用画素が設定されている場合において、前記像面位相差補正用画素の元位置に同一色の別の画素が相対移動するとき、前記別の画素による置換を実行する置換手段をさらに有する、
   ことを特徴とする請求項６に記載の撮影装置。
8. 前記第１の画像データと前記第２の画像データは、同一の撮像素子から出力される、
   ことを特徴とする請求項１から請求項７のいずれかに記載の撮影装置。
9. 前記第１の画像データと前記第２の画像データは、それぞれ異なる像位置関係にある、
   ことを特徴とする請求項１から請求項８のいずれかに記載の撮影装置。
10. 前記第１の画像データと前記第２の画像データを合成することで合成画像データを取得する合成手段をさらに有する、
    ことを特徴とする請求項１から請求項９のいずれかに記載の撮影装置。
11. 第１の画像データと第２の画像データが入力するステップと、
    前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、
    前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、
    を備えることを特徴とする撮影方法。
12. 第１の画像データと第２の画像データが入力するステップと、
    前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、
    前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、
    をコンピュータに実行させることを特徴とする撮影プログラム。
13. 第１の画像データと第２の画像データが入力する入力手段と、
    前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定する画素特定手段と、
    前記第２の画素の値を用いて前記第１の画素の値を補正する補正手段と、
    を備えることを特徴とする画像処理装置。
14. 画像データ間の位置ずれ量を検出する位置ずれ量検出部と、
    前記位置ずれ量に応じて被補正画像データと補正画像データを選択する選択部と、
    前記位置ずれ量と前記補正画像データに基づいて被補正画像の欠陥画素を変更する欠陥画素補正部と、
    を有し、
    前記位置ずれ量に基づいて前記被補正画像データと前記補正画像データを合成する、
    ことを特徴とする画像処理装置。
15. 画像データ間の位置ずれ量を検出する位置ずれ量検出部と、
    複数の画像から前記位置ずれ量に応じて基準画像と合成対象画像を選択し、欠陥画素を含む基準画像データ又は合成対象画像データを被補正画像データとして、前記被補正画像データと前記位置ずれ量に応じて前記複数の画像から補正画像データを選択する選択部と、
    前記位置ずれ量と前記補正画像データに基づいて被補正画像の欠陥画素を変更する欠陥画素補正部と、
    を有し、
    前記位置ずれ量に基づいて前記基準画像と前記合成対象画像を合成する、
    ことを特徴とする画像処理装置。
16. 第１の画像データと第２の画像データが入力するステップと、
    前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、
    前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、
    を備えることを特徴とする画像処理方法。
17. 第１の画像データと第２の画像データが入力するステップと、
    前記第１の画像データに含まれる第１の画素に相当する前記第２の画像データに含まれる第２の画素を特定するステップと、
    前記第２の画素の値を用いて前記第１の画素の値を補正するステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。