JP6508626B2 - 撮像装置、処理プログラム、撮像方法 - Google Patents

Description

本発明は、画素ずらしを行って高画質の合成画像データを生成する撮像装置、処理プログラム、撮像方法に関する。

画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像データを合成し、高画質の合成画像データを生成する技術は、従来より提案されている。具体例として、水平方向および垂直方向に０．５画素ピッチを基本単位とした画素ずらしを順次行って、撮像位置が異なる８枚の画像を取得し、取得した８枚の画像を合成することにより、１枚の画像に比べて、水平方向および垂直方向に各２倍の解像度を有する高解像度の合成画像データを生成する技術が知られている。

こうした技術においては、合成対象となる複数の画像間の画素ずらしを高い精度で実行する必要があり、さらに、複数の画像間に整合性が求められる。

しかし、撮影中にカメラのブレまたは被写体ブレが生じる、または撮影中に画素ずらし機構が狙いの画素ずらし位置からずれてしまう、等により画素ずらしの精度が下がることがある。あるいは、被写体を照明している光源にフリッカがある場合などに、複数の画像が異なる撮影条件で撮影されてしまい、複数の画像間の整合性が低下することがある。

こうして、手ブレや被写体ブレの影響があると、高解像度の合成画像データを生成することができない場合があり、ユーザは、取得された合成画像を確認して所望の画質の画像となっていないときに、必要に応じて再撮影を行っていた。

ユーザ主体の再撮影は、合成画像を確認して再撮影の操作を行う等が必要であるために、ユーザの負担を軽減する自動化技術として、例えば特開平７−１７７４２４号公報には、画素ずらし撮影において振動を検知し、合成に適した画像が必要枚数撮影されるまで、再露光を繰り返して行う技術が記載されている。

特開平７−１７７４２４号公報

しかし、上記特開平７−１７７４２４号公報に記載されたような技術では、撮影枚数が合成に必要な枚数よりも多くなるために、合成用の１枚目の画像が取得された時点と、合成用の最後の画像が取得された時点との時間差が大きくなり、この時間差の間に狙いとする撮影シーンが変化して、元々意図した構図や光景からずれてしまうことがある。また、撮像装置を三脚に固定していたとしても、撮影の途中で一旦ズレが発生するとその時点以降は元の位置に戻らず、幾ら露光を繰り返しても画像合成に適した撮影画像が得られないことがある。こうして、再撮影を伴う画像合成では、撮影時間が長くなってしまうだけでなく、望みの高画質画像が得られるとは限らず、仮に高画質画像を得られたとしても、ユーザの意図とは違う画像になってしまうことがあった。

本発明は上記事情に鑑みてなされたものであり、再撮影を行うことなく、１枚撮影の画像よりも高画質な画像を得ることができる撮像装置、処理プログラム、撮像方法を提供することを目的としている。

本発明のある態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有し、光束を受光して撮像し画像を取得する撮像素子と、上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを行う画素ずらし部と、上記画素ずらし部に複数の異なる画素ずらし位置への画素ずらしを行わせ、それぞれの画素ずらし位置において上記撮像素子に撮像を行わせ、複数の画像を取得させる制御部と、所定枚数の画像を取得している途中で、高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出部と、を有し、上記制御部は、所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で、上記画素ずらし部に画素ずらしを行わせるように制御し、上記所定枚数の画像を取得している途中で、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行う。

本発明のある態様による処理プログラムは、コンピュータに、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを、複数の異なる画素ずらし位置へ行わせる画素ずらしステップと、上記複数の異なる画素ずらし位置のそれぞれにおいて上記撮像素子に光束を受光させて撮像を行わせ、複数の画像を取得させる撮像ステップと、高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出ステップと、を実行させるための処理プログラムであって、上記画素ずらしステップは、所定枚数の画像を取得している途中で、上記検出ステップにより、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行うことにより所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で画素ずらしを行うステップである。

本発明のある態様による撮像方法は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを、複数の異なる画素ずらし位置へ行わせる画素ずらしステップと、上記複数の異なる画素ずらし位置のそれぞれにおいて上記撮像素子に光束を受光させて撮像を行わせ、複数の画像を取得させる撮像ステップと、高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出ステップと、を有し、上記画素ずらしステップは、所定枚数の画像を取得している途中で、上記検出ステップにより、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行うことにより所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で画素ずらしを行うステップである。

本発明の撮像装置、処理プログラム、撮像方法によれば、再撮影を行うことなく、１枚撮影の画像よりも高画質な画像を得ることができる。

本発明の実施形態１におけるデジタルカメラの構成を示すブロック図。 上記実施形態１の合成処理部の構成を示すブロック図。 上記実施形態１の２枚合成処理部の構成を示すブロック図。 上記実施形態１の４枚合成処理部の構成を示すブロック図。 上記実施形態１の６枚合成処理部の構成を示すブロック図。 上記実施形態１の８枚合成処理部の構成を示すブロック図。 上記実施形態１において、各合成処理部およびデモザイキング処理部により行われる補完の種類と得られる解像度とを示す図表。 上記実施形態１における画素ずらし順序の第１の例を示す図。 上記実施形態１における画素ずらし順序の第２の例を示す図。 上記実施形態１において、第１の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第２の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第２の画素ずらしを行った結果得られるＧ画素の配列を示す図。 上記実施形態１において、第２の画素ずらしを行った結果得られるＲ画素の配列と補完の様子を示す図。 上記実施形態１において、第３の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第４の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第４の画素ずらしを行った結果得られるＲ画素の配列を示す図。 上記実施形態１において、第５の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第６の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第６の画素ずらしを行った結果得られるＧ画素の配列を示す図。 上記実施形態１において、第６の画素ずらしを行った結果のＧ画素から補完を行う例を示す図。 上記実施形態１において、第６の画素ずらしを行った結果のＧ画素から補完されたＧ画素に対応するＲ画素を示す図。 上記実施形態１において、第７の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第８の画素ずらし位置で得られる画素配列を示す図。 上記実施形態１において、第８の画素ずらしを行った結果得られるＲ画素の配列を示す図。 上記実施形態１における画素ずらし超解像撮影モードの動作を示すフローチャート。 本発明の実施形態２における画素ずらし超解像撮影モードの動作を示すフローチャート。 本発明の実施形態３において、各合成処理部およびデモザイキング処理部により行われる補完の種類と得られる解像度とを示す図表。 上記実施形態３の４枚合成処理部の構成を示すブロック図。 上記実施形態３における画素ずらし順序の第１の例を示す図。 上記実施形態３における画素ずらし順序の第２の例を示す図。 上記実施形態３において、第４の画素ずらしを行った結果得られるＧｒ画素およびＧｂ画素の配列を示す図。 上記実施形態３において、第４の画素ずらしを行った結果のＧ画素から補完を行う例を示す図。 上記実施形態３において、第４の画素ずらしを行った結果のＧ画素から補完されたＧ画素に対応するＲ画素を算出する様子を示す図 上記実施形態３において、第６の画素ずらしを行った結果得られるＲ画素の配列を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２５は本発明の実施形態１を示したものであり、図１はデジタルカメラの構成を示すブロック図である。なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。

このデジタルカメラは、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されている。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信できるようになっている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２３上に結像するための撮影光学系である。

絞り１２は、レンズ１１から撮像素子２３へ向かう光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、絞り１２は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで駆動させず維持される。これは、絞り１２を駆動するときの振動が、画素ずらし位置に影響を及ぼさないようにするためである。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４８と通信し、マイクロコンピュータ４８からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４８へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４８とを、双方向に通信できるように接続する。

次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子ユニット２２と、ボイスコイルモータ（ＶＣＭ）２６と、ホール素子２７と、バス２８と、ＳＤＲＡＭ２９と、ＡＦ処理部３１と、ＡＥ処理部３２と、姿勢検出部３３と、合成処理部３４と、画像比較部３５と、画像処理部３６と、ＪＰＥＧ処理部４１と、モニタドライバ４２と、モニタ４３と、メモリインタフェース（メモリＩ／Ｆ）４４と、記録媒体４５と、操作部４６と、フラッシュメモリ４７と、マイクロコンピュータ４８と、を備えている。

メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２３へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、マイクロコンピュータ４８の指令により駆動されて、撮像素子２３への光束の到達時間、つまり撮像素子２３による被写体の露光時間を制御する。

なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、メカニカルシャッタ２１は、最初の画像データを取得する前の時点から最後の画像データを取得した後の時点まで開いた状態に維持される。従って、複数枚の画像データの取得には、撮像素子２３による電子シャッタが用いられる。これは、メカニカルシャッタ２１を開閉するときの振動が、画素ずらし位置に影響を及ぼさないようにするためであり、さらに、各画像データの露光時間同士の間の、露光が行われない空白時間を短縮することで、所定高画質の画像を合成するために必要な所定枚数の画像データが取得される時間をなるべく短くするためでもある。

撮像素子ユニット２２は、撮像素子２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、を備えている。すなわち、本実施形態の撮像素子ユニット２２は、デジタル画像データを出力するデジタル撮像素子ユニットとして構成されている。ただし、撮像素子ユニット２２を撮像素子２３を含むアナログ撮像素子ユニットとして構成して、アナログ処理部２４およびアナログ／デジタル変換部（Ａ／Ｄ変換部）２５をアナログ撮像素子ユニットの外部に設ける構成を採用しても構わない。

撮像素子２３は、所定の画素ピッチで２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ４８の制御に基づき、レンズ１１および絞り１２からの光束を受光し撮像して（つまり、結像された被写体の光学像を光電変換して）アナログ画像信号を生成するものである。ここに、撮像素子２３は、レンズ１１の光軸に垂直な面を受光面とするように配置されているために、複数の画素の２次元状配列方向は、レンズ１１の光軸に垂直な方向となる。

本実施形態の撮像素子２３は、輝度相当色（例えば輝度成分を最も多く含むＧ（緑色））を含む複数色の色フィルタを１画素に１色が対応するように配置して構成され、具体的に、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列（Ｒ（赤色）Ｇ（緑色）Ｂ（青色）ベイヤー配列）のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２３は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

アナログ処理部２４は、撮像素子２３から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

ボイスコイルモータ（ＶＣＭ）２６は、撮像素子２３を含む撮像素子ユニット２２と、撮像素子ユニット２２の撮像素子２３により受光される光束と、の上述した２次元状配列方向の相対位置（画素ずらし位置）が、画素ピッチの非整数倍（例えば半画素ピッチ単位）の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように、画素ずらし位置を変化させる画素ずらしを行う画素ずらし部である。そして、移動量が異なる複数の相対位置において撮影される複数枚の画像が、撮像素子２３から得られる画像データよりも高画質の合成画像を得るための合成処理に用いられる画像となる。

具体的に、ボイスコイルモータ（ＶＣＭ）２６は、撮像素子ユニット２２を磁力で宙に浮かせて、磁力を制御することにより位置を移動するものとなっている。なお、ここでは画素ずらし部としてボイスコイルモータ（ＶＣＭ）２６を例に挙げているが、これに限るものではなく、その他の駆動源等を用いた適宜の構成の画素ずらし部を採用して構わない。

また、図１に示す構成例においては、画素ずらし部であるボイスコイルモータ（ＶＣＭ）２６により撮像素子ユニット２２を移動させているが、レンズ１１を移動させる構成でも良いし、撮像素子ユニット２２とレンズ１１との両方を移動させる構成であっても構わない。

ホール素子２７は、ボイスコイルモータ（ＶＣＭ）２６により移動される撮像素子ユニット２２の撮影動作中の画素ずらし位置を時系列に検出する画素ずらし位置検出部である。ここでは画素ずらし位置検出部としてホール素子２７を用いているが、ホール素子２７に限定されるものでないことは勿論である。

また、本実施形態では撮像素子ユニット２２をボイスコイルモータ（ＶＣＭ）２６により移動しているために、撮像素子ユニット２２の位置をホール素子２７により検出しているが、レンズ１１をボイスコイルモータ（ＶＣＭ）２６により移動する構成を採用する場合には、レンズ１１の位置をホール素子２７により検出することになる。同様に、撮像素子ユニット２２とレンズ１１との両方をボイスコイルモータ（ＶＣＭ）２６により移動する場合には、撮像素子ユニット２２の位置を検出するホール素子２７と、レンズ１１の位置を検出するホール素子２７と、の両方を設けることになる。

バス２８は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２８は、Ａ／Ｄ変換部２５と、ボイスコイルモータ（ＶＣＭ）２６と、ホール素子２７と、ＳＤＲＡＭ２９と、ＡＦ処理部３１と、ＡＥ処理部３２と、合成処理部３４と、画像比較部３５と、画像処理部３６と、ＪＰＥＧ処理部４１と、モニタドライバ４２と、メモリＩ／Ｆ４４と、マイクロコンピュータ４８と、に接続されている。

撮像素子ユニット２２のＡ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２８を介して転送され、ＳＤＲＡＭ２９に一旦記憶される。

ＳＤＲＡＭ２９は、上述したＲＡＷ画像データ、あるいは合成処理部３４、画像処理部３６、ＪＰＥＧ処理部４１等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＦ処理部３１は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２３上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。

ＡＥ処理部３２は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカニカルシャッタ２１の制御、撮像素子２３の露光タイミング制御（あるいは、いわゆる電子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。

姿勢検出部３３は、デジタルカメラの動きを検出するためのジャイロセンサ等を備えた動き検出部であり、検出結果をマイクロコンピュータ４８へ出力するようになっている。

合成処理部３４は、複数の異なる画素ずらし位置において取得された複数の画像データを合成することにより、撮像素子２３から取得される１枚の画像データよりも高画質の合成画像データを合成する画像合成部である。合成画像は、撮影された１枚の画像を画像処理して得られる画像と同一の画素数であるが画素配列における欠落画素が少なくて（あるいは、欠落画素がなくて）高画質になる場合と、画素数が増えて高画質になる場合と、がある。このとき、画素数が増えて解像度が高くなる場合の画像を、適宜、超解像画像と呼ぶことにする。

画像比較部３５は、被写体に照射される光の変化（例えば、フリッカ等）を検出する環境光検出部と、取得された複数の画像における被写体の移動を検出する被写体ブレ検出部と、を兼ねている。画像比較部３５は、複数の画像データを比較することにより環境光の変化や被写体ブレを検出し、検出結果をマイクロコンピュータ４８へ出力する。これによりマイクロコンピュータ４８は、画像合成に不適当な画像データが取得されたか否かを判定することができる。

画像処理部３６は、ＲＡＷ画像データあるいは合成処理部３４により生成された合成画像データに対して種々の画像処理を行うものであり、デモザイキング処理部３７、エッジ強調処理部３８、ノイズ低減処理部３９を含んでいる。

デモザイキング処理部３７は、１画素につきＲＧＢ成分の内の１色成分のみが存在するＲＧＢベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補完して求めることにより、全画素がＲＧＢの３色成分を全て備えるＲＧＢ３面の画像データに変換するデモザイキング処理を行う。

エッジ強調処理部３８は、画像データにエッジ強調処理を行うものである。

ノイズ低減処理部３９は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３６によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２９に再び記憶される。

ＪＰＥＧ処理部４１は、画像データを記録する際には、ＳＤＲＡＭ２９から画像データを読み出して、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２９に一旦記憶させる。こうしてＳＤＲＡＭ２９に記憶された圧縮した画像データは、マイクロコンピュータ４８により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４８の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４４を介して記録媒体４５に記録される。

また、ＪＰＥＧ処理部４１は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４８の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４４を介して記録媒体４５から読み出され、ＳＤＲＡＭ２９に一旦記憶される。ＪＰＥＧ処理部４１は、ＳＤＲＡＭ２９に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２９に記憶させる。

モニタドライバ４２は、ＳＤＲＡＭ２９に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、モニタ４３を駆動制御して映像信号に基づく画像をモニタ４３に表示させる。このモニタドライバ４２により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４５に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

モニタ４３は、上述したようなモニタドライバ４２の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。

メモリＩ／Ｆ４４は、記録媒体４５へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体４５からの画像データの読み出しも行う。

記録媒体４５は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体４５は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４５は、デジタルカメラに固有の構成である必要はない。

操作部４６は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（通常撮影モード、画素ずらし超解像撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４６に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４８へ出力される。

フラッシュメモリ４７は、マイクロコンピュータ４８により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４７が記憶する情報としては、例えば、エッジ強調処理に用いるパラメータやノイズ低減処理に用いるパラメータ等のデジタルカメラの動作に必要な各種パラメータ、画素ずらし超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４７が記憶する情報は、マイクロコンピュータ４８により読み取られる。

マイクロコンピュータ４８は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ４８は、ユーザにより操作部４６から操作入力が行われると、フラッシュメモリ４７に記憶されている処理プログラムに従って、フラッシュメモリ４７から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

制御部であるマイクロコンピュータ４８は、特に、上述したボイスコイルモータ（ＶＣＭ）２６に複数の異なる画素ずらし位置への画素ずらしを行わせ、それぞれの画素ずらし位置において撮像素子２３に撮像を行わせ複数の画像データを取得させる撮像制御部としても機能する。

このときマイクロコンピュータ４８は、後述するように、所定高画質の画像を合成するために必要な所定枚数の画像を撮像する途中の、所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で、ボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせるように制御する。

また、上述したホール素子２７、姿勢検出部３３、画像比較部３５は、何れも、所定枚数の画像を取得している途中で、高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出部を構成している。なお、これら全てを検出部として用いても良いし、１つ以上を用いても良い。

そこで、マイクロコンピュータ４８は、ホール素子２７により検出された位置に許容範囲を超えたずれがあるか否かに基づき、姿勢検出部３３によりデジタルカメラの所定量以上の動きが検出されたか否かに基づき、画像比較部３５により環境光の変化や被写体ブレが検出されたか否かに基づき、画像合成に不適当な画像データが取得されたか否かを判定するようになっている。そして、マイクロコンピュータ４８は、不良画像が生じたことが検出された場合には、不良画像が生じたことが検出されない場合とは異なる制御を後述するように行う。

次に、図２は合成処理部３４の構成を示すブロック図である。

合成処理部３４は、１枚目から何枚目までの画像に基づいて高画質な画像を合成するかに応じて複数種類設けられている。

すなわち、合成処理部３４は、撮像素子２３から取得された２枚の画像データに基づいて、撮像素子２３から取得される１枚の画像よりも高画質な画像を合成する２枚合成処理部３４ａと、同様にして、４枚の画像データに基づいて画像を合成する４枚合成処理部３４ｂと、６枚の画像データに基づいて画像を合成する６枚合成処理部３４ｃと、８枚の画像データに基づいて画像を合成する８枚合成処理部３４ｄと、を備えている。

そして、マイクロコンピュータ４８は、検出部により最初に検出された不良画像が何枚目であるかに応じて、後で図２５を参照して説明するように、合成処理部の種類、すなわち合成処理部３４ａ〜３４ｄの何れを用いるかを選択して、選択した合成処理部に処理を行わせる。

図３は、２枚合成処理部３４ａの構成を示すブロック図である。

２枚合成処理部３４ａは、入力された２枚の画像データの各画素を、撮像素子２３の解像度と同一の解像度（以下では適宜、１×１解像度という）で配置する画素配置部５１と、画素配置部５１により配置された画像データの同一色成分の画素配列において、欠落が生じている画素位置の画素を補完する画素補完部５２と、を備えている。

なお、Ｇｒ画素はＲＧＢベイヤー配列においてＲ画素と同一ラインに配置されたＧ画素、Ｇｂ画素はＲＧＢベイヤー配列においてＢ画素と同一ラインに配置されたＧ画素である。そして、これらＧｒ画素およびＧｂ画素は、画素補完部５２から出力される際には、区別なく、単にＧ画素として出力される。

図４は、４枚合成処理部３４ｂの構成を示すブロック図である。

４枚合成処理部３４ｂは、入力された４枚の画像データの各画素を、撮像素子２３の解像度と同一の解像度（１×１解像度）で配置する画素配置部５１と、画素配置部５１により配置された画像データの内の、同一画素位置のＧｒ画素とＧｂ画素とを加算する加算部５３と、加算部５３により加算された画素値を１／２にしてＧ画素として出力する除算部５４と、を備えている。ここに、加算部５３および除算部５４により平均化部が構成され、除算部５４から出力されるＧ画素は、同一画素位置のＧｒ画素とＧｂ画素との平均値となる。

図５は、６枚合成処理部３４ｃの構成を示すブロック図である。

６枚合成処理部３４ｃは、入力された６枚の画像データの各画素を、画素ずらし位置に応じて配置する画素配置部５１と、画素配置部５１により配置された画像データの内のＧｒ画素とＧｂ画素とに斜め画素ずらし補完を行ってＧ画素として出力する斜め画素ずらし補完部５５と、画素配置部５１により配置された画像データの内のＲ画素とＢ画素のそれぞれに分割補完を行う分割補完部５６と、を備えている。

ここに、斜め画素ずらし補完部５５は、後述するような斜め画素ずらし補完を行うことで、撮像素子２３の解像度の縦２倍かつ横２倍の解像度（以下では適宜、２×２解像度という）の超解像画像を作成する処理を行う。また、分割補完部５６は、撮像素子２３の解像度のＲ，Ｂ画素を、撮像素子２３の解像度の縦２倍かつ横２倍の解像度（２×２解像度）の４つの画素位置にコピーして、２×２倍の画素数のＲ，Ｂ成分を生成する処理を行う。

図６は、８枚合成処理部３４ｄの構成を示すブロック図である。

８枚合成処理部３４ｄは、入力された８枚の画像データの各画素を、画素ずらし位置に応じて配置する画素配置部５１と、画素配置部５１により配置された画像データのＧｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素のそれぞれに斜め画素ずらし補完を行って出力する斜め画素ずらし補完部５５と、斜め画素ずらし補完部５５により補完された画像データの内の、同一画素位置のＧｒ画素とＧｂ画素とを加算する加算部５３と、加算部５３により加算された画素値を１／２にしてＧ画素として出力する除算部５４と、を備えている。ここに上述と同様に、加算部５３および除算部５４により平均化部が構成され、除算部５４から出力されるＧ画素は、同一画素位置のＧｒ画素とＧｂ画素との平均値となる。

次に、図７は、各合成処理部３４ａ〜３４ｄおよびデモザイキング処理部３７により行われる補完の種類と得られる解像度とを示す図表である。

ここに、「画素補完」は同一色成分の画素配列において欠落が生じている画素位置の画素を補完することを意味し、「補完なし」はこの補完を行わないことを意味している。この「画素補完」は、画素補完部５２またはデモザイキング処理部３７により行われる。

また、「斜め画素ずらし補完」は超解像画像を得る場合に少なくとも輝度相当成分（Ｇ成分）に対して（あるいはさらにＲ成分およびＢ成分に対して）行われる補完である。この「斜め画素ずらし補完」は、斜め画素ずらし補完部５５により行われる。

さらに、「分割補完」は超解像画像を得る際に必要に応じて輝度相当成分以外の成分（Ｒ成分およびＢ成分）に対して行われる補完である。この「分割補完」は、分割補完部５６により行われる。

撮像素子２３から取得された１枚の画像のみから記録媒体４５に記録するための画像を得るには、画像を１枚ずつ撮影する通常撮影モードのときと同様に、デモザイキング処理部３７により、ＲＧＢベイヤー配列における着目画素に存在しない色成分を周辺画素から画素補完して求めるデモザイキング処理を行う。従って、処理の結果得られる画像は、撮像素子２３の解像度と同一の解像度（１×１解像度）の画像となる。

また、２枚合成処理部３４ａによる処理は、後で説明するように、画素ピッチの整数倍（非整数倍を含まない）画素ずらしされた１〜２枚目の画像について行われ、Ｇ画素については欠落画素がないために画素補完を行う必要がなく、Ｒ画素およびＢ画素については画素補完がそれぞれ行われる。

さらに、４枚合成処理部３４ｂによる処理は、後で説明するように、画素ピッチの整数倍（非整数倍を含まない）画素ずらしされた１〜４枚目の画像について行われ、Ｒ画素、Ｇ画素、およびＢ画素の何れについても欠落画素がないために、画素補完を行う必要がない。

そして、６枚合成処理部３４ｃによる処理は、後で説明するように、画素ピッチの非整数倍を含むように画素ずらしされた１〜６枚目の画像について行われ、Ｇ画素については斜め画素ずらし補完が行われ、Ｒ画素およびＢ画素については分割補完がそれぞれ行われる。

加えて、８枚合成処理部３４ｄによる処理は、後で説明するように、画素ピッチの非整数倍を含むように画素ずらしされた１〜８枚目の画像について行われ、Ｇｒ画素、Ｇｂ画素、Ｒ画素、およびＢ画素のそれぞれについて斜め画素ずらし補完が行われる。

続いて、図８は画素ずらし順序の第１の例を示す図、図９は画素ずらし順序の第２の例を示す図である。

これら第１の例および第２の例は、何れも、１〜４枚目の画像データを、縦方向および横方向の何れについても整数画素ピッチを単位とした画素ずらしのみを行って取得し、５〜８枚目の画像データを、１枚目の画像データに対して縦方向に半整数画素ピッチかつ横方向に半整数画素ピッチを単位とした画素ずらしを行って取得している。以下では、適宜、初期位置（１枚目の画像データ）からの画素ずらし量が縦方向および横方向の何れについても整数画素ピッチ単位である画像データの画素配列を基本配列、初期位置からの画素ずらし量が縦方向および横方向の何れについても半整数画素ピッチ単位である画像データの画素配列をずらし配列と呼ぶことにする。

まず、図８に示す第１の例においては、初期位置で１枚目の画像を取得した後に、右に１画素ピッチずらして２枚目の画像を取得し、下に１画素ピッチずらして３枚目の画像を取得し、左に１画素ピッチずらして４枚目の画像を取得し、上に１画素ピッチずらして１枚目の画像の位置（初期位置）に戻した後に、右に０．５画素ピッチかつ下に０．５画素ピッチずらして（つまり、実際には右下に１／√２画素ピッチずらして（以下、適宜同様））５枚目の画像を取得し、右に１画素ピッチずらして６枚目の画像を取得し、下に１画素ピッチかつ左に１画素ピッチずらして７枚目の画像を取得し、右に１画素ピッチずらして８枚目の画像を取得している。

また、図９に示す第２の例においては、初期位置で１枚目の画像を取得した後に、下に１画素ピッチずらして２枚目の画像を取得し、右に１画素ピッチずらして３枚目の画像を取得し、上に１画素ピッチずらして４枚目の画像を取得し、左に１画素ピッチずらして１枚目の画像の位置（初期位置）に戻した後に、右に０．５画素ピッチかつ下に０．５画素ピッチずらして５枚目の画像を取得し、下に１画素ピッチずらして６枚目の画像を取得し、右に１画素ピッチかつ上に１画素ピッチずらして７枚目の画像を取得し、下に１画素ピッチずらして８枚目の画像を取得している。

これら図８および図９の何れに示した例においても、８枚目の画像を取得した後は、次の撮影に備えるために、初期位置に戻す処理を行う。

なお、図８に示した１〜４枚目までの順序と、図９に示した５〜８枚目までの順序と、を組み合わせても良い。あるいは、図９に示した１〜４枚目までの順序と、図８に示した５〜８枚目までの順序と、を組み合わせても構わない。

そして、本実施形態においては、記録媒体４５に記録するための画像を、１，２，４，６，８枚の何れかの画像が得られた時点で生成するために、図８、図９、あるいはこれらの組み合わせとして説明した例の何れにおいても、３枚目と４枚目の画像の取得順序を入れ替えても良く、５枚目と６枚目の画像の取得順序を入れ替えても良く、７枚目と８枚目の画像の取得順序を入れ替えても良い。

図８に示した順序で画素ずらしを行う場合の処理について、図１０〜図２４を参照しながら、図２５のフローチャートに沿って説明する。ここに、図２５は、画素ずらし超解像撮影モードの動作を示すフローチャートである。この図２５に示す処理は、フラッシュメモリ４７に記憶された処理プログラムに従って、マイクロコンピュータ４８がデジタルカメラ内の各部を制御することにより行われる。

図示しないメイン処理において、画素ずらし超解像撮影モードへの設定が行われ、レリーズボタンが１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移してＡＥ処理部３２による自動露出（ＡＥ）制御、およびＡＦ処理部３１による自動焦点制御（ＡＦ）が行われ、さらに、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態に遷移すると、この図２５に示す処理が開始される。

するとまず、初期位置において１枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶しておく（ステップＳ１）。ここで撮影された１枚目の画像は、撮像素子２３に構成されている画素配列と同様の、図１０に示すようなＲＧＢベイヤー配列の画像となる。ここに図１０は、第１の画素ずらし位置で得られる画素配列を示す図である。なお、図１０〜図２４において、各画素の色成分に付した数字は、何枚目の画像の撮影により得られた画素であるかを示している。

次に、ボイスコイルモータ（ＶＣＭ）２６を駆動して、図１１の矢印１ｐｒに示すように、右方向への１画素ピッチ分の画素ずらしを行ってから、２枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ２）。ここに図１１は、第２の画素ずらし位置で得られる画素配列を示す図である。

ここに、２枚目の画像を取得するための第２の画素ずらし位置は、１枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるような画素ずらし位置である。

すなわち、図１１に示すような画素ずらしが行われると、図１２に示すようなＧ画素の配列が得られる。ここに図１２は、第２の画素ずらしを行った結果得られるＧ画素の配列を示す図である。こうして、図１０のＲ１画素の位置にＧｒ２画素が得られ、図１０のＢ１画素の位置にＧｂ２画素が得られているために、１×１解像度の全画素位置においてＧ成分が得られ、輝度相当成分の解像度が向上していることが分かる。

また、図１１に示すような画素ずらしが行われると、図１３に示すようなＲ画素の配列が得られる。ここに図１３は、第２の画素ずらしを行った結果得られるＲ画素の配列と補完の様子を示す図である。すなわち、図１０のＧｒ１画素の位置にＲ２画素が得られているために、Ｒ成分の水平方向の解像度が向上していることが分かる。なお、Ｂ成分についても、Ｒ成分とほぼ同様の結果が得られる。

ステップＳ２の処理が行われたら、マイクロコンピュータ４８は、上述したように、ホール素子２７の検出結果、姿勢検出部３３の検出結果、および画像比較部３５の検出結果に基づき、２枚目の画像データが、画像合成に不適当であるか否か（つまり、２枚目の画像の撮影に問題が発生したか否か）を判定する（ステップＳ３）。

ここで、問題が発生したと判定された場合には、１枚目の画像に対して、デモザイキング処理部３７のデモザイキング処理を含む通常の画像処理を画像処理部３６により行い、処理後の画像データを記録媒体４５に記録する（ステップＳ４）。

また、問題が発生していないと判定された場合には、ボイスコイルモータ（ＶＣＭ）２６を駆動して、図１４の矢印１ｐｄに示すように、下方向への１画素ピッチ分の画素ずらしを行ってから、３枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ５）。ここに図１４は、第３の画素ずらし位置で得られる画素配列を示す図である。

続いて、ボイスコイルモータ（ＶＣＭ）２６を駆動して、図１５の矢印１ｐｌに示すように、左方向への１画素ピッチ分の画素ずらしを行ってから、４枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ６）。ここに図１５は、第４の画素ずらし位置で得られる画素配列を示す図である。

ここに、マイクロコンピュータ４８は、２枚目の画像を撮像素子２３に取得させた後に、Ｒ成分が欠落している画素位置のＲ成分を取得し、かつＢ成分が欠落している画素位置のＢ成分を取得することができるようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて３枚目の画像および４枚目の画像を撮像素子２３に取得させる。

すなわち第４の画素ずらし位置までの画素ずらしが行われると、図１６に示すようなＲ画素の配列が得られる。ここに図１６は、第４の画素ずらしを行った結果得られるＲ画素の配列を示す図である。こうして、図１０のＧｒ１画素の位置にＲ２画素が得られ、図１０のＢ１画素の位置にＲ３画素が得られ、図１０のＧｂ１画素の位置にＲ４画素が得られているために、１×１解像度の全画素位置においてＲ成分が得られ、色解像度が向上していることが分かる。また、Ｂ成分についても、Ｒ成分とほぼ同様の結果が得られる。

一方、Ｇ成分については、１×１解像度の配列の全ての画素位置において、Ｇｒ画素とＧｂ画素の両方が得られている。

そして、マイクロコンピュータ４８は、上述と同様に、３枚目の画像と４枚目の画像との少なくとも一方の撮影に問題が発生したか否かを判定する（ステップＳ７）。なお、ここでは簡略化のためにステップＳ６の処理を行った後に３〜４枚目の画像に対する問題発生の有無をまとめて判定しているが、実際にはステップＳ５の処理を行った後に３枚目の画像に対する問題発生の有無を判定して、問題が発生した場合にはステップＳ８の処理へ進むようにすると良い。後述するステップＳ９およびステップＳ１３に関しても同様である。

ここで、問題が発生したと判定された場合には、２枚合成処理部３４ａが１〜２枚目の画像を合成処理して、さらに、画像処理部３６によるエッジ強調処理やノイズ低減処理等の一般的な画像処理を行ってから、処理後の画像データを記録媒体４５に記録する（ステップＳ８）。

２枚合成処理部３４ａは、まず、画素配置部５１が１〜２枚目の画像の各画素を、１×１解像度の配列となるように色成分毎に再配置する。ここでの色成分毎の再配置は、Ｇｒ画素とＧｂ画素とが同一色のＧ画素であると見なして行う。これにより、図１２に示すようなＧ画素、図１３に示すようなＲ画素、および図１３とほぼ同様のＢ画素が得られる。

次に、画素補完部５２が、１×１解像度の配列において欠落画素が存在するＲ成分およびＢ成分について、例えば図１３に示すように、欠落画素の上下に隣接する画素値の平均値を、欠落画素の画素値とする補完を行う。

こうして、合成処理部３４から出力される合成画像は、ＲＧＢ何れの色成分についても１×１解像度の配列に欠落画素がなくデモザイキングされた画像となるために、画像処理部３６中のデモザイキング処理部３７の処理はパスされて、それ以外の処理が行われる。

また、ステップＳ７において問題が発生していないと判定された場合には、ボイスコイルモータ（ＶＣＭ）２６を駆動して、上に１画素ピッチずらして図１７において黒四角で示す１枚目の画像の位置（初期位置）に戻した後に、図１７の矢印０．５ｐｒｄに示すように、右に０．５画素ピッチかつ下に０．５画素ピッチ（つまり上述したように、右下方向への１／√２画素ピッチ）分の画素ずらしを行ってから、５枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ９）。ここに図１７は、第５の画素ずらし位置で得られる画素配列を示す図である。

続いて、ボイスコイルモータ（ＶＣＭ）２６を駆動して、図１８の矢印１ｐｒに示すように、右方向への１画素ピッチ分の画素ずらしを行ってから、６枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ１０）。ここに図１８は、第６の画素ずらし位置で得られる画素配列を示す図である。

ここに、マイクロコンピュータ４８は、４枚目の画像を撮像素子２３に取得させた後に、２次元状配列の垂直方向および水平方向の両方において画素ピッチの半整数倍の移動量を含むようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて５枚目の画像を撮像素子２３に取得させ、さらに５枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて６枚目の画像を撮像素子２３に取得させる。

すなわち第６の画素ずらし位置までの画素ずらしが行われると、例えば、図１９に示すようなＧ画素の配列が得られる。ここに図１９は、第６の画素ずらしを行った結果得られるＧ画素の配列を示す図である。

こうして、１〜２枚目の画像により、図１２に示すようなＧ画素の基本配列が得られている。

さらに、図１９における図示は省略しているが、３〜４枚目の画像により、図１２のＧｂ１画素の位置にＧｒ３画素、図１２のＧｒ１画素の位置にＧｂ３画素、図１２のＧｂ２画素の位置にＧｒ４画素、図１２のＧｒ２画素の位置にＧｂ４画素が配置されたＧ画素の基本配列が得られている。

加えて、５〜６枚目の画像により、図１９に示すような、図１２のＧ画素の基本配列を右下方向への１／√２画素ピッチずらした位置関係のＧ画素のずらし配列が得られている。より詳しくは、Ｇｒ１画素を右下方向への１／√２画素ピッチずらした位置にＧｒ５画素が、Ｇｒ２画素を右下方向への１／√２画素ピッチずらした位置にＧｒ６画素が、Ｇｂ１画素を右下方向への１／√２画素ピッチずらした位置にＧｂ５画素が、Ｇｂ２画素を右下方向への１／√２画素ピッチずらした位置にＧｂ６画素が、それぞれ配置されたずらし配列となっている。

そして、マイクロコンピュータ４８は、上述と同様に、５枚目の画像と６枚目の画像との少なくとも一方の撮影に問題が発生したか否かを判定する（ステップＳ１１）。

ここで、問題が発生したと判定された場合には、４枚合成処理部３４ｂが１〜４枚目の画像を合成処理して、さらに、画像処理部３６によるエッジ強調処理やノイズ低減処理等の一般的な画像処理を行ってから、処理後の画像データを記録媒体４５に記録する（ステップＳ１２）。

４枚合成処理部３４ｂは、まず、画素配置部５１が１〜４枚目の画像の各画素を、１×１解像度の基本配列となるように色成分毎に再配置する。ここでの色成分毎の再配置は、Ｇｒ画素とＧｂ画素とが異なる色であると見なして行う。これにより、図１６に示すようなＲ画素、および図１６とほぼ同様のＧｒ画素、Ｇｂ画素、Ｂ画素が得られる。

次に、平均化部を構成する加算部５３および除算部５４が、１×１解像度の基本配列において同一画素位置に存在するＧｒ画素とＧｂ画素とを平均化して、Ｇ画素として出力する。その結果、合成処理部３４から出力される合成画像がデモザイキングされた画像となり、画像処理部３６中のデモザイキング処理部３７の処理はパスされて、それ以外の処理が行われるのは上述と同様である。

また、ステップＳ１１において問題が発生していないと判定された場合には、ボイスコイルモータ（ＶＣＭ）２６を駆動して、例えば１枚目の画像の位置（初期位置）に戻した後に（ただし、実際には一旦初期位置に戻す必要はない）、図２２の矢印１ｐｄに示すように下方向への１画素ピッチ分の画素ずらしを行ってから、矢印０．５ｐｒｄに示すように、右に０．５画素ピッチかつ下に０．５画素ピッチ（つまり、右下方向への１／√２画素ピッチ（以下、適宜同様））分の画素ずらし（６枚目の画像からのずれ量は、下に１画素ピッチかつ左に１画素ピッチ）を行って、７枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ１３）。ここに図２２は、第７の画素ずらし位置で得られる画素配列を示す図である。

続いて、ボイスコイルモータ（ＶＣＭ）２６を駆動して、図２３の矢印１ｐｒに示すように、右方向への１画素ピッチ分の画素ずらしを行ってから、８枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶する（ステップＳ１４）。ここに図２３は、第８の画素ずらし位置で得られる画素配列を示す図である。

ここに、マイクロコンピュータ４８は、６枚目の画像を撮像素子２３に取得させた後に、５枚目の画像および６枚目の画像の何れにおいても（ずらし配列において）Ｒ成分が欠落している画素位置のＲ成分を取得し、かつ（ずらし配列において）Ｂ成分が欠落している画素位置のＢ成分を取得することができるようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて７枚目の画像および８枚目の画像を撮像素子２３に取得させる。

すなわち、第８の画素ずらし位置までの画素ずらしが行われると、図２４に示すようなＲ画素の配列が得られる。ここに図２４は、第８の画素ずらしを行った結果得られるＲ画素の配列を示す図である。こうして、１〜４枚目の画像により、図２４に示すようなＲ画素の基本配列が得られている。さらに、５〜８枚目の画像により、図２４に示すようなＲ画素のずらし配列が得られている。また、Ｂ成分についても、Ｒ成分とほぼ同様の結果が得られる。

そして、マイクロコンピュータ４８は、上述と同様に、７枚目の画像と８枚目の画像との少なくとも一方の撮影に問題が発生したか否かを判定する（ステップＳ１５）。

ここで、問題が発生したと判定された場合には、６枚合成処理部３４ｃが１〜６枚目の画像を合成処理して、さらに、画像処理部３６によるエッジ強調処理やノイズ低減処理等の一般的な画像処理を行ってから、処理後の画像データを記録媒体４５に記録する（ステップＳ１６）。

６枚合成処理部３４ｃは、まず、画素配置部５１が１〜２枚目の画像のＧｒ画素およびＧｂ画素を、１×１解像度の基本配列となるように再配置する。さらに、画素配置部５１が１〜４枚目の画像のＲ画素を１×１解像度の基本配列となるように再配置し、同様に、１〜４枚目の画像のＢ画素を１×１解像度の基本配列となるように再配置する。加えて、画素配置部５１が５〜６枚目の画像のＧｒ画素およびＧｂ画素を、再配置された１〜２枚目の画像のＧｒ画素およびＧｂ画素とは右下方向へ１／√２画素ピッチずれるようにして、１×１解像度のずらし配列となるように再配置する（図１９のＧｒ５，Ｇｒ６，Ｇｂ５，Ｇｂ６参照）。

そして、Ｇｒ画素またはＧｂ画素については、斜め画素ずらし補完部５５が、基本配列におけるある画素と、この画素に隣接するずらし配列における４つの画素と、の各中間位置（図１９において、基本配列の画素とずらし配列の画素とが対角方向において重なっている位置）に、それぞれを重み付け加算平均したＧ画素を算出し、２×２解像度の配列のＧ画素を生成する。

図２０は、第６の画素ずらしを行った結果のＧ画素から補完を行う例を示す図である。

具体的に、図１９においてハッチングを付した画素Ｔｇ（図示の例では、基本配列におけるあるＧｂ２画素）と、ずらし配列において、このＧｂ２画素の、左上に隣接するＧｒ６画素、右上に隣接するＧｒ５画素、左下に隣接するＧｂ５画素、右下に隣接するＧｂ６画素と、に対して、図１９において重なっている角部の位置に、（ｋ１×Ｇｂ２＋ｋ２×Ｇｒ６）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｒ５）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｂ５）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｂ６）の画素値の２×２解像度の配列のＧ画素を補完している。ここに、ｋ１、ｋ２は重み係数であり、例えばｋ１＝ｋ２＝１／２とすれば、平均値を補完値とすることになる。

また、Ｒ画素およびＢ画素については、分割補完部５６が分割補完を行う。ここに、図２１は、第６の画素ずらしを行った結果のＧ画素から補完されたＧ画素に対応するＲ画素を示す図である。

図１９においてハッチングを付した画素Ｔｇの画素位置において、図１６を参照すれば分かるように、Ｒ３画素が得られている。そこで、図２０に示すように補完した４つのＧ画素の全てに対して、この図２１に示すＲ画素の画素値を適用する。Ｂ画素についても、図示はしないが同様の処理を行う。

また、ステップＳ１５において問題が発生していないと判定された場合には、８枚合成処理部３４ｄが１〜８枚目の画像を合成処理して、さらに、画像処理部３６によるエッジ強調処理やノイズ低減処理等の一般的な画像処理を行ってから、処理後の画像データを記録媒体４５に記録する（ステップＳ１７）。

８枚合成処理部３４ｄは、まず、画素配置部５１が１〜８枚目の画像の各画素を、例えば図２４に示すような配列となるように、色成分毎に再配置する。ここでの色成分毎の再配置は、Ｇｒ画素とＧｂ画素とが異なる色であると見なして行う。これにより、図２４に示すようなＲ画素、および図２４とほぼ同様のＧｒ画素、Ｇｂ画素、Ｂ画素がそれぞれ得られる。

斜め画素ずらし補完部５５は、色成分毎に上述したような斜め画素ずらし補完を行って、２×２解像度の配列のＧｒ画像、Ｇｂ画像、Ｒ画像、Ｂ画像をそれぞれ生成する。

次に、平均化部を構成する加算部５３および除算部５４が、２×２解像度の配列において同一画素位置に存在するＧｒ画素とＧｂ画素とを平均化して、Ｇ画素として出力する。その結果、合成処理部３４から出力される合成画像がデモザイキングされた画像となり、画像処理部３６中のデモザイキング処理部３７の処理はパスされて、それ以外の処理が行われるのは上述と同様である。

こうして、ステップＳ４、ステップＳ８、ステップＳ１２、ステップＳ１６、またはステップＳ１７の処理を行ったら、この処理から図示しないメイン処理へリターンする。

従って、マイクロコンピュータ４８は、不良画像が生じたことが検出部により検出された場合に、以後の画像取得を中止させて、不良画像の前までに取得された画像を用いて合成処理部３４に高画質な画像を合成する処理を行わせている。

このような実施形態１によれば、所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても高画質な画像を合成することができる画素ずらし順序で画素ずらしを行うようにしたために、２枚以上の画像が取得されれば、撮像素子２３から取得される１枚の画像よりも高画質な画像を、再撮影を行うことなく得ることができる。

また、１枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように画素ずらしを行って２枚目の画像を取得するようにしたために、２枚目の画像を取得した段階で、画素補完することなく輝度相当成分を得ることができ、画質の向上を図ることができる。

さらに、２枚目までの画像においてＲ成分が欠落している画素位置のＲ成分を取得することができるように、かつ２枚目までの画像においてＢ成分が欠落している画素位置のＢ成分を取得することができるように、画素ずらしを行って３枚目の画像および４枚目の画像を取得するようにしたために、４枚目の画像を取得した段階で、画素補完のない１×１解像度の画像を得ることができる。

そして、４枚目の画像を取得した後に、ずらし配列の５枚目の画像を取得し、さらに５枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように画素ずらしを行って６枚目の画像を取得するようにしたために、６枚目の画像を取得した段階で、２×２解像度の輝度解像度を得ることができる。

加えて、５枚目の画像および６枚目の画像の何れにおいてもＲ成分が欠落している画素位置のＲ成分を取得することができるように、かつ５枚目の画像および６枚目の画像の何れにおいてもＢ成分が欠落している画素位置のＢ成分を取得することができるように画素ずらしを行って７枚目の画像および８枚目の画像を取得するようにしたために、８枚目の画像を取得した段階で、２×２解像度の超解像画像を得ることができる。

また、マイクロコンピュータ４８は、不良画像が生じたことが検出された場合に、不良画像が生じたことが検出されない場合とは異なる制御として、以後の画像取得を中止させて、不良画像の前までに取得された画像を用いて合成処理部３４に高画質な画像を合成する処理を行わせるようにしたために、高画質な画像を得るまでの時間を短縮することができる。

さらに、複数種類の合成処理部３４を設けることで、最初に検出された不良画像が何枚目であるかに応じて、マイクロコンピュータ４８が、合成処理部３４の種類を適切に選択して処理を行わせることができる。

また、検出部としてホール素子２７を用いる場合には画素ずらし位置の不具合を検出することができ、検出部として姿勢検出部３３を用いる場合にはデジタルカメラのブレ等を検出することができ、検出部として画像比較部３５を用いる場合には環境光の変化や被写体ブレを検出することができる。
［実施形態２］

図２６は本発明の実施形態２を示したものであり、画素ずらし超解像撮影モードの動作を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、超解像画像を合成するために必要な８枚の画像を取得している途中で問題が発生したときに、問題が発生する前までの画像に基づいて、高画質の画像を生成し記録媒体４５に記録するようにしていた。これに対して本実施形態は、超解像画像を合成するために取得する画像を、取得される毎に記録媒体４５に記録して行き、途中で問題が発生した場合には、問題が発生した画像が何枚目であるかを記録媒体４５に記録するようにしたものとなっている。従って、問題が発生する前までに取得された画像に基づいて高画質の画像を生成する処理は、デジタルカメラ内で後で行っても良いが、外部のコンピュータ等により行うようにしても構わない。

図示しないメイン処理において、この図２６に示す処理が開始されると、まず、初期位置において１枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ１Ａ）。

次に、２枚目の画素位置への画素ずらしを行ってから、２枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ２Ａ）。

そして、ステップＳ３の処理を行って、２枚目の画像の撮影に問題が発生したか否かを判定する。

ここで、問題が発生したと判定された場合には、２枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２１）。

また、ステップＳ３において問題が発生していないと判定された場合には、３枚目の画素位置への画素ずらしを行ってから、３枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ５Ａ）。

続いて、３枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ２２）。

ここで、問題が発生したと判定された場合には、３枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２３）。

また、ステップＳ２２において問題が発生していないと判定された場合には、４枚目の画素位置への画素ずらしを行ってから、４枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ６Ａ）。

そして、４枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ７Ａ）。

ここで、問題が発生したと判定された場合には、４枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２４）。

ステップＳ７Ａにおいて問題が発生していないと判定された場合には、５枚目の画素位置への画素ずらしを行ってから、５枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ９Ａ）。

そして、５枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ２５）。

ここで、問題が発生したと判定された場合には、５枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２６）。

ステップＳ２５において問題が発生していないと判定された場合には、６枚目の画素位置への画素ずらしを行ってから、６枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ１０Ａ）。

そして、６枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ１１Ａ）。

ここで、問題が発生したと判定された場合には、６枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２７）。

ステップＳ１１Ａにおいて問題が発生していないと判定された場合には、７枚目の画素位置への画素ずらしを行ってから、７枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ１３Ａ）。

そして、７枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ２８）。

ここで、問題が発生したと判定された場合には、７枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ２９）。

ステップＳ２８において問題が発生していないと判定された場合には、８枚目の画素位置への画素ずらしを行ってから、８枚目の画像を撮影し、ＳＤＲＡＭ２９に記憶すると共に記録媒体４５に記録する（ステップＳ１４Ａ）。

そして、８枚目の画像の撮影に問題が発生したか否かを判定する（ステップＳ１５Ａ）。

ここで、問題が発生したと判定された場合には、８枚目の画像に問題がある旨を記録媒体４５に記録する（ステップＳ３０）。

ステップＳ１５Ａにおいて問題が発生していないと判定された場合には、ステップＳ１７の処理を行って、合成画像を生成し、画像処理を行ってから記録媒体４５に記録する。

そして、ステップＳ２１、ステップＳ２３、ステップＳ２４、ステップＳ２６、ステップＳ２７、ステップＳ２９、ステップＳ３０、またはステップＳ１７の処理を行ったら、この処理から図示しないメイン処理へリターンする。

こうして、マイクロコンピュータ４８は、不良画像が生じたことが検出部により検出された場合に、最初に不良画像として検出されたのが所定枚数の内の何枚目の画像であるかを、取得された画像と共に記録させる制御を記録制御部であるメモリＩ／Ｆ４４に行わせる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、マイクロコンピュータ４８は、不良画像が生じたことが検出された場合に、不良画像が生じたことが検出されない場合とは異なる制御として、最初に不良画像として検出されたのが所定枚数の内の何枚目の画像であるかを、取得された画像と共に記録するようにしたために、デジタルカメラにおいて、あるいはコンピュータ等の他の機器において、後段の所望の時点で、高画質の画像を生成することができる。

従って、超解像画像を撮影する途中で問題が発生した場合に、シャッタチャンスを重要視して既に取得された画像からなるべく高画質の画像を生成するか、あるいは、撮影をやり直すかをユーザが所望に選択することができる。これにより、撮影をやり直す場合、つまり、途中で問題が発生した一連の画像から高画質の画像を生成する必要がない場合に、画像合成処理を省略することができ、処理負荷を軽減することができる。
［実施形態３］

図２７から図３４は本発明の実施形態３を示したものである。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、
（１）１枚目の画像を撮影した後に、基本配列において、輝度相当成分であるＧ画素のベイヤー欠落位置が埋まるように画素ずらしを行って、２枚目の画像を撮影する。
（２）基本配列におけるＲ画素およびＢ画素の欠落位置が埋まるように画素ずらしを行って、３，４枚目の画像を撮影する。
（３）ずらし配列において、輝度相当成分であるＧ画素が埋まるように画素ずらしを行って、５，６枚目の画像を撮影する。
（４）ずらし配列におけるＲ画素およびＢ画素の欠落位置が埋まるように画素ずらしを行って、７，８枚目の画像を撮影する。
という順序で画素ずらしを行った。

つまり、実施形態１においては、ずらし配列の画素を取得するのは５枚目の画像以降であった。これは、解像度は同一でも補完する必要がある画素を少なくすることで、高画質な画像を得るためである。

これに対して、本実施形態は、（１）→（３）→（２）→（４）の順序で画素ずらしを行うようにしたものとなっている。すなわち、本実施形態は、以下に説明するように、４枚目の画像を取得した段階で、輝度成分の高解像度化を図るようにしたものとなっている。

具体的に、図２９は本実施形態における画素ずらし順序の第１の例を示す図である。

この第１の例においては、初期位置で１枚目の画像を取得した後に、右に１画素ピッチずらして２枚目の画像を取得し、左に０．５画素ピッチかつ下に０．５画素ピッチ（つまり、左下に１／√２画素ピッチ（以下、適宜同様））ずらして３枚目の画像を取得し、右に１画素ピッチずらして４枚目の画像を取得し、左に１．５画素ピッチかつ下に０．５画素ピッチずらして５枚目の画像を取得し、右に１画素ピッチずらして６枚目の画像を取得し、左に０．５画素ピッチかつ下に０．５画素ピッチずらして７枚目の画像を取得し、右に１画素ピッチずらして８枚目の画像を取得している。

また、図３０は本実施形態における画素ずらし順序の第２の例を示す図である。

この第２の例においては、初期位置で１枚目の画像を取得した後に、下に１画素ピッチずらして２枚目の画像を取得し、右に０．５画素ピッチかつ上に０．５画素ピッチずらして３枚目の画像を取得し、下に１画素ピッチずらして４枚目の画像を取得し、右に０．５画素ピッチかつ上に１．５画素ピッチずらして５枚目の画像を取得し、下に１画素ピッチずらして６枚目の画像を取得し、右に０．５画素ピッチかつ上に０．５画素ピッチずらして７枚目の画像を取得し、下に１画素ピッチずらして８枚目の画像を取得している。

８枚目の画像を取得した後に、次の撮影に備えるために初期位置に戻す処理を行うことは、上述と同様である。

なお、本実施形態においても、記録媒体４５に記録するための画像を、１，２，４，６，８枚の何れかの画像が得られた時点で生成するために、図２９、図３０の何れの例においても、３枚目と４枚目の画像の取得順序を入れ替えても良く、５枚目と６枚目の画像の取得順序を入れ替えても良く、７枚目と８枚目の画像の取得順序を入れ替えても良い。

従って、図２９および図３０の画素ずらし順序を、図８および図９の画素ずらし順序と比較すれば分かるように、画像合成を行う１，２，４，６，８枚目までの画像が得られた段階の内の、１，２，６，８枚目までの画像が得られた各段階において達成された画素ずらし位置は同じであり、相違が発生するのは４枚目までの画像が得られた段階のみである。

こうして、本実施形態における補完処理が図７に示した補完処理と異なるのは、図２７に示すように、４枚合成処理を行うときのみである。ここに図２７は、各合成処理部３４ａ，３４ｂ’，３４ｃ，３４ｄおよびデモザイキング処理部３７により行われる補完の種類と得られる解像度とを示す図表である。すなわち、４枚合成処理においては、Ｇ画素について斜め画素ずらし補完が行われ、Ｒ画素およびＢ画素について画素補完および分割補完が行われる。

図２８は、４枚合成処理部３４ｂ’の構成を示すブロック図である。

本実施形態の４枚合成処理部３４ｂ’は、入力された４枚の画像データの各画素を、画素ずらし位置に応じて配置する画素配置部５１と、画素配置部５１により配置された画像データの内の、基本配列およびずらし配列を埋めているＧｒ画素およびＧｂ画素に対して斜め画素ずらし補完を行い２×２解像度のＧ画像として出力する斜め画素ずらし補完部５５と、画素配置部５１により配置された画像データの内の、基本配列およびずらし配列の何れにおいても欠落画素が生じているＲ画素およびＢ画素に対して画素補完および分割補完を行い２×２解像度の画素数のＲ画像およびＢ画像として出力する画素補完＆分割補完部５７と、を備えている。

図３１は、第４の画素ずらしを行った結果得られるＧｒ画素およびＧｂ画素の配列を示す図である。なお、この図３１には、図２９に示した順序で画素ずらしを行った場合の例を示している。

本実施形態においては輝度解像度の向上を優先する画素ずらし順序を採用しているために、マイクロコンピュータ４８は、２枚目の画像を取得させた後に、２次元状配列の垂直方向および水平方向の両方において画素ピッチの半整数倍の移動量を含むようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて３枚目の画像を取得させ、さらに３枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて４枚目の画像を取得させる。

こうして、輝度相当成分であるＧｒ画素およびＧｂ画素については、第４の画素ずらしを行った段階で、高解像度化に必要な基本配列およびずらし配列の各画素値が取得されている（これに対して、上述した実施形態１では高解像度化に必要な輝度相当成分の画素値が取得されるのは第６の画素ずらしを行った段階であった）。

そして、図３１においてハッチングを付した画素Ｔｇ（図示の例では、基本配列におけるあるＧｂ２画素）と、ずらし配列において、このＧｂ２画素の、左上に隣接するＧｒ４画素、右上に隣接するＧｒ３画素、左下に隣接するＧｂ３画素、右下に隣接するＧｂ４画素と、に対して、斜め画素ずらし補完部５５が図３２に示すような補完画素を生成する。

ここに図３２は、第４の画素ずらしを行った結果のＧ画素から補完を行う例を示す図である。

斜め画素ずらし補完部５５は、ハッチングを付した画素Ｔｇに隣接する他の画素が重なっている角部の位置に、図３２に示すように、（ｋ１×Ｇｂ２＋ｋ２×Ｇｒ４）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｒ３）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｂ３）、（ｋ１×Ｇｂ２＋ｋ２×Ｇｂ４）の画素値の２×２解像度の配列のＧ画素を補完している。ここにｋ１、ｋ２は、上述したように重み係数である。

また、Ｒ画素およびＢ画素については、画素補完＆分割補完部５７が、画素補完および分割補完を行う。ここに、図３３は、第４の画素ずらしを行った結果のＧ画素から補完されたＧ画素に対応するＲ画素を算出する様子を示す図である。

図３１においてハッチングを付した画素Ｔｇの画素位置では、Ｒ成分は得られていない。そこで、画素補完＆分割補完部５７は、まず、第２の画素ずらしまでで得られた基本配列におけるＲ画素の欠落位置において、図３３に示すように、例えば上下に隣接するＲ画素の平均値を算出する画素補完を行うことにより、基本配列のＲ成分を全て算出する。なお、ずらし配列においても同様の処理を行うことができるが、ここでは基本配列についてのみ処理を行えば足りるものとする例について説明する。

こうして算出した基本配列のＲ成分は、１×１解像度の画素数のままである。そこで、図３２に示すように補完した４つのＧ画素の全てに対して、この図３３に示すＲ画素の内の、図３１においてハッチングを付した画素Ｔｇの画素位置にある１つのＲ画素の画素値を適用する。

画素補完＆分割補完部５７は、Ｂ画素についても、図示はしないが同様の処理を行う。従って、４枚合成処理部３４ｂ’からの出力画像は、輝度解像度は２×２解像度となっているが、色解像度は１×１解像度のまま（ただし、画素数は２×２解像度と同じ）である。

その後、マイクロコンピュータ４８は、４枚目の画像を取得させた後に、１〜４枚目の画像の何れにおいてもＲ成分が欠落している画素位置のＲ成分を取得し、かつＢ成分が欠落している画素位置のＢ成分を取得することができるようにボイスコイルモータ（ＶＣＭ）２６に画素ずらしを行わせて５〜８枚目の画像を取得させる。

例えば、本実施形態において、色成分（Ｒ成分およびＢ成分）について、基本配列における画素補完が不要になるのは、図３４に示すように、第６の画素ずらしを行った段階となる（これに対して、上述した実施形態１では基本配列における画素補完が不要になるのは第４の画素ずらしを行った段階であった）。ここに図３４は、第６の画素ずらしを行った結果得られるＲ画素の配列を示す図である。また、色成分（Ｒ成分およびＢ成分）について、ずらし配列における画素補完が不要になるのが、第８の画素ずらしを行った段階であるのは、上述した実施形態１と同様である。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、基本配列で１〜２枚目の画像を取得した後に、ずらし配列で３枚目の画像を取得し、さらに３枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように画素ずらしを行って４枚目の画像を取得するようにしたために、第４の画素ずらしを行った段階で、輝度解像度の高い画像を得ることができる。

また、１〜４枚目の画像の何れにおいてもＲ成分が欠落している画素位置のＲ成分を取得することができるように、かつ１〜４枚目の画像の何れにおいてもＢ成分が欠落している画素位置のＢ成分を取得することができるように画素ずらしを行って５〜８枚目の画像を取得するようにしたために、高い色解像度の画像を得ることができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として撮像装置について説明したが、撮像装置と同様の動作を行う撮像方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子ユニット
２３…撮像素子
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…ボイスコイルモータ（ＶＣＭ）（画素ずらし部）
２７…ホール素子
２８…バス
３１…ＡＦ処理部
３２…ＡＥ処理部
３３…姿勢検出部
３４…合成処理部
３４ａ…２枚合成処理部
３４ｂ，３４ｂ’…４枚合成処理部
３４ｃ…６枚合成処理部
３４ｄ…８枚合成処理部
３５…画像比較部
３６…画像処理部
３７…デモザイキング処理部
３８…エッジ強調処理部
３９…ノイズ低減処理部
４１…ＪＰＥＧ処理部
４２…モニタドライバ
４３…モニタ
４４…メモリＩ／Ｆ
４５…記録媒体
４６…操作部
４７…フラッシュメモリ
４８…マイクロコンピュータ
５１…画素配置部
５２…画素補完部
５３…加算部
５４…除算部
５５…斜め画素ずらし補完部
５６…分割補完部
５７…画素補完＆分割補完部

Claims (13)

1. 所定の画素ピッチで２次元状に配列された複数の画素を有し、光束を受光して撮像し画像を取得する撮像素子と、
   上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを行う画素ずらし部と、
   上記画素ずらし部に複数の異なる画素ずらし位置への画素ずらしを行わせ、それぞれの画素ずらし位置において上記撮像素子に撮像を行わせ、複数の画像を取得させる制御部と、
   所定枚数の画像を取得している途中で、高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出部と、
   を有し、
   上記制御部は、所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で、上記画素ずらし部に画素ずらしを行わせるように制御し、上記所定枚数の画像を取得している途中で、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行うことを特徴とする撮像装置。
2. 上記撮像素子は、ＲＧＢベイヤー配列のカラーフィルタを有し、
   上記制御部は、１枚目の画像を取得させた後に、１枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて２枚目の画像を取得させることを特徴とする請求項１に記載の撮像装置。
3. 上記制御部は、２枚目の画像を取得させた後に、Ｒ成分が欠落している画素位置のＲ成分を取得し、かつＢ成分が欠落している画素位置のＢ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて３枚目の画像および４枚目の画像を取得させることを特徴とする請求項２に記載の撮像装置。
4. 上記制御部は、４枚目の画像を取得させた後に、上記２次元状配列の垂直方向および水平方向の両方において上記画素ピッチの半整数倍の移動量を含むように上記画素ずらし部に画素ずらしを行わせて５枚目の画像を取得させ、さらに５枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて６枚目の画像を取得させることを特徴とする請求項３に記載の撮像装置。
5. 上記制御部は、６枚目の画像を取得させた後に、５枚目の画像および６枚目の画像の何れにおいてもＲ成分が欠落している画素位置のＲ成分を取得し、かつＢ成分が欠落している画素位置のＢ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて７枚目の画像および８枚目の画像を取得させることを特徴とする請求項４に記載の撮像装置。
6. 上記制御部は、２枚目の画像を取得させた後に、上記２次元状配列の垂直方向および水平方向の両方において上記画素ピッチの半整数倍の移動量を含むように上記画素ずらし部に画素ずらしを行わせて３枚目の画像を取得させ、さらに３枚目の画像においてＧ成分が欠落している画素位置のＧ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて４枚目の画像を取得させることを特徴とする請求項２に記載の撮像装置。
7. 上記制御部は、４枚目の画像を取得させた後に、１〜４枚目の画像の何れにおいてもＲ成分が欠落している画素位置のＲ成分を取得し、かつＢ成分が欠落している画素位置のＢ成分を取得することができるように上記画素ずらし部に画素ずらしを行わせて５〜８枚目の画像を取得させることを特徴とする請求項６に記載の撮像装置。
8. 複数の異なる画素ずらし位置において取得された複数の上記画像から、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成する合成処理部をさらに有し、
   上記制御部は、上記不良画像が生じたことが検出された場合に、以後の画像取得を中止させて、上記不良画像の前までに取得された画像を用いて上記合成処理部に上記高画質な画像を合成する処理を行わせることを特徴とする請求項１に記載の撮像装置。
9. 上記合成処理部は、１枚目から何枚目までの画像に基づいて上記高画質な画像を合成するかに応じて複数種類設けられていて、
   上記制御部は、上記検出部により最初に検出された不良画像が何枚目であるかに応じて、上記合成処理部の種類を選択して処理を行わせることを特徴とする請求項８に記載の撮像装置。
10. 画像を記録する制御を行う記録制御部をさらに有し、
    上記制御部は、上記不良画像が生じたことが検出された場合に、最初に不良画像として検出されたのが上記所定枚数の内の何枚目の画像であるかを、取得された画像と共に記録させる制御を上記記録制御部に行わせることを特徴とする請求項１に記載の撮像装置。
11. 上記検出部は、
    上記画素ずらし位置を検出する画素ずらし位置検出部と、
    撮像装置の動きを検出する動き検出部と、
    被写体に照射される光の変化を検出する環境光検出部と、
    取得された複数の上記画像における、被写体の移動を検出する被写体ブレ検出部と、
    の内の少なくとも１つを備えていることを特徴とする請求項１に記載の撮像装置。
12. コンピュータに、
    所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを、複数の異なる画素ずらし位置へ行わせる画素ずらしステップと、
    上記複数の異なる画素ずらし位置のそれぞれにおいて上記撮像素子に光束を受光させて撮像を行わせ、複数の画像を取得させる撮像ステップと、
    高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出ステップと、
    を実行させるための処理プログラムであって、
    上記画素ずらしステップは、所定枚数の画像を取得している途中で、上記検出ステップにより、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行うことにより所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で画素ずらしを行うステップであることを特徴とする処理プログラム。
13. 所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置である画素ずらし位置を変化させる画素ずらしを、複数の異なる画素ずらし位置へ行わせる画素ずらしステップと、
    上記複数の異なる画素ずらし位置のそれぞれにおいて上記撮像素子に光束を受光させて撮像を行わせ、複数の画像を取得させる撮像ステップと、
    高画質な画像を合成するために用いる画像として不適切な不良画像が生じたか否かを検出する検出ステップと、
    を有し、
    上記画素ずらしステップは、所定枚数の画像を取得している途中で、上記検出ステップにより、上記不良画像が生じたことが検出された場合に、該不良画像が生じたことが検出されない場合とは異なる制御を行うことにより所定高画質の画像を合成するために必要な上記所定枚数の上記画像を撮像する途中の、上記所定枚数に満たない２以上の枚数の画像に基づいて画像処理を行っても、上記撮像素子から取得される１枚の画像よりも高画質な画像を合成することができる画素ずらし順序で画素ずらしを行うステップであることを特徴とする撮像方法。

Images