JP2011176458A - デジタルカメラ - Google Patents

Abstract

【課題】ローリングシャッタ歪みの補正により発生した、画像データを含まない差異部分の補間精度を向上させる。
【解決手段】デジタルカメラは、画素行単位で画像データを出力する撮像素子と、第１の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第１の読出動作と、第２の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第２の読出動作とを少なくとも実行し、１フレーム分の画像データを生成する画像生成手段と、動体画像データ領域を検出する検出手段と、ローリングシャッタ方式に起因する動体画像データ領域の歪みを補正する補正手段と、差異部分の画像データを補間する補間手段とを備え、補間手段は、第１の読出動作で読み出された差異部分に対応する画素の画像データを、少なくとも第２の読出動作で読み出された差異部分以外に対応する画素の画像データによって補間する。
【選択図】図２

Description

本発明は、デジタルカメラに関する。

従来から、ローリングシャッタ方式により動きのある被写体に発生する歪みを補正するカメラが知られている（たとえば特許文献１）。

特開２００９−１４１７１７号公報

しかしながら、動きのある被写体に関する動体領域の歪みを補正することによって、背景画像に画像データを含まない領域が塊となって発生するので、周辺の画像データを用いて当該領域の画像データを補間しても補間精度が低く、画質が低下するという問題がある。

請求項１に記載の発明によるデジタルカメラは、行列状に配置された複数の画素を有し、被写体の像を画素行単位で撮像して画像データを出力する撮像素子と、第１の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第１の読出動作と、第２の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第２の読出動作とを少なくとも実行し、撮像素子に含まれる全ての画素について画像データを読み出して、１フレーム分の画像データを生成する画像生成手段と、１フレーム分の画像データから被写体の動体部分に関する動体画像データ領域を検出する検出手段と、ローリングシャッタ方式に起因して発生した動体画像データ領域の歪みを補正して、補正後動体画像データ領域を生成する補正手段と、補正手段により生成された補正後動体画像データ領域に対する動体画像データ領域の差異部分に関する画像データを補間する補間手段とを備え、補間手段は、第１の読出動作によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第２の読出動作によって読み出された差異部分以外に対応する画素の画像データによって補間することを特徴とする。

本発明によれば、画像生成手段は、少なくとも第１の読出動作と第２の読出動作とを実行し、第１の読出動作によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第２の読出動作によって読み出された差異部分以外に対応する画素の画像データによって補間することができる。

本発明の実施の形態によるデジタルカメラの要部構成を説明する図 実施の形態によるデジタルカメラの制御系の構成を示すブロック図 画像処理部の機能を説明するブロック図 ローリングシャッタ歪みを説明する図 実施の形態における撮像素子のローリングシャッタ方式を説明する図 動体領域の検出処理の一例を説明する図 実施の形態によるデジタルカメラのローリングシャッタ歪み補正処理を説明する図 無情報領域の補間処理を説明する図 実施の形態によるデジタルカメラの動作を説明するフローチャート

図面を参照して、本発明による実施の形態におけるカメラを説明する。図１はデジタルカメラ１の要部構成を示す図である。デジタルカメラ１のボディには、撮影レンズＬ１を備える交換レンズ２が着脱可能に装着されている。デジタルカメラ１のボディ側には、クイックリターンミラー１０、焦点板１１、ペンタプリズム１２、接眼レンズ１３、および撮像素子１４が設けられている。

図２はデジタルカメラ１の制御系を簡易的に示すブロック図である。図２において、図１に示した構成要素には同一の符号を付して説明する。デジタルカメラ１の制御系は、撮像素子１４、Ａ／Ｄ変換回路１６、タイミングジェネレータ１７、制御回路１８、ＬＣＤ駆動回路１９、液晶表示器１９１、加速度センサ２０、操作部３０、およびメモリカードインタフェース３１を備えている。

図１を参照して説明すると、交換レンズ２を通過してデジタルカメラ１に入射した被写体光は、シャッタレリーズ前は図１において実線で示すように位置するクイックリターンミラー１０で上方へ導かれて焦点板１１に結像する。焦点板１１に結像された被写体像は、ペンタプリズム１２により接眼レンズ１３へ導かれる。その結果、被写体像がユーザに観察される。被写体光の一部はクイックリターンミラー１０の半透過領域を透過し、サブミラー１０ａにて下方に反射され、図示しない焦点検出用センサへ入射される。レリーズ後はクイックリターンミラー１０が図１の破線で示される位置へ回動し、被写体光が撮像素子１４へ導かれ、その撮像面上に被写体像が結像する。

図２を参照して制御系について詳細に説明する。
撮像素子１４は、行列状に多数配列された画素１４１、画素１４１の各行および各列を順に選択するための水平走査回路１４２および垂直走査回路１４３を有する、Ｘ−Ｙアドレス型の光電変換素子である。撮像素子１４は、後述する制御回路１８の制御に応じて駆動して撮影レンズＬ１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。すなわち、ある画素で受光された被写体光は、その強度に応じた画像信号に変換されて、水平走査回路１４２を介して制御回路１８へ出力される。また、撮像素子１４は、所定時間Ｔごとに、走査ライン(画素行)ごとに順次シャッタを切る方式（いわゆるローリングシャッタ方式）により駆動される。撮像素子１４の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１４がカラーフィルタを通して被写体像を撮像するため、撮像素子１４から出力される画像信号はＲＧＢ表色系の色情報を有する。

撮像素子１４から出力された画像信号は、図示しないＡＦＥ回路等によりアナログ処理（ゲインコントロールなど）が施され、Ａ／Ｄ変換回路１６へ入力される。なお、Ａ／Ｄ変換回路１６を撮像素子１４に設けてもよい。Ａ／Ｄ変換回路１６は、入力したアナログ処理が施された画像信号をデジタルの画像信号に変換する回路である。タイミングジェネレータ１７は、制御回路１８の命令に応じて、撮像素子１４とＡ／Ｄ変換回路１６とにタイミング信号を出力し、撮像素子１４とＡ／Ｄ変換回路１６との駆動タイミングを制御する回路である。

制御回路１８は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御プログラムは、制御回路１８内の不図示の不揮発性メモリに格納されている。制御回路１８は、読出指示部１８１、画像処理部１８２および画像記録部１８３を機能的に備える。読出指示部１８１は、撮像素子１４に含まれる画素１４１のうち、いずれの画素行に含まれる画素１４１から画像信号を出力させるかを決定し、タイミングジェネレータ１７を介して撮像素子１４に画像信号を出力させる。画像処理部１８２は、入力した画像信号をデジタル画像信号に対して種々の画像処理を施して画像データを生成する。また、画像処理部１８２は、メモリカード３２に記録されている画像データに基づいて、液晶表示器１９１に表示するための表示画像データを生成する。また、図３に示すように、画像処理部１８２は、検出部１８２ａ、判定部１８２ｂ、補正部１８２ｃおよび補間部１８２ｄを機能的に備える。なお、画像処理部１８２による処理については、詳細を後述する。画像記録部１８３は、画像処理部１８２により生成された画像データに対してＪＰＥＧなどの所定の方式により圧縮処理を行い、ＥＸＩＦなどの形式でメモリカード３２へ記録する。

ＬＣＤ駆動回路１９は、制御回路１８の命令に基づいて液晶表示器１９１を駆動する回路である。液晶表示器１９１はアスペクト比が、たとえば縦３：横４の液晶表示パネルである。液晶表示器１９１は、撮像素子１４で撮像した画像をリアルタイムに表示するライブビュー表示とともに、メモリカード３２に記録されている画像データに基づいて画像処理部１８２で作成された表示画像データに対応する画像の表示を行う。また、液晶表示器１９１は、操作部３０の操作に基づき、デジタルカメラ１の各種設定のためのメニュー画面の表示を行う。

操作部３０はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路１８へ出力する。操作部材は、たとえばレリーズボタンや、上記のメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間でデジタルカメラ１の動作を切替えるモード切替ボタン等を含む。また、操作部３０により、撮像モードとして静止画撮影モードや動画撮影モード、上記ライブビュー表示を行うためのライブビューモードの設定が可能である。

メモリカードインタフェース３１は、メモリカード３２が着脱可能なインタフェースである。メモリカードインタフェース３１は、制御回路１８の制御に基づいて、画像ファイルをメモリカード３２に書き込んだり、メモリカード３２に記録されている画像ファイルを読み出すインタフェース回路である。メモリカード３２はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

加速度センサ２０は、たとえばジャイロセンサなどで構成され、撮影時に手ブレやパンニング操作等によってデジタルカメラ１の本体に発生する加速度をヨーイング方向（Ｘ方向）とピッチング方向（Ｙ方向）とに分解して検出する。加速度センサ２０で検出されたＸ方向とＹ方向の加速度を表す加速度信号は制御回路１８に出力される。

本実施の形態によるデジタルカメラ１は、撮像素子１４がローリングシャッタ方式により画像信号を出力することに伴って、撮影画像上で動きのある被写体（動体被写体）に対応する領域（動体領域）に発生するローリングシャッタ歪みを補正して補正後動体領域を生成する。さらに、デジタルカメラ１は、動体領域のローリングシャッタ歪みを補正することによって、補正後動体領域に対する動体領域の差異部分、すなわち動体被写体に対して背景となる被写体（背景被写体）に対応する画像データが欠落した領域が発生するので、差異部分の画像データを補間する。

まず、図４を用いてローリングシャッタ歪みについて説明する。図４においては、撮影画面または撮影画像に対して水平方向をｘ軸、垂直方向をｙ軸として示す。図４（ａ）に示すように、一般的なローリングシャッタ方式では、所定時間Ｔが経過するごとに、撮像素子１４の上段に配置された画素行に含まれる画素１４１から画像信号が出力される。その結果、撮像素子１４の上部に配置された画素１４１と下部に配置された画素１４１との間では、画像信号の読出し開始時刻が異なる。ローリングシャッタ歪みは、動体被写体が水平方向、すなわちｘ軸方向へ移動している場合、画素行ごとに画像信号の読出し時刻が異なることに起因して発生する。

図４（ｂ）は、撮影画面上を動体被写体Ｓｍが矢印Ａｒ１方向に移動している場合を一例として示す。図４（ｂ）では、時刻ｔ１において、撮像素子１４のうち第１行目の画素行に含まれる画素１４１から画像信号が読み出される。なお、動体被写体Ｓｍに含まれるエッジ成分ｘ１、ｘ２およびｘ３はほぼ垂直であるものとする。また、図４（ｂ）では、時刻ｔ１における動体被写体Ｓｍの位置を実線で、時刻ｔ２における動体被写体の位置を破線で、時刻ｔ３における動体被写体の位置を一点鎖線で示す。

ローリングシャッタ方式により、時刻ｔ２（＝ｔ１＋T）においては、撮像素子１４のうち、第２行目の画素行に含まれる画素１４１から画素信号が読み出される。しかし、時刻ｔ１から時刻ｔ２までの間に、動体被写体Ｓｍのエッジ成分ｘ２は、位置ｘ２’まで移動している。さらに、時刻ｔ３（＝ｔ２＋T）においては、第３行目の画素行に含まれる画素１４１から画素信号が読み出されるが、動体被写体Ｓｍのエッジ成分ｘ３は、位置ｘ３”まで移動している。したがって、撮影画像上では、動体被写体Ｓｍに対応する領域（動体領域）Ｒ１は、図４（ｃ）に示すように垂直方向が歪んだ形状となる。このように、動体被写体Ｓｍに対応する動体領域Ｒ１の垂直方向に発生する歪みをローリングシャッタ歪みと呼ぶ。

図４（ｄ）は、図４（ｃ）に示すローリングシャッタ歪みが発生した動体領域Ｒ１が補正され補正後動体領域Ｒ１’が生成された状態を示す。なお、図４（ｄ）では、動体領域Ｒ１を破線、補正後動体領域Ｒ１’を実線で示す。図４（ｄ）に示すように補正後動体領域Ｒ１’のエッジ成分ｘ１、ｘ２、ｘ３がほぼ垂直となる。しかし、ローリングシャッタ歪みが補正されると、図４（ｄ）において斜線で示す領域Ｒ２、すなわち補正後動体領域Ｒ１’に対する動体領域Ｒ１の差異部分に対応する画像データが存在しなくなる。これは、差異部分Ｒ２は撮像時に動体被写体Ｓｍの背後に隠れていた背景に相当するためである。差異部分Ｒ２は周辺領域の画像データや、異なるフレームの画像データに基づいて補間される。

以下、本実施の形態におけるデジタルカメラ１によるローリングシャッタ歪みの補正および差異部分Ｒ２の補間処理について詳細に説明する。デジタルカメラ１は差異部分Ｒ２が図４（ｄ）に示すように一つのまとまった領域となることを防ぐために、図４を用いて説明したローリングシャッタ方式とは異なるローリングシャッタ方式で撮像素子１４から画像信号を出力させる。

以下、ユーザの操作部３０の操作に応じて、動画撮影モードが設定された場合について説明する。本実施の形態においては、動画撮影モードが設定されると、制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、撮影レンズＬ１を通過した被写体光が撮像素子１４に導かれるようにする。さらに、読出指示部１８１は、タイミングジェネレータ１７に指示して、撮像素子１４をローリングシャッタ方式により駆動させて、撮像素子１４から画像信号を出力させる。このとき、読出指示部１８１は、画像信号の読み出し周期（フレームレート）を、たとえば１／３０[s]に設定する。

図５の撮像素子１４を構成する全画素１４１と、画像信号の読み出しタイミングとの関係を示す図を参照しながら、本実施の形態におけるローリングシャッタ方式について説明する。図５では、横軸を時間軸ｔ、撮像素子１４の水平方向（画素列方向）をｘ軸、垂直方向（画素行方向）をｙ軸とする。なお、本実施の形態では、説明を簡単にするため、撮像素子１４は、第1行目の画素行Line（１）から第３ｎ行目の画素行Line（３ｎ）によって構成されているものとする。

読出指示部１８１は、第１行目の画素行Line（１）から所定の画素行間隔（たとえば３行間隔）ごとの画素行Line（３ｎ−２）に含まれる画素１４１に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line（１）、Line（４）、・・・、Line（３ｎ−２）から出力された画像信号を第１画像信号群と呼び、第１画像信号群を出力する場合を第１読出順次と呼ぶ。図５では、第１読出順次で出力された第１画像信号群を斜線領域で示す。

読出指示部１８１は、第２行目の画素行Line（２）から３行の画素行間隔ごとの画素行Line（３ｎ−１）に含まれる画素行１４１に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line（２）、Line（５）、・・・、Line（３ｎ−１）から出力された画像信号を第２画像信号群と呼び、第２画像信号群を出力する場合を第２読出順次と呼ぶ。図５では、第２読出順次で出力された第２画像信号群を縦線領域で示す。さらに、読出指示部１８１は、第３行目の画素行Line（３）から３行の画素行間隔ごとの画素行Line（３ｎ）に含まれる画素行１４１に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line（３）、Line（６）、・・・、Line（３ｎ）から出力された画像信号を第３画像信号群と呼び、第３画像信号群を出力する場合を第３読出順次と呼ぶ。図５では、第３読出順次で出力された第３画像信号群をドット領域で示す。なお、出力される画像信号群は第１〜第３画像信号群までに限定されるものではなく、撮像素子１４を構成する画素行の数、各読出順次における画素行間隔に応じて決定される。

図５に示すように、読出指示部１８１は、時刻ｔ０で撮像素子１４から第１順次にて画像信号を出力させる。すなわち、読出指示部１８１は、時刻ｔ０で第１行目の画素行Line（１）に含まれる各画素１４１をリセットさせる。このとき各画素１４１に含まれる図示しないフローティングディフュージョンにはリセット電圧が基準電圧に達するまで電圧が印加される。そして、所定時間Ｔが経過した時刻ｔ１で、読出指示部１８１は、画素１４１に含まれる図示しないトランスファーゲートスイッチをオンさせる。その結果、画素１４１の図示しないフォトダイオードで光電変換された電荷がフローティングディフュージョンへ転送され、フローティングディフュージョンに蓄積される。すなわち、フォトダイオードで光電変換された電荷（輝度レベル）が電圧に変換される（電荷蓄積）。画素１４１における電荷蓄積は、露光時間の期間行われる。

画素行Line（１）に含まれる画素１４１に対する電荷蓄積が開始された時刻ｔ１では、読出指示部１８１は、第４行目の画素行Line（４）に含まれる各画素１４１をリセットさせる。そして、所定時間Ｔが経過した時刻ｔ２で、読出指示部１８１は、画素行Line（１）の場合と同様にして、画素行Line（４）に含まれる画素１４１に電荷蓄積を開始させる。このとき、読出指示部１８１は、画素行（７）に含まれる各画素１４１をリセットさせる。上記の動作が第（３ｎ−２）行目の画素行Line（３ｎ−２）まで繰り返される。

図５に示すように、時刻ｔ４で上記の第（３ｎ−２）行目の画素行Line（３ｎ−２）に含まれる画素１４１のリセットが終了すると、読出指示部１８１は、撮像素子１４から第２読出順次による画像信号の読出しを開始させる。すなわち、読出指示部１８１は、時刻ｔ４で第２行目の画素行Line（２）に含まれる各画素１４１をリセットさせる。この場合も、読出指示部１８１は、第１読出順次と同様にして、時刻ｔ４から所定時間Ｔごとに画素行Line（２）から３行間隔ごとの画素行に含まれる画素１４１に対してリセットを開始させる。上記の動作が第（３ｎ−１）行目の画素行Line（３ｎ−１）まで繰り返される。

時刻ｔ８で上記の第（３ｎ−１）行目の画素行Line（３ｎ−１）に含まれる画素１４１のリセットが終了すると、読出指示部１８１は、撮像素子１４から第３読出順次による画像信号の読出しを開始させる。すなわち、読出指示部１８１は、時刻ｔ８で第３行目の画素行Line（３）に含まれる各画素１４１をリセットさせる。この場合も、読出指示部１８１は、第１、第２読出順次と同様にして、時刻ｔ８から所定時間Ｔごとに画素行Line（３）から３行間隔ごとの画素行に含まれる画素１４１に対してリセットを開始させる。上記の動作が第３ｎ行目の画素行Line（３ｎ）まで繰り返される。

なお、第１読出順次〜第３読出順次までの間で、リセットを開始する時刻（読出開始時刻）が時間的に中心となる読出順次を基準順次と呼称する。本実施の形態では、第２読出順次が基準順次となる。また、基準読出順次によって出力された画像信号群、すなわち第２画像信号群を基準画像信号群と呼ぶ。

上述したように、第１〜第３読出順次で出力された第１〜第３画像信号群は、Ａ／Ｄ変換回路１６を介して制御回路１８に入力される。そして、画像処理部１８２は、入力した第１〜第３画像信号群を用いて１つの画像データを生成する。以後、画像処理部１８２は、上述したフレームレートごとに第１〜第３読出順次で撮像素子１４から出力された第１〜第３画像信号群を用いて、１つのフレームの画像データを生成する。以下では、第ｍフレーム目の画像データをＦ（ｍ）として説明を行うものとする。なお、画像処理部１８２は、第１〜第３画像信号群のそれぞれを入力するごとに、逐次表示用画像データを生成してＬＣＤ駆動回路１９に出力し、液晶表示器１９１に動画像を表示させる。すなわち、１フレームの画像データの取得が行われる際に、第１画像信号群に対応する画像と、第２画像信号群に対応する画像と、第３画像信号群に対応する画像とが時間的に連続して液晶表示器１９１に表示される。

画像データが生成されると、検出部１８２ａは、加速度センサ２０から出力された加速度信号と複数フレームの画像データとを用いて動き検出処理を行う。以下、検出部１８２ａによる動き情報の検出処理について詳細に説明する。なお、以下の説明で用いる第１閾値および第３閾値は、ローリングシャッタ方式に伴って撮影画像上に発生するローリングシャッタ歪みの影響が顕著になることを示す値である。また、第２閾値および第４閾値は、たとえば露光時間（電荷蓄積時間）に対してパンニング操作の速度が高速であったり、デジタルカメラ１に対する主要被写体の動きが高速であるために、撮影画像にボケが発生することを示す値である。これらの第１〜第４閾値は予め実験等に基づいて設定され、図示しない所定のメモリに格納されているものとする。

まず、加速度センサ２０から入力した加速度信号を用いた処理から説明する。検出部１８２ａは、加速度センサ２０から入力した加速度信号に基づいて、デジタルカメラ１に発生している加速度の値が所定の第１閾値以上か否かを判定する。加速度の値が第１閾値以上の場合は、検出部１８２ａは、たとえばユーザによるパンニング操作等に伴って撮影画像の全体に動きが発生していることを検出する。加速度の値が第１閾値未満の場合は、検出部１８２ａは、ユーザによるパンニング操作等が行われておらず、撮影画面の全体に対する動きが生じていないことを検出する。また、検出部１８２ａは、加速度の値が第１閾値よりも大きい第２閾値以上であることを検出した場合は、ユーザによるパンニング操作が高速で行われていることを検出する。

さらに、検出部１８２ａは、入力した加速度信号に基づいて、撮影画面全体のｘ軸方向における移動速度を算出する。このとき、検出部１８２ａは、デジタルカメラ１に加わる速度を、撮影画面上における１つの画素行（水平走査線一本）での所定時間Ｔ当たりの移動量（画素数）に換算して算出する。

次に、複数フレームの画像データを用いて撮影画像上の動体被写体の有無を検出する処理について説明する。この場合、検出部１８ｃは、少なくとも第（ｍ−１）フレーム目の画像データＦ(ｍ−１)および第ｍフレーム目の画像データＦ(ｍ)に基づいて、公知のパターンマッチング等を用いて動きベクトルを算出する。検出部１８２ａは、図６に示すように、撮像素子１４に含まれる画素のうち、たとえば１６×１６画素に対応するデータを１つのブロックＢとみなし、画像データを複数のブロックＢ１、Ｂ２、・・・Ｂｋに分割する。

検出部１８２ａは、図６（ａ）に示す画像データＦ（ｍ）と図６（ｂ）に示す画像データＦ（ｍ−１）と間で、それぞれ対応するブロックＢｋ（１≦ｋ≦ｍ）間の差分を演算し、図６（ｃ）に示す差分画像データを取得する。図６（ｃ）において、太線で囲む領域ｒ１およびｒ２が画像データＦ（ｍ）とＦ（ｍ−１）との間で変化があった、すなわち動体被写体に対応するブロックＢを含む領域である。そして、検出部１８２ａは、領域ｒ１に含まれるブロックＢと領域ｒ２に含まれるブロックＢとの間で動きベクトルを算出する。さらに、検出部１８２ａは、取得した差分画像データに対応する差分画像の動きベクトルに基づいて、差分画像のｘ軸方向における移動速度を算出する。このとき、検出部１８２ａは、差分画像の移動速度を、１つの画素行（水平走査線一本）における所定時間Ｔ当たりの移動量（画素数）として算出する。

検出部１８２ａは、算出された動きベクトルの大きさが、第３閾値以上か否かを判定する。なお、第３閾値はユーザによる操作部３０の操作に応じて任意の値に設定可能な構成とする。そして、検出部１８２ａは、動きベクトルの大きさが第３閾値以上のブロックＢを含む所定領域を動体被写体に対応する領域（動体領域）として検出する。検出部１８ｃは、動きベクトルの大きさが第３閾値未満のブロックＢを含む領域については、動体領域として検出しない。さらに、検出部１８２ａは、動きベクトルの大きさが第３閾値よりも大きい第４閾値以上のブロックＢを含む領域を、高速に移動する動体被写体に対応する領域として検出する。

以上のようにして行われた動き検出処理の結果に基づいて、検出部１８２ａは、撮影画像について以下の（１）〜（４）の動き情報を検出する。検出された動き情報に基づいて、後述する判定部１８２ｂは、動体領域のローリングシャッタ歪み補正および差異部分の補間の要否を決定する。
（１）主要被写体と背景被写体とに動きなし
（２）主要被写体が動体被写体
（３）主要被写体と背景被写体とに動き有り
（４）少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速

（１）主要被写体と背景被写体とに動きなし
検出部１８２ａは、加速度センサ２０から出力された加速度の値が第１閾値未満、かつ複数フレームの画像データに基づいて算出した動きベクトルの大きさが第３閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きなしであることを検出する。すなわち、検出部１８２ａは、ユーザによってパンニング操作等が行われていないので撮影画面の全体に動きが発生せず、かつ動体被写体も存在しないと検出する。この場合は、ローリングシャッタ歪みが発生せず、その結果、差異部分も発生しないので、判定部１８２ｂは、ローリングシャッタ歪みの補正および差異部分の補間は不要と判定する。

（２）主要被写体が動体被写体
検出部１８２ａは、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第３閾値以上第４閾値未満の場合に、動き情報として、主要被写体が動体被写体であることを検出する。なお、検出部１８２ａは、加速度センサ２０から出力された加速度の値に基づく検出結果を加味してもよい。すなわち、加速度センサ２０から出力された加速度の値が第１閾値未満、かつ動きベクトルの大きさが第３閾値以上第４閾値未満の場合に、検出部１８２ａは、主要被写体には動きがあるが、ユーザによってパンニング操作等が行われていないので背景被写体には動きがないことを検出すればよい。この場合は、動体領域にローリングシャッタ歪みが発生し、その結果、差異部分も発生するので、判定部１８２ｂは、ローリングシャッタ歪みの補正および差異部分の補間が必要と判定する。

（３）主要被写体と背景被写体とに動き有り
検出部１８２ａは、加速度センサ２０から出力された加速度の値が第１閾値以上第２閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きがあることを検出する。すなわち、ユーザによってパンニング操作等が行われているので、検出部１８２ａは、主要被写体と背景被写体とを加えた撮影画像全体に動きがあることを検出する。この場合は、撮影画面の全体にローリングシャッタ歪みが発生するので、判定部１８２ｂは、ローリングシャッタ歪みの補正が必要と判定する。

なお、検出部１８２ａは、複数フレームの画像データに基づいて算出した動きベクトルの大きさに基づく検出結果を加味してもよい。この場合、検出部１８２ａは、加速度センサ２０から出力された加速度の値が第１閾値以上第２閾値未満、かつ複数フレームの画像データに基づいて算出した動きベクトルの大きさが第３閾値以上第４閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きがあることを検出すればよい。このとき、たとえばユーザによりパンニング操作が行われ、かつパンニング操作の速度とは異なる速度で移動する動体被写体の動きを検出できる。この場合は、動体領域と背景領域とにそれぞれローリングシャッタ歪みが発生し、その結果、差異部分も発生するので、判定部１８２ｂは、ローリングシャッタ歪みの補正および差異部分の補間が必要と判定する。

（４）少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速
検出部１８２ａは、加速度センサ２０から出力された加速度の値が第２閾値以上の場合に、または、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第４閾値以上の場合、動き情報として、少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速であることを検出する。すなわち、検出部１８２ａは、ユーザによって高速にパンニング操作が行われている状態、または高速移動中の動体被写体が撮影されていることを検出する。この場合、判定部１８２ｂはローリングシャッタ歪みの補正および差異部分の補間を不要と判断する。このとき、画像処理部１８２は、第１および第３画像信号群を破棄し、第２画像信号群、すなわち基準画像信号群のみを用いて１フレーム分の画像データを生成する。その結果、撮像素子１４から画像信号が３画素行の間隔で間引き読み出しされた場合と同等となるので、ローリングシャッタ歪みの発生程度が抑制される。

上述した判定部１８２ｂによる判定処理が終了すると、補正部１８２ｃは、判定結果に基づいて、画像データに対してローリングシャッタ歪みの補正を行い、補間部１８２ｄは差異部分の補間処理を行う。以下、補正部１８２ｃによる第ｍフレーム目の画像データＦ（ｍ）に対するローリングシャッタ歪みの補正、および差異部分の補間処理について詳細に説明する。

（１）ローリングシャッタ歪み補正処理
図７の動体領域に対応する画像信号と、画像信号を出力した画素行と、画像信号の読出し開始時刻との関係を示す図を参照しながら、補正部１８２ｃによる画像データＦ（ｍ）のローリングシャッタ歪みの補正について説明する。図７（ａ）は、動体被写体Ｓｍがデジタルカメラ１に対してｘ軸方向（矢印Ａｒ２）へ移動している状態を示している。

図７（ｂ）は、上記の動体被写体Ｓｍに対応する動体領域Ｒ３が撮影画像上で占有する位置を示す。上述したように、撮像素子１４は第１〜第３読出順次で第１〜第３画像信号群を出力しているので、ローリングシャッタ歪みが発生した動体領域Ｒ３は、図７（ｂ）に示すように、垂直方向がジグザグとなった形状を有する。

図７（ｂ）においては、ローリングシャッタ歪みが発生していないと仮定した場合の動体領域の符号をＲ３’とし、破線で示している。また、動体領域Ｒ３のうち、斜線で示す領域は第１画像信号群に対応する画像データ、縦線で示す領域は第２画像信号群に対応する画像データ、ドットで示す領域は第３画像信号群に対応する画像データであることを示す。さらに、図７（ｂ）では、第１画像信号群に対応する画像データ（第１画像データ）をＤ１とし、動体領域Ｒ３を構成する画像データＤ１のうち最上部の画素行から順次Ｄ１（１）、Ｄ１（２）、・・・、Ｄ１（７）として示す。第２画像信号群に対応する第２画像データをＤ２、第３画像信号群に対応する第３画像データをＤ３とし、同様にＤ２（１）、Ｄ２（２）、・・・、Ｄ２（７）、Ｄ３（１）、Ｄ３（２）、・・・、Ｄ３（７）として示す。また、図７（ｂ）の時刻ｔ’は、各画像データＤ１〜Ｄ３に対応する第１画像信号群〜第３画像信号群の読出開始時刻に対応する。

補正部１８２ｃは、画像処理によりローリングシャッタ歪みを補正することで、動体領域Ｒ３を動体領域Ｒ３’に合致させる。このとき、補正部１８２ｃは、基準画像信号群に対応する画像データ（第２画像データＤ２）のうち読出開始時刻が時間的に中心となる時刻ｔ８’を基準時刻ｔｓとする。補正部１８２ｃは、撮像素子１４の走査線一本、すなわち１つの画素行当たりの歪み量を、一行の画素行における画像信号の読み出し時間、すなわち読出開始時刻と基準時刻ｔｓとの差分時間と、動体領域の移動速度とを積算することにより算出する。たとえば動体領域Ｒ３の移動速度がＶとして検出部１８２ａにより算出されている場合には、補正部１８２ｃは第１画像データＤ１（１）の差分時間を（ｔｓ−ｔ１’）と算出する。そして、補正部１８２ｃは、歪み量を（（ｔｓ−ｔ１’）×Ｖ）画素として算出する。

補正部１８２ｃは、画像データＦ（ｍ）内の動体領域Ｒ３において、撮像素子１４の各画素行に対応する画像データを、差分時間が正の場合は動体領域Ｒ３の移動方向と同方向（図７では＋ｘ方向）に歪み量だけ移動させる。また、差分時間が負の場合は、補正部１８２ｃは、撮像素子１４の各画素行に対応する画像データ動体領域Ｒ３の移動方向と逆方向（図７では−ｘ方向）に歪み量だけ移動させる。動体領域Ｒ３に含まれる全ての画素行についても同様の処理を行い、補正部１８２ｃは、動体領域Ｒ３内のローリングシャッタ歪みを補正する。その結果、図７（ｃ）に示すように、動体領域Ｒ３の形状は動体領域Ｒ３’の形状と合致した歪み抑制された形状を有する補正後動体領域Ｒ３”が生成される。

（２）差異部分の補間処理
上述したようにローリングシャッタ歪みが補正されると、図７（ｃ）において黒色で示す領域Ｒ４が画像データの存在しない差異部分となる。すなわち、差異部分Ｒ４は、撮像素子１４が電荷蓄積を行っている際に動体被写体Ｓｍの背後に隠れていた背景被写体に対応する。補間部１８２ｄは、この差異部分Ｒ４を周辺の画素に対応する画像データを用いて、補間する。

図８を参照しながら、補間部１８２ｄによる補間処理の詳細を説明する。図８（ａ）は、図７（ｃ）の一点鎖線で囲んだ領域Ｚを拡大して示す図である。図８（ａ）に示す領域Ｚには、８列の画素列Ｃ１〜Ｃ８と、８行の画素行Ｄｂ、Ｄ１（１）〜Ｄ１（３）、Ｄ２（１）〜Ｄ２（２）、Ｄ３（１）〜Ｄ３（２）とからなる８×８画素が含まれる。なお、画素行Ｄｂは、画素行Ｄ１（１）よりも１行上部に位置する画素行を示す。すなわち、画素行Ｄｂには動体領域Ｒ３が存在しないので、差異部分Ｒ４が存在しない。また、図８の斜線で示す領域は差異部分Ｒ４を、ドットで示す領域は補正後動体領域Ｒ３”を示す。さらに、領域Ｚに含まれる画素を、画素行ごとに符号Ｐｄｂ（１）〜Ｐｄｂ（８）、Ｐｄ１（１）〜Ｐｄ１（８）、Ｐｄ２（１）〜Ｐｄ２（８）、Ｐｄ３（１）〜Ｐｄ３（８）、Ｐｄ４（１）〜Ｐｄ４（８）、Ｐｄ５（１）〜Ｐｄ５（８）、Ｐｄ６（１）〜Ｐｄ６（８）およびＰｄ７（１）〜Ｐｄ７（８）を付して示す。

補間部１８２ｄは、差異部分Ｒ４に含まれる画素を補間する場合、差異部分Ｒ４に含まれない画素のうち、上下方向（±Ｙ方向）に最も近傍に位置する画素を用いる。換言すると、補間部１８２ｄは、差異部分Ｒ４に対応する第１画像信号群の画像データＤ１を補間する場合、第１画像信号群以外の第２および第３画像信号群に対応する画像データＤ２、Ｄ３を用いて補間する。たとえば、画素Ｐｄ１（７）の画素を補間する場合、補間部１８２ｄは、画素Ｐｄｂ（７）およびＰｄ３（７）を用いる。また、画素Ｐｄ１（３）の画素を補間する場合は、補間部１８２ｄは、画素Ｐｄｂ（３）およびＰｄ２（３）を用いる。さらに、補間部１８２ｄは、差異部分Ｒ４に対応する第２画像信号群の画像データＤ２を補間する場合、第２画像信号群以外の第１および第３画像信号群に対応する画像データＤ１、Ｄ３を用いて補間する。たとえば、画素Ｐｄ２（７）の画素を補間する場合、補間部１８２ｄは、画素Ｐｄｂ（７）およびＰｄ３（７）を用いる。補間部１８２ｄは、補間方法として、たとえば公知のバイキュービック補間や隣接画素の平均値で置換する線形補間、最近傍の画素で置換する最近隣補間等の画像データを拡大する際に用いられる各種の補間方法を使用する。

上述した補間処理が行われた結果、図８（ｂ）に示すように、ローリングシャッタ歪みが補正され、かつ差異部分Ｒ４が補間された画像データＦ_ｈ’（ｍ）が補間部１８２ｄにより生成される。ここで、補間部１８２ｄは、動体領域Ｒ３”の近傍の領域、すなわち上述した補間処理によって画像データが生成された画素を含む所定範囲を比較領域Ｒ５として抽出する。

補間部１８２ｄは、比較領域Ｒ５を抽出すると、公知のパターンマッチング処理を用いて、たとえば前フレームの画像データＦ（ｍ−１）から比較領域Ｒ５に類似する領域を比較対象領域として抽出する。そして、補間部１８２ｄは、画像データＦ_ｈ’（ｍ）から抽出した比較領域Ｒ５と、画像データＦ（ｍ−１）から抽出した比較対象領域との差分を演算する。

補間部１８２ｄは、算出された差分が予め設定された第５閾値以上か否かを判定する。差分が第５閾値以上の場合は、画像データＦ（ｍ）上で補間により生成された領域の画像が、画像データＦ（ｍ−１）上で相当する領域の画像との類似度が低いことになる。補間部１８２ｄは、差分が第５閾値以上の場合は、画像データＦ（ｍ）の比較領域Ｒ５に対応する画像データを、画像データＦ（ｍ−１）の比較対象領域に対応する画像データで置換して、補正処理および補間処理が施された画像データＦ_ｈ（ｍ）とする。差分が第５閾値未満の場合は、画像データＦ（ｍ）上で補間により生成された領域の画像と、画像データＦ（ｍ−１）の相当する領域の画像との間での類似度が高いことになる。この場合、補間部１８２ｄは、上記のような置換を行わない。すなわち、補間部１８２ｄは、同一の画像データＦ（ｍ）上の補間処理で生成された画像データＦ_ｈ’（ｍ）を、ローリングシャッタ歪み補正および補間処理が施された画像データＦ_ｈ（ｍ）とする。

なお、１つ前のフレームの画像データから比較対象領域を抽出するものに限定されず、たとえば動体被写体が高速の場合や、デジタルカメラ１のメモリ容量が多い場合、制御回路１８の処理速度が高速の場合には、複数フレームの画像データを用いて上記処理を行ってもよい。また、パターンマッチング処理により、比較領域Ｒ５に類似する領域が検出されない場合は、補間部１８２ｄは上記の処理を行わないものとする。

ローリングシャッタ歪みが補正され、補間処理が施された画像データＦ_ｈ（ｍ）は、画像処理部１８２による上述した画像処理や画像記録部１８３による圧縮処理が施される。そして、画像記録部１８３は、メモリカードインタフェース３１を介して画像データＦ_ｈ（ｍ）を動画像データとしてメモリカード３２に記録される。

図９のフローチャートを参照しながら、デジタルカメラ１による動画撮影モードにおける動作を説明する。図９の処理を行うプログラムは制御回路１８内の図示しないメモリに格納されており、操作部３０により動画撮影モードが設定された状態で、ユーザのレリーズボタンの操作に応じて撮影開始を指示する信号が入力されると制御回路１８により起動され、実行される。

ステップＳ１０１では、画像データＦ（ｍ）の生成用に、撮像素子１４から第１〜第３画像信号群を出力させてステップＳ１０２へ進む。ステップＳ１０２では、加速度センサ２０からの加速度信号と、画像データＦ（ｍ−１）およびＦ（ｍ）とを用いて動き情報を検出してステップＳ１０３へ進む。ステップＳ１０３では、ステップＳ１０２での検出結果に基づいて、画像データから動き情報を検出したか否か、すなわち、上述した主要被写体が動体被写体、主要被写体と背景被写体とに動き有り、少なくとも動体被写体と背景被写体との一方が高速で移動のいずれかを検出したかを判定する。動き情報が検出された場合は、ステップＳ１０３が肯定判定されてステップＳ１０４へ進む。動き情報が検出されていない場合は、ステップＳ１０３が否定判定されてステップＳ１１０へ進み、第１〜第３画像信号群を用いて画像データＦ（ｍ）を生成しメモリカード３２へ記録して後述するステップＳ１１２へ進む。

ステップＳ１０４では、動体被写体と背景被写体との少なくとも一方が高速で移動しているか否か判定する。動体被写体と背景被写体との少なくとも一方が高速で移動している場合は、ステップＳ１０４が肯定判定されてステップＳ１１１へ進む。ステップＳ１１１では、第２画像信号群（すなわち基準画像信号群）を用いて画像データＦ（ｍ）を生成してメモリカード３２に記録させて後述するステップＳ１１２へ進む。動体被写体と背景被写体とが高速で移動していない場合には、ステップＳ１０４が否定判定されてステップＳ１０５へ進む。

ステップＳ１０５では、背景被写体に動きが検出されているか、すなわち、画像データ全体に動きが発生しているか否かを判定する。背景被写体に動きが検出されている場合には、ステップＳ１０５が肯定判定されてステップＳ１０６へ進む。ステップＳ１０６では、画像データにローリングシャッタ歪みの補正処理を施して画像データＦ_ｈ（ｍ）を生成して、ステップＳ１０９へ進む。背景被写体に動きが検出されていない場合には、ステップＳ１０５が否定判定されてステップＳ１０７へ進む。

ステップＳ１０７では、動体領域にローリングシャッタ歪みの補正処理を施してステップＳ１０８へ進む。ステップＳ１０８においては、ステップＳ１０７におけるローリングシャッタ歪みの補正処理で発生した差異部分に対して補間処理を施し、画像データＦ_ｈ（ｍ）を生成してステップＳ１０９へ進む。

ステップＳ１０９では、ステップＳ１０６またはステップＳ１０８で生成した画像データＦ_ｈ（ｍ）をメモリカード３２に記録してステップＳ１１２へ進む。ステップ１１２では、動画撮影モードが終了されたか否かを判定する。ユーザのレリーズボタンの操作に応じて、操作部３０から動画撮影の終了を指示する信号が入力された場合には、ステップＳ１１２が肯定判定されて処理を終了する。動画撮影の終了を指示する信号を入力しない場合には、ステップＳ１１２が否定判定されてステップＳ１０１へ戻る。

以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）撮像素子１４は、行列状に配置された複数の画素１４１を有し、被写体の像を画素行単位で撮像して画像データを出力する。読出指示部１８１は、第１行目の画素行Line（１）から所定の行間隔である３行間隔ごとにローリングシャッタ方式により第１画像信号群を読み出す第１読出順次と、第２行目の画素行Line（２）から３行間隔ごとにローリングシャッタ方式で第２画像信号群を読み出す第２読出順次と、第３行目の画素行Line（３）から３行間隔ごとにローリングシャッタ方式で第３画像信号群を読み出す第３読出順次とを実行し、撮像素子１４に含まれる全ての画素１４１について画像信号を読み出して、画像処理部１８２は１フレーム分の画像データＦ（ｍ）を生成する。検出部１８２ａは、１フレーム分の画像データＦ（ｍ）から被写体の動体部分に関する動体領域を検出し、補正部１８２ｃは、ローリングシャッタ方式に起因して発生した動体領域の歪みを補正して、補正後動体画像データ領域を生成する。そして、補間部１８２ｄは、補正部１８２ｃにより生成された補正後動体領域に対する動体領域の差異部分に関する画像データを次のようにして補間するようにした。すなわち、補間部１８２ｄは、第１読出順次によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第２読出順次によって読み出された差異部分以外に対応する画素の画像データによって補間するようにした。その結果、同一フレームの画像に対応する画像データのうち、異なる読出順次で出力された画像信号群を用いて差異部分が補間されるので、補間精度を向上された高画質の画像を得ることができる。

（２）補間部１８２ｄ、第１読出順次によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第２読出順次によって読み出された差異部分以外に対応する画素であって、第１読出順次によって読み出された差異部分に対応する画素の最近傍の画素の画像データによって補間するようにした。したがって、ローリングシャッタ歪みの補正にともない画像データが存在しない画素を、その画素の最近傍に設けられた画素の画像データを用いて補正できるので補間精度を向上させることができる。

（３）補間部１８２ｄは、補正後動体領域に対する動体領域の差異部分に関する補間後の比較領域の画像データと、異なるフレームの画像データＦ（ｍ−１）における、差異領域に対する比較対象領域の画像データとを比較して類似度を算出する。そして、補間部１８２ｄは、類似度が低い場合には補間後の比較領域の画像データを、異なるフレームの画像データＦ（ｍ−１）の比較対象領域の画像データに置き換えるようにした。すなわち、同一フレーム内の画像データＦ（ｍ）を用いて補間された領域の補間精度が低い場合は、異なるフレームの画像データＦ（ｍ−１）のうちの対応する領域によって置き換えるようにした。したがって、差異部分の補間精度を向上させて画質の向上に寄与することができる。

（４）判定部１８２ｂは、動体領域の動きが所定の速度（第４閾値）を超えるか否かを判定する。そして、判定部１８２ｂにより動体領域の動きが第４閾値を超えると判定された場合には、補正部１８２ｃはローリングシャッタ歪みの補正を禁止し、補間部１８２ｄは差異部分に関する画像データの補間を禁止するようにした。この場合、画像処理部１８２は、複数の読出順次で出力された複数の画像信号群のうちの１つの読出動作により撮像素子１４から出力された画像信号群、すなわち基準画像信号群を用いて１フレーム分の画像データＦ（ｍ）を生成するようにした。したがって、画像処理によるローリングシャッタ歪みの補正効果が得られない場合には、補正部１８２ｃによる処理を行わないので処理負荷を低減できる。また、この場合、画像生成部１８２は、基準画像信号群（第２画像信号群）を用いて１フレームの画像データＦ（ｍ）を生成する、すなわち３画素行間隔の間引き読出しにより出力された画像信号群に基づいて画像データを生成するので、動体領域に対するローリングシャッタ歪みの発生を抑制することができる。

以上で説明した実施の形態によるデジタルカメラを、以下のように変形できる。
（１）補正部１８２ｃによるローリングシャッタ歪みの補正とそれに伴う補間部１８２ｄによる差異部分の補間処理は動画撮影モードが設定された場合に限定されるものではない。たとえば、静止画撮影モードが設定されたときに、撮影画像の画質や画像サイズが小さく設定されている場合には、補正部１８２ｃおよび補間部１８２ｄが上述の処理を行うことができる。

（２）ライブビューモードが設定され液晶表示器１９１にライブビュー画像を表示する場合には、画像処理部１８２は、ローリングシャッタ歪みを補正しない、または補正精度を落として表示用画像データを生成すればよい。この場合、補正部１８２は、たとえば第１画像信号群のみを用いて表示用画像データを生成すればよい。この結果、上述した補間処理を伴わないので、ライブビューモード時の処理負荷を低減することができる。

（３）動体領域の移動速度に応じて、撮像素子１４が各画像信号群を出力するための画素行の間隔を変更可能にしてもよい。すなわち、動体領域の移動速度が高速であれば画素行の間隔を大きくし、動体領域の移動速度が低速であれば画素行の間隔を狭くすればよい。たとえば、第ｍフレーム目の画像データにおいて動体領域の移動速度が所定の第１速度閾値以上であれば、第（ｍ＋１）フレーム目の画像データを生成する際に、読出指示部１８１は、撮像素子１４に対して、画素行の間隔を３行から５行間隔に変更して各画像信号群を出力させる。この場合、撮像素子１４が出力する画像信号群の数は画素行が３行間隔の場合、すなわち第１〜第３画像信号群を出力する場合よりも増加する。また、第ｍフレーム目の画像データにおいて動体領域の移動速度が所定の第２速度閾値（＜第１速度閾値）未満であれば、第（ｍ＋１）フレーム目の画像データを生成する際に、読出指示部１８１は、撮像素子１４に対して、画素行の間隔を３行から２行間隔に変更して各画像信号群を出力させる。この場合、撮像素子１４が出力する画像信号群の数は画素行が３行間隔の場合、すなわち第１〜第３画像信号群を出力する場合よりも減少する。

（４）補正部１８２ｃは、差異部分Ｒ４に対応する第１画像信号群の画像データＤ１を補間する場合、第１画像信号群とは異なる第２および第３画像信号群に対応する画像データＤ２、Ｄ３を用いて補間するものに代えて、第１〜３画像信号群に対応する画像データＤ１〜Ｄ３を用いて補間してもよい。たとえば、図８（ａ）の差異部分Ｒ４内の第１画像データＤ１（２）に含まれる画素Ｐｄ４（２）を補間する場合、第３画像データＤ３（１）に含まれる画素Ｐｄ３（２）および第２画像データＤ２（２）に含まれる画素Ｐｄ５（２）に加えて、第１画像データＤ１（２）に含まれる画素Ｐｄ４（１）を用いることができる。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１４・・・撮像素子、 １８・・・制御回路、 ２０・・・加速度センサ、
１４１・・・画素、 １８１・・・読出指示部、 １８２・・・画像処理部、
１８２ａ・・・検出部、 １８２ｂ・・・判定部、 １８２ｃ・・・補正部、
１８２ｄ・・・補間部

Claims (10)

1. 行列状に配置された複数の画素を有し、被写体の像を画素行単位で撮像して画像データを出力する撮像素子と、
   第１の画素行から所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第１の読出動作と、第２の画素行から前記所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第２の読出動作とを少なくとも実行し、前記撮像素子に含まれる全ての画素について前記画像データを読み出して、１フレーム分の画像データを生成する画像生成手段と、
   前記１フレーム分の画像データから前記被写体の動体部分に関する動体画像データ領域を検出する検出手段と、
   ローリングシャッタ方式に起因して発生した前記動体画像データ領域の歪みを補正して、補正後動体画像データ領域を生成する補正手段と、
   前記補正手段により生成された前記補正後動体画像データ領域に対する前記動体画像データ領域の差異部分に関する画像データを補間する補間手段とを備え、
   前記補間手段は、前記第１の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第２の読出動作によって読み出された前記差異部分以外に対応する前記画素の画像データによって補間することを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記画像生成手段は、第３の画素行から前記所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第３の読出動作をさらに実行し、
   前記補間手段は、前記２１の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第３の読出動作によって読み出された前記差異部分以外に対応する前記画素の画像データによって補間することを特徴とするデジタルカメラ。
3. 請求項１または２に記載のデジタルカメラにおいて、
   前記補間手段は、前記第１の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第２の読出動作によって読み出された前記差異部分以外に対応する前記画素であって、前記第１の読出動作によって読み出された前記差異部分に対応する前記画素の最近傍の画素の画像データによって補間することを特徴とするデジタルカメラ。
4. 請求項１乃至３に記載のデジタルカメラにおいて、
   前記撮像素子は、連続して前記被写体の像を撮像して前記画像データを出力し、
   前記補間手段は、前記動体画像データ領域の差異部分に関する補間後の前記画像データと、異なるフレームにおける、前記差異領域に対する領域の画像データとを比較して類似度を算出し、前記類似度が低い場合には前記補間後の前記画像データを、前記異なるフレームの前記差異領域に対する領域の画像データに置き換えることを特徴とするデジタルカメラ。
5. 請求項１乃至４のいずれか一項に記載のデジタルカメラにおいて、
   前記検出手段により検出された前記動体画像データ領域の動きが所定の速度を超えるか否かを判定する判定手段と、
   前記判定手段により前記動体画像データ領域の動きが前記所定の速度を超えると判定された場合には、前記補正手段による歪みの補正と、前記補間手段による前記差異部分に関する画像データの補間とを禁止させる禁止手段とをさらに備えることを特徴とするデジタルカメラ。
6. 請求項５に記載のデジタルカメラにおいて、
   前記画像処理手段は、前記禁止手段が前記補正手段による歪みの補正と、前記補間手段による前記差異部分の画像データの補間とを禁止している場合は、複数の読出動作のうちの１つの読出動作により前記撮像素子から出力された前記画像信号を用いて前記１フレーム分の画像データを生成することを特徴とするデジタルカメラ。
7. 請求項１乃至６のいずれか一項に記載のデジタルカメラにおいて、
   前記検出手段により検出された前記動体画像データ領域の動きの速度に応じて、前記撮像素子から前記画像信号を読み出すための前記行間隔を変更させる変更指示手段をさらに備えることを特徴とするデジタルカメラ。
8. 請求項１乃至７のいずれか一項に記載のデジタルカメラにおいて、
   前記補正手段による前記歪みの補正と、前記補間手段による前記差異部分に関する画像データの補間とが施された画像データを記憶媒体に記録する記録制御手段をさらに備えることを特徴とするデジタルカメラ。
9. 請求項１乃至８のいずれか一項に記載のデジタルカメラにおいて、
   前記検出手段は、異なる複数フレーム分の画像データに基づいて、前記動体画像データ領域を検出することを特徴とするデジタルカメラ。
10. 請求項１乃至９のいずれか一項に記載のデジタルカメラにおいて、
    前記検出手段は、カメラに生じる振動を検出する加速度センサを含んで構成されることを特徴とするデジタルカメラ。

Images