JP2011176458A - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP2011176458A JP2011176458A JP2010037697A JP2010037697A JP2011176458A JP 2011176458 A JP2011176458 A JP 2011176458A JP 2010037697 A JP2010037697 A JP 2010037697A JP 2010037697 A JP2010037697 A JP 2010037697A JP 2011176458 A JP2011176458 A JP 2011176458A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- digital camera
- pixel
- difference portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】ローリングシャッタ歪みの補正により発生した、画像データを含まない差異部分の補間精度を向上させる。
【解決手段】デジタルカメラは、画素行単位で画像データを出力する撮像素子と、第1の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第1の読出動作と、第2の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第2の読出動作とを少なくとも実行し、1フレーム分の画像データを生成する画像生成手段と、動体画像データ領域を検出する検出手段と、ローリングシャッタ方式に起因する動体画像データ領域の歪みを補正する補正手段と、差異部分の画像データを補間する補間手段とを備え、補間手段は、第1の読出動作で読み出された差異部分に対応する画素の画像データを、少なくとも第2の読出動作で読み出された差異部分以外に対応する画素の画像データによって補間する。
【選択図】図2
【解決手段】デジタルカメラは、画素行単位で画像データを出力する撮像素子と、第1の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第1の読出動作と、第2の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第2の読出動作とを少なくとも実行し、1フレーム分の画像データを生成する画像生成手段と、動体画像データ領域を検出する検出手段と、ローリングシャッタ方式に起因する動体画像データ領域の歪みを補正する補正手段と、差異部分の画像データを補間する補間手段とを備え、補間手段は、第1の読出動作で読み出された差異部分に対応する画素の画像データを、少なくとも第2の読出動作で読み出された差異部分以外に対応する画素の画像データによって補間する。
【選択図】図2
Description
本発明は、デジタルカメラに関する。
従来から、ローリングシャッタ方式により動きのある被写体に発生する歪みを補正するカメラが知られている(たとえば特許文献1)。
しかしながら、動きのある被写体に関する動体領域の歪みを補正することによって、背景画像に画像データを含まない領域が塊となって発生するので、周辺の画像データを用いて当該領域の画像データを補間しても補間精度が低く、画質が低下するという問題がある。
請求項1に記載の発明によるデジタルカメラは、行列状に配置された複数の画素を有し、被写体の像を画素行単位で撮像して画像データを出力する撮像素子と、第1の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第1の読出動作と、第2の画素行から所定の行間隔ごとにローリングシャッタ方式で画像データを読み出す第2の読出動作とを少なくとも実行し、撮像素子に含まれる全ての画素について画像データを読み出して、1フレーム分の画像データを生成する画像生成手段と、1フレーム分の画像データから被写体の動体部分に関する動体画像データ領域を検出する検出手段と、ローリングシャッタ方式に起因して発生した動体画像データ領域の歪みを補正して、補正後動体画像データ領域を生成する補正手段と、補正手段により生成された補正後動体画像データ領域に対する動体画像データ領域の差異部分に関する画像データを補間する補間手段とを備え、補間手段は、第1の読出動作によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第2の読出動作によって読み出された差異部分以外に対応する画素の画像データによって補間することを特徴とする。
本発明によれば、画像生成手段は、少なくとも第1の読出動作と第2の読出動作とを実行し、第1の読出動作によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第2の読出動作によって読み出された差異部分以外に対応する画素の画像データによって補間することができる。
図面を参照して、本発明による実施の形態におけるカメラを説明する。図1はデジタルカメラ1の要部構成を示す図である。デジタルカメラ1のボディには、撮影レンズL1を備える交換レンズ2が着脱可能に装着されている。デジタルカメラ1のボディ側には、クイックリターンミラー10、焦点板11、ペンタプリズム12、接眼レンズ13、および撮像素子14が設けられている。
図2はデジタルカメラ1の制御系を簡易的に示すブロック図である。図2において、図1に示した構成要素には同一の符号を付して説明する。デジタルカメラ1の制御系は、撮像素子14、A/D変換回路16、タイミングジェネレータ17、制御回路18、LCD駆動回路19、液晶表示器191、加速度センサ20、操作部30、およびメモリカードインタフェース31を備えている。
図1を参照して説明すると、交換レンズ2を通過してデジタルカメラ1に入射した被写体光は、シャッタレリーズ前は図1において実線で示すように位置するクイックリターンミラー10で上方へ導かれて焦点板11に結像する。焦点板11に結像された被写体像は、ペンタプリズム12により接眼レンズ13へ導かれる。その結果、被写体像がユーザに観察される。被写体光の一部はクイックリターンミラー10の半透過領域を透過し、サブミラー10aにて下方に反射され、図示しない焦点検出用センサへ入射される。レリーズ後はクイックリターンミラー10が図1の破線で示される位置へ回動し、被写体光が撮像素子14へ導かれ、その撮像面上に被写体像が結像する。
図2を参照して制御系について詳細に説明する。
撮像素子14は、行列状に多数配列された画素141、画素141の各行および各列を順に選択するための水平走査回路142および垂直走査回路143を有する、X−Yアドレス型の光電変換素子である。撮像素子14は、後述する制御回路18の制御に応じて駆動して撮影レンズL1を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。すなわち、ある画素で受光された被写体光は、その強度に応じた画像信号に変換されて、水平走査回路142を介して制御回路18へ出力される。また、撮像素子14は、所定時間Tごとに、走査ライン(画素行)ごとに順次シャッタを切る方式(いわゆるローリングシャッタ方式)により駆動される。撮像素子14の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子14がカラーフィルタを通して被写体像を撮像するため、撮像素子14から出力される画像信号はRGB表色系の色情報を有する。
撮像素子14は、行列状に多数配列された画素141、画素141の各行および各列を順に選択するための水平走査回路142および垂直走査回路143を有する、X−Yアドレス型の光電変換素子である。撮像素子14は、後述する制御回路18の制御に応じて駆動して撮影レンズL1を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。すなわち、ある画素で受光された被写体光は、その強度に応じた画像信号に変換されて、水平走査回路142を介して制御回路18へ出力される。また、撮像素子14は、所定時間Tごとに、走査ライン(画素行)ごとに順次シャッタを切る方式(いわゆるローリングシャッタ方式)により駆動される。撮像素子14の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子14がカラーフィルタを通して被写体像を撮像するため、撮像素子14から出力される画像信号はRGB表色系の色情報を有する。
撮像素子14から出力された画像信号は、図示しないAFE回路等によりアナログ処理(ゲインコントロールなど)が施され、A/D変換回路16へ入力される。なお、A/D変換回路16を撮像素子14に設けてもよい。A/D変換回路16は、入力したアナログ処理が施された画像信号をデジタルの画像信号に変換する回路である。タイミングジェネレータ17は、制御回路18の命令に応じて、撮像素子14とA/D変換回路16とにタイミング信号を出力し、撮像素子14とA/D変換回路16との駆動タイミングを制御する回路である。
制御回路18は、図示しないCPU、ROM、RAMなどを有し、制御プログラムに基づいて、デジタルカメラ1の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御プログラムは、制御回路18内の不図示の不揮発性メモリに格納されている。制御回路18は、読出指示部181、画像処理部182および画像記録部183を機能的に備える。読出指示部181は、撮像素子14に含まれる画素141のうち、いずれの画素行に含まれる画素141から画像信号を出力させるかを決定し、タイミングジェネレータ17を介して撮像素子14に画像信号を出力させる。画像処理部182は、入力した画像信号をデジタル画像信号に対して種々の画像処理を施して画像データを生成する。また、画像処理部182は、メモリカード32に記録されている画像データに基づいて、液晶表示器191に表示するための表示画像データを生成する。また、図3に示すように、画像処理部182は、検出部182a、判定部182b、補正部182cおよび補間部182dを機能的に備える。なお、画像処理部182による処理については、詳細を後述する。画像記録部183は、画像処理部182により生成された画像データに対してJPEGなどの所定の方式により圧縮処理を行い、EXIFなどの形式でメモリカード32へ記録する。
LCD駆動回路19は、制御回路18の命令に基づいて液晶表示器191を駆動する回路である。液晶表示器191はアスペクト比が、たとえば縦3:横4の液晶表示パネルである。液晶表示器191は、撮像素子14で撮像した画像をリアルタイムに表示するライブビュー表示とともに、メモリカード32に記録されている画像データに基づいて画像処理部182で作成された表示画像データに対応する画像の表示を行う。また、液晶表示器191は、操作部30の操作に基づき、デジタルカメラ1の各種設定のためのメニュー画面の表示を行う。
操作部30はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路18へ出力する。操作部材は、たとえばレリーズボタンや、上記のメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間でデジタルカメラ1の動作を切替えるモード切替ボタン等を含む。また、操作部30により、撮像モードとして静止画撮影モードや動画撮影モード、上記ライブビュー表示を行うためのライブビューモードの設定が可能である。
メモリカードインタフェース31は、メモリカード32が着脱可能なインタフェースである。メモリカードインタフェース31は、制御回路18の制御に基づいて、画像ファイルをメモリカード32に書き込んだり、メモリカード32に記録されている画像ファイルを読み出すインタフェース回路である。メモリカード32はコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
加速度センサ20は、たとえばジャイロセンサなどで構成され、撮影時に手ブレやパンニング操作等によってデジタルカメラ1の本体に発生する加速度をヨーイング方向(X方向)とピッチング方向(Y方向)とに分解して検出する。加速度センサ20で検出されたX方向とY方向の加速度を表す加速度信号は制御回路18に出力される。
本実施の形態によるデジタルカメラ1は、撮像素子14がローリングシャッタ方式により画像信号を出力することに伴って、撮影画像上で動きのある被写体(動体被写体)に対応する領域(動体領域)に発生するローリングシャッタ歪みを補正して補正後動体領域を生成する。さらに、デジタルカメラ1は、動体領域のローリングシャッタ歪みを補正することによって、補正後動体領域に対する動体領域の差異部分、すなわち動体被写体に対して背景となる被写体(背景被写体)に対応する画像データが欠落した領域が発生するので、差異部分の画像データを補間する。
まず、図4を用いてローリングシャッタ歪みについて説明する。図4においては、撮影画面または撮影画像に対して水平方向をx軸、垂直方向をy軸として示す。図4(a)に示すように、一般的なローリングシャッタ方式では、所定時間Tが経過するごとに、撮像素子14の上段に配置された画素行に含まれる画素141から画像信号が出力される。その結果、撮像素子14の上部に配置された画素141と下部に配置された画素141との間では、画像信号の読出し開始時刻が異なる。ローリングシャッタ歪みは、動体被写体が水平方向、すなわちx軸方向へ移動している場合、画素行ごとに画像信号の読出し時刻が異なることに起因して発生する。
図4(b)は、撮影画面上を動体被写体Smが矢印Ar1方向に移動している場合を一例として示す。図4(b)では、時刻t1において、撮像素子14のうち第1行目の画素行に含まれる画素141から画像信号が読み出される。なお、動体被写体Smに含まれるエッジ成分x1、x2およびx3はほぼ垂直であるものとする。また、図4(b)では、時刻t1における動体被写体Smの位置を実線で、時刻t2における動体被写体の位置を破線で、時刻t3における動体被写体の位置を一点鎖線で示す。
ローリングシャッタ方式により、時刻t2(=t1+T)においては、撮像素子14のうち、第2行目の画素行に含まれる画素141から画素信号が読み出される。しかし、時刻t1から時刻t2までの間に、動体被写体Smのエッジ成分x2は、位置x2’まで移動している。さらに、時刻t3(=t2+T)においては、第3行目の画素行に含まれる画素141から画素信号が読み出されるが、動体被写体Smのエッジ成分x3は、位置x3”まで移動している。したがって、撮影画像上では、動体被写体Smに対応する領域(動体領域)R1は、図4(c)に示すように垂直方向が歪んだ形状となる。このように、動体被写体Smに対応する動体領域R1の垂直方向に発生する歪みをローリングシャッタ歪みと呼ぶ。
図4(d)は、図4(c)に示すローリングシャッタ歪みが発生した動体領域R1が補正され補正後動体領域R1’が生成された状態を示す。なお、図4(d)では、動体領域R1を破線、補正後動体領域R1’を実線で示す。図4(d)に示すように補正後動体領域R1’のエッジ成分x1、x2、x3がほぼ垂直となる。しかし、ローリングシャッタ歪みが補正されると、図4(d)において斜線で示す領域R2、すなわち補正後動体領域R1’に対する動体領域R1の差異部分に対応する画像データが存在しなくなる。これは、差異部分R2は撮像時に動体被写体Smの背後に隠れていた背景に相当するためである。差異部分R2は周辺領域の画像データや、異なるフレームの画像データに基づいて補間される。
以下、本実施の形態におけるデジタルカメラ1によるローリングシャッタ歪みの補正および差異部分R2の補間処理について詳細に説明する。デジタルカメラ1は差異部分R2が図4(d)に示すように一つのまとまった領域となることを防ぐために、図4を用いて説明したローリングシャッタ方式とは異なるローリングシャッタ方式で撮像素子14から画像信号を出力させる。
以下、ユーザの操作部30の操作に応じて、動画撮影モードが設定された場合について説明する。本実施の形態においては、動画撮影モードが設定されると、制御回路18は、クイックリターンミラー10を図1の破線で示す位置へ回動し、撮影レンズL1を通過した被写体光が撮像素子14に導かれるようにする。さらに、読出指示部181は、タイミングジェネレータ17に指示して、撮像素子14をローリングシャッタ方式により駆動させて、撮像素子14から画像信号を出力させる。このとき、読出指示部181は、画像信号の読み出し周期(フレームレート)を、たとえば1/30[s]に設定する。
図5の撮像素子14を構成する全画素141と、画像信号の読み出しタイミングとの関係を示す図を参照しながら、本実施の形態におけるローリングシャッタ方式について説明する。図5では、横軸を時間軸t、撮像素子14の水平方向(画素列方向)をx軸、垂直方向(画素行方向)をy軸とする。なお、本実施の形態では、説明を簡単にするため、撮像素子14は、第1行目の画素行Line(1)から第3n行目の画素行Line(3n)によって構成されているものとする。
読出指示部181は、第1行目の画素行Line(1)から所定の画素行間隔(たとえば3行間隔)ごとの画素行Line(3n−2)に含まれる画素141に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line(1)、Line(4)、・・・、Line(3n−2)から出力された画像信号を第1画像信号群と呼び、第1画像信号群を出力する場合を第1読出順次と呼ぶ。図5では、第1読出順次で出力された第1画像信号群を斜線領域で示す。
読出指示部181は、第2行目の画素行Line(2)から3行の画素行間隔ごとの画素行Line(3n−1)に含まれる画素行141に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line(2)、Line(5)、・・・、Line(3n−1)から出力された画像信号を第2画像信号群と呼び、第2画像信号群を出力する場合を第2読出順次と呼ぶ。図5では、第2読出順次で出力された第2画像信号群を縦線領域で示す。さらに、読出指示部181は、第3行目の画素行Line(3)から3行の画素行間隔ごとの画素行Line(3n)に含まれる画素行141に対して、電荷蓄積および画像信号の出力を行わせる。以下の説明では、画素行Line(3)、Line(6)、・・・、Line(3n)から出力された画像信号を第3画像信号群と呼び、第3画像信号群を出力する場合を第3読出順次と呼ぶ。図5では、第3読出順次で出力された第3画像信号群をドット領域で示す。なお、出力される画像信号群は第1〜第3画像信号群までに限定されるものではなく、撮像素子14を構成する画素行の数、各読出順次における画素行間隔に応じて決定される。
図5に示すように、読出指示部181は、時刻t0で撮像素子14から第1順次にて画像信号を出力させる。すなわち、読出指示部181は、時刻t0で第1行目の画素行Line(1)に含まれる各画素141をリセットさせる。このとき各画素141に含まれる図示しないフローティングディフュージョンにはリセット電圧が基準電圧に達するまで電圧が印加される。そして、所定時間Tが経過した時刻t1で、読出指示部181は、画素141に含まれる図示しないトランスファーゲートスイッチをオンさせる。その結果、画素141の図示しないフォトダイオードで光電変換された電荷がフローティングディフュージョンへ転送され、フローティングディフュージョンに蓄積される。すなわち、フォトダイオードで光電変換された電荷(輝度レベル)が電圧に変換される(電荷蓄積)。画素141における電荷蓄積は、露光時間の期間行われる。
画素行Line(1)に含まれる画素141に対する電荷蓄積が開始された時刻t1では、読出指示部181は、第4行目の画素行Line(4)に含まれる各画素141をリセットさせる。そして、所定時間Tが経過した時刻t2で、読出指示部181は、画素行Line(1)の場合と同様にして、画素行Line(4)に含まれる画素141に電荷蓄積を開始させる。このとき、読出指示部181は、画素行(7)に含まれる各画素141をリセットさせる。上記の動作が第(3n−2)行目の画素行Line(3n−2)まで繰り返される。
図5に示すように、時刻t4で上記の第(3n−2)行目の画素行Line(3n−2)に含まれる画素141のリセットが終了すると、読出指示部181は、撮像素子14から第2読出順次による画像信号の読出しを開始させる。すなわち、読出指示部181は、時刻t4で第2行目の画素行Line(2)に含まれる各画素141をリセットさせる。この場合も、読出指示部181は、第1読出順次と同様にして、時刻t4から所定時間Tごとに画素行Line(2)から3行間隔ごとの画素行に含まれる画素141に対してリセットを開始させる。上記の動作が第(3n−1)行目の画素行Line(3n−1)まで繰り返される。
時刻t8で上記の第(3n−1)行目の画素行Line(3n−1)に含まれる画素141のリセットが終了すると、読出指示部181は、撮像素子14から第3読出順次による画像信号の読出しを開始させる。すなわち、読出指示部181は、時刻t8で第3行目の画素行Line(3)に含まれる各画素141をリセットさせる。この場合も、読出指示部181は、第1、第2読出順次と同様にして、時刻t8から所定時間Tごとに画素行Line(3)から3行間隔ごとの画素行に含まれる画素141に対してリセットを開始させる。上記の動作が第3n行目の画素行Line(3n)まで繰り返される。
なお、第1読出順次〜第3読出順次までの間で、リセットを開始する時刻(読出開始時刻)が時間的に中心となる読出順次を基準順次と呼称する。本実施の形態では、第2読出順次が基準順次となる。また、基準読出順次によって出力された画像信号群、すなわち第2画像信号群を基準画像信号群と呼ぶ。
上述したように、第1〜第3読出順次で出力された第1〜第3画像信号群は、A/D変換回路16を介して制御回路18に入力される。そして、画像処理部182は、入力した第1〜第3画像信号群を用いて1つの画像データを生成する。以後、画像処理部182は、上述したフレームレートごとに第1〜第3読出順次で撮像素子14から出力された第1〜第3画像信号群を用いて、1つのフレームの画像データを生成する。以下では、第mフレーム目の画像データをF(m)として説明を行うものとする。なお、画像処理部182は、第1〜第3画像信号群のそれぞれを入力するごとに、逐次表示用画像データを生成してLCD駆動回路19に出力し、液晶表示器191に動画像を表示させる。すなわち、1フレームの画像データの取得が行われる際に、第1画像信号群に対応する画像と、第2画像信号群に対応する画像と、第3画像信号群に対応する画像とが時間的に連続して液晶表示器191に表示される。
画像データが生成されると、検出部182aは、加速度センサ20から出力された加速度信号と複数フレームの画像データとを用いて動き検出処理を行う。以下、検出部182aによる動き情報の検出処理について詳細に説明する。なお、以下の説明で用いる第1閾値および第3閾値は、ローリングシャッタ方式に伴って撮影画像上に発生するローリングシャッタ歪みの影響が顕著になることを示す値である。また、第2閾値および第4閾値は、たとえば露光時間(電荷蓄積時間)に対してパンニング操作の速度が高速であったり、デジタルカメラ1に対する主要被写体の動きが高速であるために、撮影画像にボケが発生することを示す値である。これらの第1〜第4閾値は予め実験等に基づいて設定され、図示しない所定のメモリに格納されているものとする。
まず、加速度センサ20から入力した加速度信号を用いた処理から説明する。検出部182aは、加速度センサ20から入力した加速度信号に基づいて、デジタルカメラ1に発生している加速度の値が所定の第1閾値以上か否かを判定する。加速度の値が第1閾値以上の場合は、検出部182aは、たとえばユーザによるパンニング操作等に伴って撮影画像の全体に動きが発生していることを検出する。加速度の値が第1閾値未満の場合は、検出部182aは、ユーザによるパンニング操作等が行われておらず、撮影画面の全体に対する動きが生じていないことを検出する。また、検出部182aは、加速度の値が第1閾値よりも大きい第2閾値以上であることを検出した場合は、ユーザによるパンニング操作が高速で行われていることを検出する。
さらに、検出部182aは、入力した加速度信号に基づいて、撮影画面全体のx軸方向における移動速度を算出する。このとき、検出部182aは、デジタルカメラ1に加わる速度を、撮影画面上における1つの画素行(水平走査線一本)での所定時間T当たりの移動量(画素数)に換算して算出する。
次に、複数フレームの画像データを用いて撮影画像上の動体被写体の有無を検出する処理について説明する。この場合、検出部18cは、少なくとも第(m−1)フレーム目の画像データF(m−1)および第mフレーム目の画像データF(m)に基づいて、公知のパターンマッチング等を用いて動きベクトルを算出する。検出部182aは、図6に示すように、撮像素子14に含まれる画素のうち、たとえば16×16画素に対応するデータを1つのブロックBとみなし、画像データを複数のブロックB1、B2、・・・Bkに分割する。
検出部182aは、図6(a)に示す画像データF(m)と図6(b)に示す画像データF(m−1)と間で、それぞれ対応するブロックBk(1≦k≦m)間の差分を演算し、図6(c)に示す差分画像データを取得する。図6(c)において、太線で囲む領域r1およびr2が画像データF(m)とF(m−1)との間で変化があった、すなわち動体被写体に対応するブロックBを含む領域である。そして、検出部182aは、領域r1に含まれるブロックBと領域r2に含まれるブロックBとの間で動きベクトルを算出する。さらに、検出部182aは、取得した差分画像データに対応する差分画像の動きベクトルに基づいて、差分画像のx軸方向における移動速度を算出する。このとき、検出部182aは、差分画像の移動速度を、1つの画素行(水平走査線一本)における所定時間T当たりの移動量(画素数)として算出する。
検出部182aは、算出された動きベクトルの大きさが、第3閾値以上か否かを判定する。なお、第3閾値はユーザによる操作部30の操作に応じて任意の値に設定可能な構成とする。そして、検出部182aは、動きベクトルの大きさが第3閾値以上のブロックBを含む所定領域を動体被写体に対応する領域(動体領域)として検出する。検出部18cは、動きベクトルの大きさが第3閾値未満のブロックBを含む領域については、動体領域として検出しない。さらに、検出部182aは、動きベクトルの大きさが第3閾値よりも大きい第4閾値以上のブロックBを含む領域を、高速に移動する動体被写体に対応する領域として検出する。
以上のようにして行われた動き検出処理の結果に基づいて、検出部182aは、撮影画像について以下の(1)〜(4)の動き情報を検出する。検出された動き情報に基づいて、後述する判定部182bは、動体領域のローリングシャッタ歪み補正および差異部分の補間の要否を決定する。
(1)主要被写体と背景被写体とに動きなし
(2)主要被写体が動体被写体
(3)主要被写体と背景被写体とに動き有り
(4)少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速
(1)主要被写体と背景被写体とに動きなし
(2)主要被写体が動体被写体
(3)主要被写体と背景被写体とに動き有り
(4)少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速
(1)主要被写体と背景被写体とに動きなし
検出部182aは、加速度センサ20から出力された加速度の値が第1閾値未満、かつ複数フレームの画像データに基づいて算出した動きベクトルの大きさが第3閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きなしであることを検出する。すなわち、検出部182aは、ユーザによってパンニング操作等が行われていないので撮影画面の全体に動きが発生せず、かつ動体被写体も存在しないと検出する。この場合は、ローリングシャッタ歪みが発生せず、その結果、差異部分も発生しないので、判定部182bは、ローリングシャッタ歪みの補正および差異部分の補間は不要と判定する。
検出部182aは、加速度センサ20から出力された加速度の値が第1閾値未満、かつ複数フレームの画像データに基づいて算出した動きベクトルの大きさが第3閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きなしであることを検出する。すなわち、検出部182aは、ユーザによってパンニング操作等が行われていないので撮影画面の全体に動きが発生せず、かつ動体被写体も存在しないと検出する。この場合は、ローリングシャッタ歪みが発生せず、その結果、差異部分も発生しないので、判定部182bは、ローリングシャッタ歪みの補正および差異部分の補間は不要と判定する。
(2)主要被写体が動体被写体
検出部182aは、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第3閾値以上第4閾値未満の場合に、動き情報として、主要被写体が動体被写体であることを検出する。なお、検出部182aは、加速度センサ20から出力された加速度の値に基づく検出結果を加味してもよい。すなわち、加速度センサ20から出力された加速度の値が第1閾値未満、かつ動きベクトルの大きさが第3閾値以上第4閾値未満の場合に、検出部182aは、主要被写体には動きがあるが、ユーザによってパンニング操作等が行われていないので背景被写体には動きがないことを検出すればよい。この場合は、動体領域にローリングシャッタ歪みが発生し、その結果、差異部分も発生するので、判定部182bは、ローリングシャッタ歪みの補正および差異部分の補間が必要と判定する。
検出部182aは、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第3閾値以上第4閾値未満の場合に、動き情報として、主要被写体が動体被写体であることを検出する。なお、検出部182aは、加速度センサ20から出力された加速度の値に基づく検出結果を加味してもよい。すなわち、加速度センサ20から出力された加速度の値が第1閾値未満、かつ動きベクトルの大きさが第3閾値以上第4閾値未満の場合に、検出部182aは、主要被写体には動きがあるが、ユーザによってパンニング操作等が行われていないので背景被写体には動きがないことを検出すればよい。この場合は、動体領域にローリングシャッタ歪みが発生し、その結果、差異部分も発生するので、判定部182bは、ローリングシャッタ歪みの補正および差異部分の補間が必要と判定する。
(3)主要被写体と背景被写体とに動き有り
検出部182aは、加速度センサ20から出力された加速度の値が第1閾値以上第2閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きがあることを検出する。すなわち、ユーザによってパンニング操作等が行われているので、検出部182aは、主要被写体と背景被写体とを加えた撮影画像全体に動きがあることを検出する。この場合は、撮影画面の全体にローリングシャッタ歪みが発生するので、判定部182bは、ローリングシャッタ歪みの補正が必要と判定する。
検出部182aは、加速度センサ20から出力された加速度の値が第1閾値以上第2閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きがあることを検出する。すなわち、ユーザによってパンニング操作等が行われているので、検出部182aは、主要被写体と背景被写体とを加えた撮影画像全体に動きがあることを検出する。この場合は、撮影画面の全体にローリングシャッタ歪みが発生するので、判定部182bは、ローリングシャッタ歪みの補正が必要と判定する。
なお、検出部182aは、複数フレームの画像データに基づいて算出した動きベクトルの大きさに基づく検出結果を加味してもよい。この場合、検出部182aは、加速度センサ20から出力された加速度の値が第1閾値以上第2閾値未満、かつ複数フレームの画像データに基づいて算出した動きベクトルの大きさが第3閾値以上第4閾値未満の場合に、動き情報として、主要被写体と背景被写体とに動きがあることを検出すればよい。このとき、たとえばユーザによりパンニング操作が行われ、かつパンニング操作の速度とは異なる速度で移動する動体被写体の動きを検出できる。この場合は、動体領域と背景領域とにそれぞれローリングシャッタ歪みが発生し、その結果、差異部分も発生するので、判定部182bは、ローリングシャッタ歪みの補正および差異部分の補間が必要と判定する。
(4)少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速
検出部182aは、加速度センサ20から出力された加速度の値が第2閾値以上の場合に、または、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第4閾値以上の場合、動き情報として、少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速であることを検出する。すなわち、検出部182aは、ユーザによって高速にパンニング操作が行われている状態、または高速移動中の動体被写体が撮影されていることを検出する。この場合、判定部182bはローリングシャッタ歪みの補正および差異部分の補間を不要と判断する。このとき、画像処理部182は、第1および第3画像信号群を破棄し、第2画像信号群、すなわち基準画像信号群のみを用いて1フレーム分の画像データを生成する。その結果、撮像素子14から画像信号が3画素行の間隔で間引き読み出しされた場合と同等となるので、ローリングシャッタ歪みの発生程度が抑制される。
検出部182aは、加速度センサ20から出力された加速度の値が第2閾値以上の場合に、または、複数フレームの画像データに基づいて算出した動きベクトルの大きさが第4閾値以上の場合、動き情報として、少なくとも主要被写体と背景被写体の一方に動きがあり、その動きが高速であることを検出する。すなわち、検出部182aは、ユーザによって高速にパンニング操作が行われている状態、または高速移動中の動体被写体が撮影されていることを検出する。この場合、判定部182bはローリングシャッタ歪みの補正および差異部分の補間を不要と判断する。このとき、画像処理部182は、第1および第3画像信号群を破棄し、第2画像信号群、すなわち基準画像信号群のみを用いて1フレーム分の画像データを生成する。その結果、撮像素子14から画像信号が3画素行の間隔で間引き読み出しされた場合と同等となるので、ローリングシャッタ歪みの発生程度が抑制される。
上述した判定部182bによる判定処理が終了すると、補正部182cは、判定結果に基づいて、画像データに対してローリングシャッタ歪みの補正を行い、補間部182dは差異部分の補間処理を行う。以下、補正部182cによる第mフレーム目の画像データF(m)に対するローリングシャッタ歪みの補正、および差異部分の補間処理について詳細に説明する。
(1)ローリングシャッタ歪み補正処理
図7の動体領域に対応する画像信号と、画像信号を出力した画素行と、画像信号の読出し開始時刻との関係を示す図を参照しながら、補正部182cによる画像データF(m)のローリングシャッタ歪みの補正について説明する。図7(a)は、動体被写体Smがデジタルカメラ1に対してx軸方向(矢印Ar2)へ移動している状態を示している。
図7の動体領域に対応する画像信号と、画像信号を出力した画素行と、画像信号の読出し開始時刻との関係を示す図を参照しながら、補正部182cによる画像データF(m)のローリングシャッタ歪みの補正について説明する。図7(a)は、動体被写体Smがデジタルカメラ1に対してx軸方向(矢印Ar2)へ移動している状態を示している。
図7(b)は、上記の動体被写体Smに対応する動体領域R3が撮影画像上で占有する位置を示す。上述したように、撮像素子14は第1〜第3読出順次で第1〜第3画像信号群を出力しているので、ローリングシャッタ歪みが発生した動体領域R3は、図7(b)に示すように、垂直方向がジグザグとなった形状を有する。
図7(b)においては、ローリングシャッタ歪みが発生していないと仮定した場合の動体領域の符号をR3’とし、破線で示している。また、動体領域R3のうち、斜線で示す領域は第1画像信号群に対応する画像データ、縦線で示す領域は第2画像信号群に対応する画像データ、ドットで示す領域は第3画像信号群に対応する画像データであることを示す。さらに、図7(b)では、第1画像信号群に対応する画像データ(第1画像データ)をD1とし、動体領域R3を構成する画像データD1のうち最上部の画素行から順次D1(1)、D1(2)、・・・、D1(7)として示す。第2画像信号群に対応する第2画像データをD2、第3画像信号群に対応する第3画像データをD3とし、同様にD2(1)、D2(2)、・・・、D2(7)、D3(1)、D3(2)、・・・、D3(7)として示す。また、図7(b)の時刻t’は、各画像データD1〜D3に対応する第1画像信号群〜第3画像信号群の読出開始時刻に対応する。
補正部182cは、画像処理によりローリングシャッタ歪みを補正することで、動体領域R3を動体領域R3’に合致させる。このとき、補正部182cは、基準画像信号群に対応する画像データ(第2画像データD2)のうち読出開始時刻が時間的に中心となる時刻t8’を基準時刻tsとする。補正部182cは、撮像素子14の走査線一本、すなわち1つの画素行当たりの歪み量を、一行の画素行における画像信号の読み出し時間、すなわち読出開始時刻と基準時刻tsとの差分時間と、動体領域の移動速度とを積算することにより算出する。たとえば動体領域R3の移動速度がVとして検出部182aにより算出されている場合には、補正部182cは第1画像データD1(1)の差分時間を(ts−t1’)と算出する。そして、補正部182cは、歪み量を((ts−t1’)×V)画素として算出する。
補正部182cは、画像データF(m)内の動体領域R3において、撮像素子14の各画素行に対応する画像データを、差分時間が正の場合は動体領域R3の移動方向と同方向(図7では+x方向)に歪み量だけ移動させる。また、差分時間が負の場合は、補正部182cは、撮像素子14の各画素行に対応する画像データ動体領域R3の移動方向と逆方向(図7では−x方向)に歪み量だけ移動させる。動体領域R3に含まれる全ての画素行についても同様の処理を行い、補正部182cは、動体領域R3内のローリングシャッタ歪みを補正する。その結果、図7(c)に示すように、動体領域R3の形状は動体領域R3’の形状と合致した歪み抑制された形状を有する補正後動体領域R3”が生成される。
(2)差異部分の補間処理
上述したようにローリングシャッタ歪みが補正されると、図7(c)において黒色で示す領域R4が画像データの存在しない差異部分となる。すなわち、差異部分R4は、撮像素子14が電荷蓄積を行っている際に動体被写体Smの背後に隠れていた背景被写体に対応する。補間部182dは、この差異部分R4を周辺の画素に対応する画像データを用いて、補間する。
上述したようにローリングシャッタ歪みが補正されると、図7(c)において黒色で示す領域R4が画像データの存在しない差異部分となる。すなわち、差異部分R4は、撮像素子14が電荷蓄積を行っている際に動体被写体Smの背後に隠れていた背景被写体に対応する。補間部182dは、この差異部分R4を周辺の画素に対応する画像データを用いて、補間する。
図8を参照しながら、補間部182dによる補間処理の詳細を説明する。図8(a)は、図7(c)の一点鎖線で囲んだ領域Zを拡大して示す図である。図8(a)に示す領域Zには、8列の画素列C1〜C8と、8行の画素行Db、D1(1)〜D1(3)、D2(1)〜D2(2)、D3(1)〜D3(2)とからなる8×8画素が含まれる。なお、画素行Dbは、画素行D1(1)よりも1行上部に位置する画素行を示す。すなわち、画素行Dbには動体領域R3が存在しないので、差異部分R4が存在しない。また、図8の斜線で示す領域は差異部分R4を、ドットで示す領域は補正後動体領域R3”を示す。さらに、領域Zに含まれる画素を、画素行ごとに符号Pdb(1)〜Pdb(8)、Pd1(1)〜Pd1(8)、Pd2(1)〜Pd2(8)、Pd3(1)〜Pd3(8)、Pd4(1)〜Pd4(8)、Pd5(1)〜Pd5(8)、Pd6(1)〜Pd6(8)およびPd7(1)〜Pd7(8)を付して示す。
補間部182dは、差異部分R4に含まれる画素を補間する場合、差異部分R4に含まれない画素のうち、上下方向(±Y方向)に最も近傍に位置する画素を用いる。換言すると、補間部182dは、差異部分R4に対応する第1画像信号群の画像データD1を補間する場合、第1画像信号群以外の第2および第3画像信号群に対応する画像データD2、D3を用いて補間する。たとえば、画素Pd1(7)の画素を補間する場合、補間部182dは、画素Pdb(7)およびPd3(7)を用いる。また、画素Pd1(3)の画素を補間する場合は、補間部182dは、画素Pdb(3)およびPd2(3)を用いる。さらに、補間部182dは、差異部分R4に対応する第2画像信号群の画像データD2を補間する場合、第2画像信号群以外の第1および第3画像信号群に対応する画像データD1、D3を用いて補間する。たとえば、画素Pd2(7)の画素を補間する場合、補間部182dは、画素Pdb(7)およびPd3(7)を用いる。補間部182dは、補間方法として、たとえば公知のバイキュービック補間や隣接画素の平均値で置換する線形補間、最近傍の画素で置換する最近隣補間等の画像データを拡大する際に用いられる各種の補間方法を使用する。
上述した補間処理が行われた結果、図8(b)に示すように、ローリングシャッタ歪みが補正され、かつ差異部分R4が補間された画像データF_h’(m)が補間部182dにより生成される。ここで、補間部182dは、動体領域R3”の近傍の領域、すなわち上述した補間処理によって画像データが生成された画素を含む所定範囲を比較領域R5として抽出する。
補間部182dは、比較領域R5を抽出すると、公知のパターンマッチング処理を用いて、たとえば前フレームの画像データF(m−1)から比較領域R5に類似する領域を比較対象領域として抽出する。そして、補間部182dは、画像データF_h’(m)から抽出した比較領域R5と、画像データF(m−1)から抽出した比較対象領域との差分を演算する。
補間部182dは、算出された差分が予め設定された第5閾値以上か否かを判定する。差分が第5閾値以上の場合は、画像データF(m)上で補間により生成された領域の画像が、画像データF(m−1)上で相当する領域の画像との類似度が低いことになる。補間部182dは、差分が第5閾値以上の場合は、画像データF(m)の比較領域R5に対応する画像データを、画像データF(m−1)の比較対象領域に対応する画像データで置換して、補正処理および補間処理が施された画像データF_h(m)とする。差分が第5閾値未満の場合は、画像データF(m)上で補間により生成された領域の画像と、画像データF(m−1)の相当する領域の画像との間での類似度が高いことになる。この場合、補間部182dは、上記のような置換を行わない。すなわち、補間部182dは、同一の画像データF(m)上の補間処理で生成された画像データF_h’(m)を、ローリングシャッタ歪み補正および補間処理が施された画像データF_h(m)とする。
なお、1つ前のフレームの画像データから比較対象領域を抽出するものに限定されず、たとえば動体被写体が高速の場合や、デジタルカメラ1のメモリ容量が多い場合、制御回路18の処理速度が高速の場合には、複数フレームの画像データを用いて上記処理を行ってもよい。また、パターンマッチング処理により、比較領域R5に類似する領域が検出されない場合は、補間部182dは上記の処理を行わないものとする。
ローリングシャッタ歪みが補正され、補間処理が施された画像データF_h(m)は、画像処理部182による上述した画像処理や画像記録部183による圧縮処理が施される。そして、画像記録部183は、メモリカードインタフェース31を介して画像データF_h(m)を動画像データとしてメモリカード32に記録される。
図9のフローチャートを参照しながら、デジタルカメラ1による動画撮影モードにおける動作を説明する。図9の処理を行うプログラムは制御回路18内の図示しないメモリに格納されており、操作部30により動画撮影モードが設定された状態で、ユーザのレリーズボタンの操作に応じて撮影開始を指示する信号が入力されると制御回路18により起動され、実行される。
ステップS101では、画像データF(m)の生成用に、撮像素子14から第1〜第3画像信号群を出力させてステップS102へ進む。ステップS102では、加速度センサ20からの加速度信号と、画像データF(m−1)およびF(m)とを用いて動き情報を検出してステップS103へ進む。ステップS103では、ステップS102での検出結果に基づいて、画像データから動き情報を検出したか否か、すなわち、上述した主要被写体が動体被写体、主要被写体と背景被写体とに動き有り、少なくとも動体被写体と背景被写体との一方が高速で移動のいずれかを検出したかを判定する。動き情報が検出された場合は、ステップS103が肯定判定されてステップS104へ進む。動き情報が検出されていない場合は、ステップS103が否定判定されてステップS110へ進み、第1〜第3画像信号群を用いて画像データF(m)を生成しメモリカード32へ記録して後述するステップS112へ進む。
ステップS104では、動体被写体と背景被写体との少なくとも一方が高速で移動しているか否か判定する。動体被写体と背景被写体との少なくとも一方が高速で移動している場合は、ステップS104が肯定判定されてステップS111へ進む。ステップS111では、第2画像信号群(すなわち基準画像信号群)を用いて画像データF(m)を生成してメモリカード32に記録させて後述するステップS112へ進む。動体被写体と背景被写体とが高速で移動していない場合には、ステップS104が否定判定されてステップS105へ進む。
ステップS105では、背景被写体に動きが検出されているか、すなわち、画像データ全体に動きが発生しているか否かを判定する。背景被写体に動きが検出されている場合には、ステップS105が肯定判定されてステップS106へ進む。ステップS106では、画像データにローリングシャッタ歪みの補正処理を施して画像データF_h(m)を生成して、ステップS109へ進む。背景被写体に動きが検出されていない場合には、ステップS105が否定判定されてステップS107へ進む。
ステップS107では、動体領域にローリングシャッタ歪みの補正処理を施してステップS108へ進む。ステップS108においては、ステップS107におけるローリングシャッタ歪みの補正処理で発生した差異部分に対して補間処理を施し、画像データF_h(m)を生成してステップS109へ進む。
ステップS109では、ステップS106またはステップS108で生成した画像データF_h(m)をメモリカード32に記録してステップS112へ進む。ステップ112では、動画撮影モードが終了されたか否かを判定する。ユーザのレリーズボタンの操作に応じて、操作部30から動画撮影の終了を指示する信号が入力された場合には、ステップS112が肯定判定されて処理を終了する。動画撮影の終了を指示する信号を入力しない場合には、ステップS112が否定判定されてステップS101へ戻る。
以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
(1)撮像素子14は、行列状に配置された複数の画素141を有し、被写体の像を画素行単位で撮像して画像データを出力する。読出指示部181は、第1行目の画素行Line(1)から所定の行間隔である3行間隔ごとにローリングシャッタ方式により第1画像信号群を読み出す第1読出順次と、第2行目の画素行Line(2)から3行間隔ごとにローリングシャッタ方式で第2画像信号群を読み出す第2読出順次と、第3行目の画素行Line(3)から3行間隔ごとにローリングシャッタ方式で第3画像信号群を読み出す第3読出順次とを実行し、撮像素子14に含まれる全ての画素141について画像信号を読み出して、画像処理部182は1フレーム分の画像データF(m)を生成する。検出部182aは、1フレーム分の画像データF(m)から被写体の動体部分に関する動体領域を検出し、補正部182cは、ローリングシャッタ方式に起因して発生した動体領域の歪みを補正して、補正後動体画像データ領域を生成する。そして、補間部182dは、補正部182cにより生成された補正後動体領域に対する動体領域の差異部分に関する画像データを次のようにして補間するようにした。すなわち、補間部182dは、第1読出順次によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第2読出順次によって読み出された差異部分以外に対応する画素の画像データによって補間するようにした。その結果、同一フレームの画像に対応する画像データのうち、異なる読出順次で出力された画像信号群を用いて差異部分が補間されるので、補間精度を向上された高画質の画像を得ることができる。
(1)撮像素子14は、行列状に配置された複数の画素141を有し、被写体の像を画素行単位で撮像して画像データを出力する。読出指示部181は、第1行目の画素行Line(1)から所定の行間隔である3行間隔ごとにローリングシャッタ方式により第1画像信号群を読み出す第1読出順次と、第2行目の画素行Line(2)から3行間隔ごとにローリングシャッタ方式で第2画像信号群を読み出す第2読出順次と、第3行目の画素行Line(3)から3行間隔ごとにローリングシャッタ方式で第3画像信号群を読み出す第3読出順次とを実行し、撮像素子14に含まれる全ての画素141について画像信号を読み出して、画像処理部182は1フレーム分の画像データF(m)を生成する。検出部182aは、1フレーム分の画像データF(m)から被写体の動体部分に関する動体領域を検出し、補正部182cは、ローリングシャッタ方式に起因して発生した動体領域の歪みを補正して、補正後動体画像データ領域を生成する。そして、補間部182dは、補正部182cにより生成された補正後動体領域に対する動体領域の差異部分に関する画像データを次のようにして補間するようにした。すなわち、補間部182dは、第1読出順次によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第2読出順次によって読み出された差異部分以外に対応する画素の画像データによって補間するようにした。その結果、同一フレームの画像に対応する画像データのうち、異なる読出順次で出力された画像信号群を用いて差異部分が補間されるので、補間精度を向上された高画質の画像を得ることができる。
(2)補間部182d、第1読出順次によって読み出された差異部分に対応する画素に関する画像データを、少なくとも第2読出順次によって読み出された差異部分以外に対応する画素であって、第1読出順次によって読み出された差異部分に対応する画素の最近傍の画素の画像データによって補間するようにした。したがって、ローリングシャッタ歪みの補正にともない画像データが存在しない画素を、その画素の最近傍に設けられた画素の画像データを用いて補正できるので補間精度を向上させることができる。
(3)補間部182dは、補正後動体領域に対する動体領域の差異部分に関する補間後の比較領域の画像データと、異なるフレームの画像データF(m−1)における、差異領域に対する比較対象領域の画像データとを比較して類似度を算出する。そして、補間部182dは、類似度が低い場合には補間後の比較領域の画像データを、異なるフレームの画像データF(m−1)の比較対象領域の画像データに置き換えるようにした。すなわち、同一フレーム内の画像データF(m)を用いて補間された領域の補間精度が低い場合は、異なるフレームの画像データF(m−1)のうちの対応する領域によって置き換えるようにした。したがって、差異部分の補間精度を向上させて画質の向上に寄与することができる。
(4)判定部182bは、動体領域の動きが所定の速度(第4閾値)を超えるか否かを判定する。そして、判定部182bにより動体領域の動きが第4閾値を超えると判定された場合には、補正部182cはローリングシャッタ歪みの補正を禁止し、補間部182dは差異部分に関する画像データの補間を禁止するようにした。この場合、画像処理部182は、複数の読出順次で出力された複数の画像信号群のうちの1つの読出動作により撮像素子14から出力された画像信号群、すなわち基準画像信号群を用いて1フレーム分の画像データF(m)を生成するようにした。したがって、画像処理によるローリングシャッタ歪みの補正効果が得られない場合には、補正部182cによる処理を行わないので処理負荷を低減できる。また、この場合、画像生成部182は、基準画像信号群(第2画像信号群)を用いて1フレームの画像データF(m)を生成する、すなわち3画素行間隔の間引き読出しにより出力された画像信号群に基づいて画像データを生成するので、動体領域に対するローリングシャッタ歪みの発生を抑制することができる。
以上で説明した実施の形態によるデジタルカメラを、以下のように変形できる。
(1)補正部182cによるローリングシャッタ歪みの補正とそれに伴う補間部182dによる差異部分の補間処理は動画撮影モードが設定された場合に限定されるものではない。たとえば、静止画撮影モードが設定されたときに、撮影画像の画質や画像サイズが小さく設定されている場合には、補正部182cおよび補間部182dが上述の処理を行うことができる。
(1)補正部182cによるローリングシャッタ歪みの補正とそれに伴う補間部182dによる差異部分の補間処理は動画撮影モードが設定された場合に限定されるものではない。たとえば、静止画撮影モードが設定されたときに、撮影画像の画質や画像サイズが小さく設定されている場合には、補正部182cおよび補間部182dが上述の処理を行うことができる。
(2)ライブビューモードが設定され液晶表示器191にライブビュー画像を表示する場合には、画像処理部182は、ローリングシャッタ歪みを補正しない、または補正精度を落として表示用画像データを生成すればよい。この場合、補正部182は、たとえば第1画像信号群のみを用いて表示用画像データを生成すればよい。この結果、上述した補間処理を伴わないので、ライブビューモード時の処理負荷を低減することができる。
(3)動体領域の移動速度に応じて、撮像素子14が各画像信号群を出力するための画素行の間隔を変更可能にしてもよい。すなわち、動体領域の移動速度が高速であれば画素行の間隔を大きくし、動体領域の移動速度が低速であれば画素行の間隔を狭くすればよい。たとえば、第mフレーム目の画像データにおいて動体領域の移動速度が所定の第1速度閾値以上であれば、第(m+1)フレーム目の画像データを生成する際に、読出指示部181は、撮像素子14に対して、画素行の間隔を3行から5行間隔に変更して各画像信号群を出力させる。この場合、撮像素子14が出力する画像信号群の数は画素行が3行間隔の場合、すなわち第1〜第3画像信号群を出力する場合よりも増加する。また、第mフレーム目の画像データにおいて動体領域の移動速度が所定の第2速度閾値(<第1速度閾値)未満であれば、第(m+1)フレーム目の画像データを生成する際に、読出指示部181は、撮像素子14に対して、画素行の間隔を3行から2行間隔に変更して各画像信号群を出力させる。この場合、撮像素子14が出力する画像信号群の数は画素行が3行間隔の場合、すなわち第1〜第3画像信号群を出力する場合よりも減少する。
(4)補正部182cは、差異部分R4に対応する第1画像信号群の画像データD1を補間する場合、第1画像信号群とは異なる第2および第3画像信号群に対応する画像データD2、D3を用いて補間するものに代えて、第1〜3画像信号群に対応する画像データD1〜D3を用いて補間してもよい。たとえば、図8(a)の差異部分R4内の第1画像データD1(2)に含まれる画素Pd4(2)を補間する場合、第3画像データD3(1)に含まれる画素Pd3(2)および第2画像データD2(2)に含まれる画素Pd5(2)に加えて、第1画像データD1(2)に含まれる画素Pd4(1)を用いることができる。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
14・・・撮像素子、 18・・・制御回路、 20・・・加速度センサ、
141・・・画素、 181・・・読出指示部、 182・・・画像処理部、
182a・・・検出部、 182b・・・判定部、 182c・・・補正部、
182d・・・補間部
141・・・画素、 181・・・読出指示部、 182・・・画像処理部、
182a・・・検出部、 182b・・・判定部、 182c・・・補正部、
182d・・・補間部
Claims (10)
- 行列状に配置された複数の画素を有し、被写体の像を画素行単位で撮像して画像データを出力する撮像素子と、
第1の画素行から所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第1の読出動作と、第2の画素行から前記所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第2の読出動作とを少なくとも実行し、前記撮像素子に含まれる全ての画素について前記画像データを読み出して、1フレーム分の画像データを生成する画像生成手段と、
前記1フレーム分の画像データから前記被写体の動体部分に関する動体画像データ領域を検出する検出手段と、
ローリングシャッタ方式に起因して発生した前記動体画像データ領域の歪みを補正して、補正後動体画像データ領域を生成する補正手段と、
前記補正手段により生成された前記補正後動体画像データ領域に対する前記動体画像データ領域の差異部分に関する画像データを補間する補間手段とを備え、
前記補間手段は、前記第1の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第2の読出動作によって読み出された前記差異部分以外に対応する前記画素の画像データによって補間することを特徴とするデジタルカメラ。 - 請求項1に記載のデジタルカメラにおいて、
前記画像生成手段は、第3の画素行から前記所定の行間隔ごとにローリングシャッタ方式で前記画像データを読み出す第3の読出動作をさらに実行し、
前記補間手段は、前記21の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第3の読出動作によって読み出された前記差異部分以外に対応する前記画素の画像データによって補間することを特徴とするデジタルカメラ。 - 請求項1または2に記載のデジタルカメラにおいて、
前記補間手段は、前記第1の読出動作によって読み出された前記差異部分に対応する前記画素に関する画像データを、少なくとも前記第2の読出動作によって読み出された前記差異部分以外に対応する前記画素であって、前記第1の読出動作によって読み出された前記差異部分に対応する前記画素の最近傍の画素の画像データによって補間することを特徴とするデジタルカメラ。 - 請求項1乃至3に記載のデジタルカメラにおいて、
前記撮像素子は、連続して前記被写体の像を撮像して前記画像データを出力し、
前記補間手段は、前記動体画像データ領域の差異部分に関する補間後の前記画像データと、異なるフレームにおける、前記差異領域に対する領域の画像データとを比較して類似度を算出し、前記類似度が低い場合には前記補間後の前記画像データを、前記異なるフレームの前記差異領域に対する領域の画像データに置き換えることを特徴とするデジタルカメラ。 - 請求項1乃至4のいずれか一項に記載のデジタルカメラにおいて、
前記検出手段により検出された前記動体画像データ領域の動きが所定の速度を超えるか否かを判定する判定手段と、
前記判定手段により前記動体画像データ領域の動きが前記所定の速度を超えると判定された場合には、前記補正手段による歪みの補正と、前記補間手段による前記差異部分に関する画像データの補間とを禁止させる禁止手段とをさらに備えることを特徴とするデジタルカメラ。 - 請求項5に記載のデジタルカメラにおいて、
前記画像処理手段は、前記禁止手段が前記補正手段による歪みの補正と、前記補間手段による前記差異部分の画像データの補間とを禁止している場合は、複数の読出動作のうちの1つの読出動作により前記撮像素子から出力された前記画像信号を用いて前記1フレーム分の画像データを生成することを特徴とするデジタルカメラ。 - 請求項1乃至6のいずれか一項に記載のデジタルカメラにおいて、
前記検出手段により検出された前記動体画像データ領域の動きの速度に応じて、前記撮像素子から前記画像信号を読み出すための前記行間隔を変更させる変更指示手段をさらに備えることを特徴とするデジタルカメラ。 - 請求項1乃至7のいずれか一項に記載のデジタルカメラにおいて、
前記補正手段による前記歪みの補正と、前記補間手段による前記差異部分に関する画像データの補間とが施された画像データを記憶媒体に記録する記録制御手段をさらに備えることを特徴とするデジタルカメラ。 - 請求項1乃至8のいずれか一項に記載のデジタルカメラにおいて、
前記検出手段は、異なる複数フレーム分の画像データに基づいて、前記動体画像データ領域を検出することを特徴とするデジタルカメラ。 - 請求項1乃至9のいずれか一項に記載のデジタルカメラにおいて、
前記検出手段は、カメラに生じる振動を検出する加速度センサを含んで構成されることを特徴とするデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010037697A JP2011176458A (ja) | 2010-02-23 | 2010-02-23 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010037697A JP2011176458A (ja) | 2010-02-23 | 2010-02-23 | デジタルカメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011176458A true JP2011176458A (ja) | 2011-09-08 |
Family
ID=44688938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010037697A Pending JP2011176458A (ja) | 2010-02-23 | 2010-02-23 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011176458A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
-
2010
- 2010-02-23 JP JP2010037697A patent/JP2011176458A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
US10027890B2 (en) | 2015-11-27 | 2018-07-17 | Casio Computer Co., Ltd. | Motion detecting device, motion detecting method, and non-transitory recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4018727B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP4576280B2 (ja) | 自動焦点調節装置及び焦点調節方法 | |
JP4622790B2 (ja) | 撮像素子および撮像装置 | |
EP2882183B1 (en) | Electronic apparatus and method of controlling the same | |
JP2007150643A (ja) | 固体撮像素子、固体撮像素子の駆動方法および撮像装置 | |
JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
JP2009268073A (ja) | 撮像装置及び撮像装置の信号処理方法 | |
KR101889932B1 (ko) | 촬영 장치 및 이에 적용되는 촬영 방법 | |
JP2010016536A (ja) | 静止画像及び動画像撮像装置 | |
US11064143B2 (en) | Image processing device and image pickup apparatus for processing divisional pixal signals to generate divisional image data | |
JP2006261929A (ja) | 撮像装置 | |
JP2007274504A (ja) | デジタルカメラ | |
JP4678849B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5387341B2 (ja) | 撮像装置 | |
JP4616794B2 (ja) | 画像データのノイズ低減装置およびその制御方法 | |
JP2011087050A (ja) | デジタルカメラ | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
JP5446955B2 (ja) | 撮像装置 | |
US20100182460A1 (en) | Image processing apparatus | |
JP5947625B2 (ja) | 撮像装置、及びその制御方法 | |
JP2014007454A (ja) | 撮像装置および撮像方法 | |
JP2011176458A (ja) | デジタルカメラ | |
JP5142807B2 (ja) | 撮像装置及びその制御方法 | |
JP2013012983A (ja) | 撮像装置 | |
JP5397048B2 (ja) | デジタルカメラ、及びその撮影感度設定方法とプログラム |