JP5976315B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

撮像装置に作用するぶれには、ヨー方向及びピッチ方向のぶれから成る並進ぶれと、ロール方向のぶれである回転ぶれと、がある。動画像に含まれる並進ぶれ及び回転ぶれを電子式に補正する方法がある（例えば下記特許文献１及び２参照）。並進ぶれのみの補正を考えた場合、一般的に、１フレーム分の画像信号をＤＡＲＭ（Dynamic Random Access Memory）に格納した後、ラスタスキャンを用いて画像信号を所定ライン数ずつラインメモリに転送して並進ぶれを補正し、補正後の画像信号をＤＲＡＭに戻すという方法がとられる。この方法を用いて回転ぶれ補正をも行おうとすると、回転角度に依存して大量のラインメモリを確保する必要が生じる。単純な例として、水平方向に１００画素分だけ伸びる線に対し４５度の回転ぶれが発生したとすると、当該線の画像信号は垂直方向に（１００×√２）画素分にわたって分布することになる。この線に対して回転ぶれ補正を行おうとすると（１００×√２）ライン分のラインメモリを用意する必要が生じる。ラインメモリは、集積回路内のＳＲＡＭ（Static Random Access Memory）にて形成されることも多く、ラインメモリの容量増大は当然の如く集積回路等のコストアップを招く。

このような事情から、回転ぶれ用の回転補正では、画像信号をブロック単位で処理することが一般的である。例えば、上記の線を水平方向に１０等分する形でブロックごとに回転補正処理を行うようにすれば、必要なメモリ容量を随分低く抑えることができるからである。一方で、ベイヤ配列の撮像素子から得たＲＡＷ画像に対して上記ブロック単位の回転補正を行う場合には、信号処理に対して比較的大きなオーバヘッドが必要になる。故に、回転補正をＹＵＶ信号の段階で行うことが一般的である。

図９は、並進ぶれ及び回転ぶれに対する、動画像用の従来補正方法例を示している。図９の方法では、ＲＡＷ画像９０１をＹＵＶ信号から成るＹＵＶ画像９０２に変換してから、並進ぶれ量に応じた位置に配置され且つ回転ぶれ角度に応じた傾きを持った切り出し枠９０３をＹＵＶ画像９０２に設定し、切り出し枠９０３内の画像に対して回転補正を行うことでぶれ補正画像９０４を得ている。図９からも分かるように、補正に用いるＹＵＶ画像９０２には、補正用のオーバヘッド（ＹＵＶ画像９０２の全体から切り出し枠９０３内の画像を除去した部分）が付加されているため、ＹＵＶ画像９０２の画像サイズは、実際に記録等が成されるぶれ補正画像９０４のそれよりも随分と大きい。

特開２００９−６０１６７号公報 特開２００９−２１８１０号公報

補正に用いるＹＵＶ画像（図９の例ではＹＵＶ画像９０２）の画像サイズが増大すれば、それに応じて、ＹＵＶ信号を扱う信号処理ブロック（例えば、ＹＵＶ信号を生成する信号処理ブロック）の処理負荷が増大する。動画像のフレームレート及び各フレーム画像の画像サイズが一定であるという条件下において、処理負荷が増大すれば、上記信号処理ブロックの処理速度を増大させる必要が生じる。処理速度の増大は消費電力の削減にとって不利であることは言うまでも無い。

そこで本発明は、ぶれ補正に関する処理負荷の低減に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、各画素に１つの色情報が割り当てられた、被写体に応じた第１画像信号を出力する撮像素子と、前記撮像素子の出力信号又は前記撮像装置の動きを検出するセンサの検出結果に基づき、前記撮像素子の出力信号に基づく動画像上において前記被写体を平行移動させる並進ぶれ及び前記被写体を回転させる回転ぶれを検出するぶれ検出部と、前記ぶれ検出部の検出結果に基づき、前記第１画像信号に含まれる前記並進ぶれ及び前記回転ぶれを補正するぶれ補正部と、を備え、前記ぶれ補正部は、前記第１画像信号に含まれる前記並進ぶれを補正してから、前記第１画像信号を、各画素に複数の色情報が割り当てられた第２画像信号に変換し、その後、前記第２画像信号に含まれる前記回転ぶれを補正することを特徴とする。

並進ぶれの補正によって補正前よりも信号量を低減させることができる。従って、並進ぶれの補正を行ってから第２画像信号への変換を行うことで、第２画像信号を扱う信号処理ブロックでの処理負荷を低く抑えることができる。

具体的には例えば、前記ぶれ補正部は、前記ぶれ検出部の検出結果に基づき、前記並進ぶれの補正前の第１画像信号の一部を切り出すことで前記並進ぶれを補正する第１補正部と、前記並進ぶれの補正後の第１画像信号を前記第２画像信号に変換する信号変換部と、前記回転ぶれの検出結果に基づき、前記第２画像信号の一部に対して回転成分を含む幾何学的変換を施すことで、前記並進ぶれ及び前記回転ぶれが補正された画像信号である出力画像信号を生成する第２補正部と、を備えていると良い。

また例えば、前記第１補正部は、前記並進ぶれの補正前の第１画像信号によって表される原画像の一部を切り出すことで、前記並進ぶれの補正後の第１画像信号の画像である切り出し原画像を生成し、前記切り出し原画像を生成する際、前記並進ぶれの検出結果に基づいて前記原画像上における前記切り出し原画像の切り出し位置を設定するとともに、前記回転ぶれの検出結果に応じて前記切り出し原画像の画像サイズを設定してもよい。

回転ぶれの検出結果に応じて切り出し原画像の画像サイズを設定することにより、切り出し原画像の画像サイズを比較的小さな画像サイズ（例えば必要最小限の画像サイズ）に抑えることができ、結果、第２画像信号を扱う信号処理ブロックでの処理負荷を低く抑えることができる。

また例えば、前記ぶれ検出部は、前記撮像素子の出力信号又は前記センサの検出結果に基づき、前記動画像上において前記被写体の大きさを増大又は減少させる増減ぶれをも検出しても良く、前記ぶれ補正部は、前記ぶれ検出部の検出結果に基づき、前記第１画像信号に含まれる前記増減ぶれをも補正しても良い。

本発明によれば、ぶれ補正に関する処理負荷の低減に寄与する撮像装置を提供することが可能である。

本発明の実施形態に係る撮像装置の概略的な外観を被写体と共に示した図である。 本発明の実施形態に係る撮像装置の構成ブロック図である。 二次元画像とＸ軸及びＹ軸との関係を示す図（ａ）と、Ｘ軸、Ｙ軸及びＺ軸の関係を示す図である。 本発明の実施形態に係るぶれ補正処理の概要を示す図である。 動画像の構成を示す図である。 撮像装置に動き検出センサが設けられている様子を示す図である。 動き検出情報の構造を示す図である。 動き検出情報の構成要素であるＸＹ軸動き情報、回転動き情報及びＺ軸動き情報の内容を説明するための図である。 従来の動画像用電子式ぶれ補正処理の概要を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。

図１は、本発明の実施形態に係る撮像装置１の概略的な外観を、撮像装置１の被写体ＳＵＢと共に示した図である。図１では、被写体ＳＵＢの例として１人の人物を示しているが、被写体ＳＵＢは１以上の任意の被写体から成る。本実施形態では、説明の便宜上、被写体ＳＵＢは実空間上で静止しているものとする。図２は、撮像装置１の構成を示すブロック図である。撮像装置１は、符号１０〜１７及び２１〜２９によって参照される各部位を備える。撮像装置１は、動画像を撮影及び記録可能なデジタルビデオカメラ又は静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。一点鎖線ＡＸ_ＯＰＴは、撮像装置１及び光学系１０の光軸を表す。

撮像素子１１を用いて得られた撮像装置１の撮影画像は動画像として表示部１４に表示され、撮影者は、表示部１４の表示内容を確認しながら各種の撮影操作を行うことができる。撮影者が撮像装置１の筐体を手で把持して撮影操作を行う場合などにおいては、動画像の撮影中に撮像装置１がぶれ、結果、撮影によって得られた動画像にぶれが発生することがある。このようなぶれは、一般に手ぶれとも呼ばれる。撮像装置１のぶれは撮影装置１の動きと同義である。図３（ａ）には、撮像素子１１の出力信号に基づく二次元画像３００が示されている。二次元画像３００の画像信号には、被写体ＳＵＢの画像信号が含まれている。二次元画像３００は、例えば、後述のＲＡＷ画像Ｉ_３１０（図２及び図４参照）の一種であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平及び垂直方向に平行な軸である。また、図３（ｂ）に示す如く、Ｘ軸及びＹ軸の夫々に直交する軸（即ち二次元画像３００が定義される平面に直交する軸）をＺ軸と呼ぶ。

撮像装置１のぶれには、水平方向のぶれであるヨー方向のぶれ、垂直方向のぶれであるピッチ方向のぶれ、及び、回転方向のぶれであるロール方向のぶれが含まれる。ヨー方向及びピッチ方向のぶれによって、夫々、被写体ＳＵＢは画像３００上をＸ軸及びＹ軸方向に沿って平行移動する。従って、ヨー方向のぶれ及びロール方向のぶれから形成されるぶれを並進ぶれと呼ぶことができる。ロール方向のぶれによって、被写体ＳＵＢは画像３００上で回転する。従って、ロール方向のぶれを回転ぶれと呼ぶことができる。撮像装置１のぶれには、更に、距離方向のぶれが含まれる。距離方向のぶれとは、被写体ＳＵＢの被写体距離を増大又は減少させるぶれを指す。被写体ＳＵＢの被写体距離とは、実空間上における撮像装置１及び被写体ＳＵＢ間の距離を指す。距離方向のぶれによって、画像３００上における被写体ＳＵＢの大きさは増大又は減少する。従って、距離方向のぶれを増減ぶれと呼ぶことができる。但し、以下では、距離方向のぶれをＺ軸ぶれと呼ぶ。

撮像装置１は、電子式ぶれ補正によって、撮像素子１１の出力信号に含まれる並進ぶれ、回転ぶれ及びＺ軸ぶれを補正する。この際、図４に示す如く、まずＲＡＷ信号の段階で並進ぶれを補正してから（ＲＡＷ画像Ｉ_３１０からＲＡＷ画像Ｉ_３２０を切り出してから）、ＲＡＷ信号をＹＵＶ信号に変換し（ＲＡＷ画像Ｉ_３２０をＹＵＶ画像Ｉ_３３０に変換し）、その後、ＹＵＶ信号の段階で回転ぶれ及びＺ軸ぶれを補正する（ＹＵＶ画像Ｉ_３３０からＹＵＶ画像Ｉ_３４０）を生成する。図４に示される内容については後に詳細に説明する。以下、このような電子式ぶれ補正を実現する構成例である、図２の構成について詳細に説明する。

光学系１０は、複数のレンズ及び絞り等から成り、被写体ＳＵＢの光学像を撮像素子１１上に結像させる。撮像素子１１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から成る固体撮像素子である。撮像素子１１は、レンズ部１０を介して入射した被写体に応じた光学像を光電変換し、該光電変換によって得られた電気信号を出力する。

メモリ１３は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種信号を一時的に記録する。例えば、ＤＤＲ ＳＤＲＡＭ (Double-Data-Rate Synchronous Dynamic Random Access Memory)にてメモリ１３を形成可能である。表示部１４は、液晶ディスプレイパネル等から成り、主制御部１７の制御の下で、撮像素子１１を用いた撮影画像又は記録媒体１５に記録された画像などを表示する。記録媒体１５は、カード状半導体メモリや磁気ディスク等から成る不揮発性メモリであり、主制御部１７による制御の下、任意の信号及びデータを記録する。操作部１６は、撮像装置１のユーザ（操作者）からの各種操作を受け付け、操作内容を主制御部１７に伝達する。主制御部１７は、ＣＰＵ（Central Processing Unit）等から成り、操作部１６に対する操作内容等に従って、撮像装置１内の各部位の動作を統括的に制御する。

前置信号処理部２１は、撮像素子１１から出力される、被写体ＳＵＢに応じた信号に対して必要な信号処理（例えば、相関二重サンプリング、自動ゲイン調整及びＡ／Ｄ変換）を施し、該信号処理後の信号をＲＡＷ信号として出力する。

撮像素子１１の出力信号は、撮像素子１１の撮像面に設けられた複数の受光画素の出力信号から形成される。撮像素子１１の撮像面と光学系１０との間には、赤の光だけを透過させるカラーフィルタ、緑の光だけを透過させるカラーフィルタ及び青の光だけを透過させるカラーフィルタが、所謂ベイヤ配列に従って配置されている。結果、撮像素子１１から出力される１つの画素（１つの受光画素）についての信号は、赤の色情報、緑の色情報及び青の色情報の何れか１つのみを有する。ＲＡＷ信号についても同様である。即ち、撮像素子１１の出力信号及びＲＡＷ信号は、各画素に対して１つの色情報のみが割り当てられた画像信号の一種であり、その画像信号を原信号（第１画像信号）と呼ぶこともできると共に原信号によって表される画像を原画像と呼ぶこともできる。尚、上記カラーフィルタは、ベイヤ配列以外の配列方式に従って配列されても良い。

ＲＡＷ信号によって表される二次元画像をＲＡＷ画像という。前置信号処理部２１から出力されるＲＡＷ信号を符号３１０にて参照し、ＲＡＷ信号３１０によって表されるＲＡＷ画像を符号Ｉ_３１０にて参照する（図４も参照）。撮像装置１は、撮像素子１１を用いて所定のフレーム周期で順次撮影を行うことで動画像ＭＩを生成することができる。図５（ａ）に示す如く、動画像ＭＩは、時系列上に並ぶ複数のフレーム画像ＦＩ［１］〜ＦＩ［ｎ］から形成される（ｎは２以上の整数）。時系列上に並ぶ複数のＲＡＷ画像Ｉ_３１０をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ_３１０と呼ぶ（図５（ｂ）参照）。時系列上に並ぶ複数のＲＡＷ画像Ｉ_３１０は、互いに異なる時刻での撮影によって得られた複数のＲＡＷ画像Ｉ_３１０である（後述の複数のＲＡＷ画像Ｉ_３２０、Ｉ_３３０及びＩ_３４０についても同様）

並進ぶれ、回転ぶれ及びＺ軸ぶれは撮像装置１に作用する考えることもできるし、撮像装置１のぶれによって動画像ＭＩにぶれが発生するのであるから、撮像装置１のぶれによって、撮像素子１１の出力信号に、並進ぶれ、回転ぶれ及びＺ軸ぶれが混入すると考えることもできる。今、撮像素子１１の出力信号に、並進ぶれ、回転ぶれ及びＺ軸ぶれが含まれている場合を考える。ぶれについて考える場合、撮像素子１１の出力信号もＲＡＷ信号３１０も等価である。従って、ＲＡＷ信号３１０（即ちＲＡＷ画像Ｉ_３１０）にも、それらの並進ぶれ、回転ぶれ及びＺ軸ぶれがそのまま残存している。ＲＡＷ信号３１０に含まれる並進ぶれは動画像ＭＩ_３１０上で被写体ＳＵＢを平行移動させ、ＲＡＷ信号３１０に含まれる回転ぶれは動画像ＭＩ_３１０上で被写体ＳＵＢを回転させ、ＲＡＷ信号３１０に含まれるＺ軸ぶれは動画像ＭＩ_３１０上で被写体ＳＵＢの大きさを増大又は減少させる。

動き検出部１２は、撮像素子１１の出力信号に基づき、並進ぶれ、回転ぶれ及びＺ軸ぶれを検出し、それらの検出結果を含んだ動き検出情報を生成する。動き検出部１２は、撮像素子１１の出力信号に所定の信号処理を施して得られる信号に基づき、並進ぶれ、回転ぶれ及びＺ軸ぶれの検出を行っても良い。それらの検出方法は公知であるので、詳細な説明を割愛する。例えば、代表点マッチング法を用いて導出したフレーム画像間のオプティカルフローを用いて、それらの検出を行うことができる。また、動き検出部１２の代わりに、図６に示す如く、撮像装置１の動きを検出する動きセンサ（角加速度センサ、加速度センサなど）、即ち、撮像装置１に作用した並進ぶれ、回転ぶれ及びＺ軸ぶれを検出する動き検出センサ１２Ａを撮像装置１に設けておき、動き検出センサ１２Ａの検出結果を用いて動き検出情報を生成するようにしても良い。また、動き検出部１２と動き検出センサ１２Ａを併用して動き検出情報を生成するようにしても良い。例えば、動き検出部１２にて並進ぶれを検出し、動き検出センサ１２Ａにて回転ぶれ及びＺ軸ぶれを検出するといったことも可能である。

動き検出情報は、図７に示す如く、ＸＹ軸動き情報、回転動き情報及びＺ軸動き情報を含む。ＸＹ軸動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ_３１０間）における被写体ＳＵＢの位置の偏移ベクトル（位置の偏移の平行移動成分）ＶＥＣを表す（図８（ａ）参照；ｉは整数）。偏移ベクトルＶＥＣはＸ軸成分及びＹ軸成分から成る。回転動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ_３１０間）における被写体ＳＵＢの回転の角度θを表す（図８（ｂ）参照）。Ｚ軸動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ_３１０間）における被写体ＳＵＢの大きさの変化量Ｃ_ＳＩＺＥを表す（図８（ｃ）参照）。ＸＹ軸動き情報に示される被写体ＳＵＢの位置の偏移、回転動き情報に示される被写体ＳＵＢの回転、Ｚ軸動き情報に示される被写体ＳＵＢの大きさの変化は、夫々、並進ぶれ、回転ぶれ及びＺ軸ぶれによってもたらされたものである。

図２のライトバッファ回路２２は、前置信号処理部２１から送られてくるＲＡＷ信号３１０（即ちＲＡＷ画像Ｉ_３１０の画像信号）をメモリ１３に書き込む。リードバッファ回路２３は、ライトバッファ回路２２によってメモリ１３に書き込まれたＲＡＷ信号を読み出し、読み出したＲＡＷ信号を後置信号処理部２４に出力する。ここで、リードバッファ回路２３は、動き検出情報に基づき、メモリ１３に書き込まれたＲＡＷ信号３１０の一部のみを読み出し、ＲＡＷ信号３１０の一部をＲＡＷ信号３２０として出力する。ＲＡＷ信号３２０によって表されるＲＡＷ画像を符号Ｉ_３２０にて参照する（図４も参照）。また、時系列上に並ぶ複数のＲＡＷ画像Ｉ_３２０をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ_３２０と呼ぶ（図５（ｃ）参照）。

リードバッファ回路２３は、ＸＹ軸動き情報に基づき、動画像ＭＩ_３１０上における被写体ＳＵＢの平行移動（並進ぶれに起因するＸ軸及びＹ軸方向への移動）が動画像ＭＩ_３２０上で打ち消されるように、即ちＲＡＷ信号３２０及びＲＡＷ画像Ｉ_３２０に並進ぶれが含まれなくなるように、ＲＡＷ信号３１０の一部をＲＡＷ信号３２０として切り出す切り出し処理（並進ぶれ補正処理）を実現している。ＲＡＷ信号３１０の一部をＲＡＷ信号３２０として切り出すことと、ＲＡＷ画像Ｉ_３１０の一部をＲＡＷ画像Ｉ_３２０として切り出すことは同義である。実際には、リードバッファ回路２３は、ＸＹ軸動き情報によって示される現フレーム画像についての遷移ベクトルＶＥＣ（図８（ａ））に基づき、メモリ１３上の読み出し開始アドレスを調整することでＲＡＷ信号３２０を得る。ＲＡＷ信号３２０では並進ぶれが除去されているため、ＲＡＷ信号３２０は並進ぶれの補正後のＲＡＷ信号（並進ぶれの補正後の原信号）であると言える。

図４の位置４１０は、ＲＡＷ画像Ｉ_３１０上におけるＲＡＷ画像Ｉ_３２０の中心位置を表している。リードバッファ回路２３による読み出し開始アドレスの変更によって、ＲＡＷ画像Ｉ_３２０の中心位置４１０も変更されるため、リードバッファ回路２３は、ＸＹ軸動き情報に基づき、ＲＡＷ画像Ｉ_３１０（原画像）からＲＡＷ画像Ｉ_３２０（切り出し原画像）を切り出す際の切り出し位置（４１０）を設定していると言える。

後置信号処理部２４は、公知のデモザイキング処理を用いて、ＲＡＷ信号３２０を、輝度信号Ｙ並びに色差信号Ｕ及びＶから成るＹＵＶ信号３３０に変換する。後置信号処理部２４は、この変換の過程において、必要な他の信号処理（輪郭強調処理やノイズ低減処理）を行うこともできる。ＹＵＶ信号によって表される画像をＹＵＶ画像と呼び、ＹＵＶ信号３３０によって表されるＹＵＶ画像を符号Ｉ_３３０にて参照する（図４も参照）。また、時系列上に並ぶ複数のＹＵＶ画像Ｉ_３３０をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ_３３０と呼ぶ（図５（ｄ）参照）。ＹＵＶ信号は、各画素に対して複数の色情報が割り当てられた画像信号の一種である。従って、ＲＡＷ画像の各画素には赤、緑及び青の色情報の内の何れか１つのみが割り当てられるのに対し、ＹＵＶ画像の各画素には複数の色情報が割り当てられる。即ち、ＹＵＶ画像において、１つ１つの画素の画像信号は輝度信号Ｙと２つの色差信号Ｕ及びＶから成り、輝度信号Ｙと２つの色差信号Ｕ及びＶは赤、緑及び青の色情報を内包する。

ＹＵＶ信号３３０は、ライトバッファ回路２５を用いてメモリ１３に書き込まれる。その後、リードバッファ回路２６を用いてメモリ１３から読み出されたＹＵＶ信号３３０は、Ｚ軸／回転補正部２７（以下、回転補正部２７という）に送られる。回転補正部２７は、ＹＵＶ信号３３０に対して回転ぶれ補正処理及びＺ軸ぶれ補正処理を施すことで、回転ぶれ及びＺ軸ぶれが除去されたＹＵＶ信号であるＹＵＶ信号３４０を生成する。ＹＵＶ信号３４０によって表されるＹＵＶ画像を符号Ｉ_３４０にて参照する（図４も参照）。また、時系列上に並ぶ複数のＹＵＶ画像Ｉ_３４０をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ_３４０と呼ぶ（図５（ｅ）参照）。ライトバッファ回路２８は、ＹＵＶ信号３４０をメモリ１３に書き込むことができる。また、動画像ＭＩ_３４０は表示部１４にて表示されると共に、動画像エンコーダ２９にて動画像ＭＩ_３４０の画像信号（即ちＹＵＶ信号３４０）に所定のエンコード処理が施されてストリームデータが生成され、該ストリームデータが記録媒体１５に記録される。

リードバッファ回路２３による読み出し開始アドレスの調整により、ＲＡＷ信号３２０では並進ぶれが除去され、結果、ＹＵＶ信号３３０にも並進ぶれが存在していないが、以前として、ＹＵＶ信号３３０には回転ぶれ及びＺ軸ぶれが残存している。回転補正部２７は、回転動き情報に基づき、動画像ＭＩ_３３０上における被写体ＳＵＢの回転が動画像ＭＩ_３４０上で打ち消されるように、即ちＹＵＶ信号３４０及びＲＡＷ画像Ｉ_３４０に回転ぶれが含まれなくなるように、回転ぶれ補正処理を実行する。上述したように、本実施形態では、被写体ＳＵＢが実空間上で静止していることを想定しているため、動画像ＭＩ_３３０上における被写体ＳＵＢの回転は、回転ぶれに起因する回転である。実際には、回転ぶれ補正処理において、回転補正部２７は、回転動き情報によって示される現フレーム画像についての回転角度θ（図８（ｂ））に基づき、ＹＵＶ画像Ｉ_３３０に対して角度θの傾きを持った切り出し枠４２０を設定し（図４参照）、ＹＵＶ画像Ｉ_３３０における切り出し枠４２０内の画像を角度（−θ）だけ回転させるアフィン変換を含む幾何学的変換を実行することでＹＵＶ画像Ｉ_３４０を生成する。ＹＵＶ画像Ｉ_３４０の画像サイズを一定に保つべく、この幾何学的変換には、切り出し枠４２０の大きさに応じた解像度変換処理（画像サイズの拡大処理又は縮小処理）が含まれうる。

また、回転補正部２７は、Ｚ軸動き情報に基づき、動画像ＭＩ_３３０上における被写体ＳＵＢの大きさの増大又は減少が動画像ＭＩ_３４０上で打ち消されるように、即ちＹＵＶ信号３４０及びＲＡＷ画像Ｉ_３４０にＺ軸ぶれが含まれなくなるように、Ｚ軸ぶれ補正処理を実行する。上述したように、本実施形態では、被写体ＳＵＢが実空間上で静止していることを想定しているため、動画像ＭＩ_３３０上における被写体ＳＵＢの大きさの変化は、Ｚ軸ぶれに起因する変化である。具体的には、回転補正部２７は、Ｚ軸動き情報によって示される現フレーム画像についての変化量Ｃ_ＳＩＺＥ（図８（ｃ））に基づき、切り出し枠４２０の大きさを変更することにより上記Ｚ軸ぶれ補正処理を実現する。この際、回転補正部２７は、ＹＵＶ画像Ｉ_３４０の画像サイズが常に一定に維持されるように、切り出し枠４２０の画像に対し、切り出し枠４２０の大きさに応じた解像度変換処理（画像サイズの拡大処理又は縮小処理）を実行する。実際には、この解像度変換処理を、回転ぶれ補正処理における上記幾何学的変換に組み込んでおくことができる。このような回転ぶれ補正処理及びＺ軸ぶれ補正処理により、ＹＵＶ信号３４０は、並進ぶれ、回転ぶれ及びＺ軸ぶれが補正された（除去された）画像信号となる。

また、電子式ぶれ補正では、最終的なぶれ補正画像（本実施形態においてＹＵＶ画像Ｉ_３４０）の画角を一定に保つことが望ましい。一方、撮像素子１１の出力信号に回転ぶれが含まれている場合には、回転ぶれ補正処理において、回転角度θに応じＹＵＶ画像Ｉ_３３０の一部のみが切り出されてＹＵＶ画像Ｉ_３４０として取り出される。ＹＵＶ画像Ｉ_３３０の画角が一定であるという条件下において、回転角度θの絶対値が増大すればするほどＹＵＶ画像Ｉ_３４０の画角は減少する。故に、最終的なぶれ補正画像の画角を一定に保つべく、リードバッファ回路２３は、ＲＡＷ画像Ｉ_３２０（切り出し原画像）を生成する際、回転動き情報に基づきＲＡＷ画像Ｉ_３２０の画像サイズを最適に設定及び変更すると良い。この設定及び変更により、例えば、ＲＡＷ画像Ｉ_３２０の画像サイズは、回転角度θがゼロのとき最小となり、回転角度θの絶対値がゼロより増大するにつれて増大する。

更に、撮像素子１１の出力信号にＺ軸ぶれが含まれている場合には、撮像素子１１の出力信号にＺ軸ぶれが含まれていない場合を基準として、切り出し枠４２０の大きさの変更が必要になる。故に、最終的なぶれ補正画像の画角を一定に保つべく、リードバッファ回路２３は、ＲＡＷ画像Ｉ_３２０（切り出し原画像）を生成する際、回転動き情報及びＺ軸動き情報に基づきＲＡＷ画像Ｉ_３２０の画像サイズを設定及び変更すると良い。リードバッファ回路２３は、ＹＵＶ画像Ｉ_３４０の画角が常に一定に保たれるという条件を満たした上で、ＲＡＷ画像Ｉ_３２０の画像サイズが最小化されるように、回転動き情報及びＺ軸動き情報に基づきＲＡＷ画像Ｉ_３２０の画像サイズを設定及び変更すると良い。図４の四角枠４２０’は、この設定の際に想定される、切り出し枠４２０に対応する枠である。

上述の如く、本実施形態では、ＲＡＷ信号の段階で並進ぶれを補正してからＲＡＷ信号をＹＵＶ信号に変換し、その後、回転ぶれ及びＺ軸ぶれを補正する。並進ぶれの補正を介して信号量を低減させてからＹＵＶ信号への変換を行うため、ＹＵＶ信号を扱う信号処理ブロック（後置信号処理部２４を含む）での処理負荷を低く抑えることができる。これは、要求される処理速度の低減及び消費電力の低減に繋がる。

撮像装置１には、並進ぶれ、回転ぶれ及びＺ軸ずれを検出するぶれ検出部と、ぶれ検出部の検出結果に基づき並進ぶれ補正処理、回転ぶれ補正処理及びＺ軸ぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）と、が備えられていると考えることができる。撮像装置１に設けられた画像処理装置は、ぶれ補正部を構成要素として含み、更にぶれ検出部も構成要素として含みうる。図２の動き検出部１２及び図６の動き検出センサ１２Ａは、ぶれ検出部の一種である。ぶれ補正部は、符号２３〜２８によって参照される各部位を備え、前置信号処理部２１及びライトバッファ回路２２を更に備えうる。画像処理装置は、符号２１〜２８によって参照される各部位を備え、更に動き検出部１２及び動画像エンコーダ２９を含みうる。画像処理装置を集積回路にて形成することができ、メモリ１３を該集積回路にとっての外部メモリと捉えることもできる。

ぶれ補正部は、ぶれ検出部の検出結果（動き検出情報）に基づきＲＡＷ信号３１０（ＲＡＷ画像Ｉ_３１０）の一部を切り出すことで並進ぶれを補正する第１補正部と、並進ぶれの補正後のＲＡＷ信号であるＲＡＷ信号３２０をＹＵＶ信号３３０に変換する信号変換部と、回転ぶれの検出結果に基づく上記回転ぶれ補正処理を成すことで並進ぶれ及び回転ぶれが補正されたＹＵＶ信号３４０を生成する第２補正部と、を備えていると言える。第２補正部にて、更に上記のＺ軸ぶれ補正処理を成すこともできる。図２の構成では、リードバッファ回路２３、後置信号処理部２４及び回転補正部２７が、夫々、第１補正部、信号変換部及び第２補正部の機能を担う。第１補正部による切り出しを経てからＹＵＶ信号への変換を行うようにすることで、ＹＵＶ信号を扱う信号処理ブロック（後置信号処理部２４を含む）での処理負荷を低く抑えることができる。

また、第１補正部では、回転ぶれの検出結果に応じて、並進ぶれ補正前のＲＡＷ画像（ＲＡＷ画像Ｉ_３１０）から切り出されるべきＲＡＷ画像（ＲＡＷ画像Ｉ_３２０）の画像サイズを設定及び変更することができ、その設定及び変更を、回転ぶれ及びＺ軸ぶれの検出結果に応じて成すこともできる。これにより、並進ぶれ補正処理によって切り出されたＲＡＷ画像（ＲＡＷ画像Ｉ_３２０）の画像サイズを比較的小さな画像サイズ（望ましくは必要最小限の画像サイズ）に抑えることができ、結果、ＹＵＶ信号を扱う信号処理ブロック（後置信号処理部２４を含む）での処理負荷を低く抑えることができる。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
撮像装置１にて所謂電子ズームが可能であっても良い。電子ズームを行う場合、電子ズームに必要な信号処理を、後置信号処理部２４における信号処理と同時に行うようにしても良いし、Ｚ軸ぶれ補正処理と同時に行うようにしても良い。

［注釈２］
上述の実施形態では、並進ぶれ及び回転ぶれの補正に加えてＺ軸ぶれの補正も行っているが、Ｚ軸ぶれの検出及びＺ軸ぶれの補正を割愛することも可能である。

［注釈３］
上述の実施形態では、各画素に複数の色情報が割り当てられた画像信号の例としてＹＵＶ信号を挙げているが、各画素に複数の色情報が割り当てられた画像信号は、ＹＵＶ信号以外の画像信号であっても良い。

［注釈４］
図２には示されていないが、撮像装置１の周辺音を表す音響信号を生成するマイク及び音響信号処理部が撮像装置１に設けられていても良く、該音響信号のデータを動画像のデータと共に記録媒体１５に記録するようにしても良い。

［注釈５］
撮像装置１は、任意の機器（携帯電話機などの携帯端末）に搭載されるものであっても良い。

１ 撮像装置
１１ 撮像素子
１２ 動き検出部
１２Ａ 動き検出センサ
２１ 前置信号処理部
２２、２５、２８ ライトバッファ回路
２３、２６ リードバッファ回路
２４ 後置信号処理部
２７ Ｚ軸／回転補正部

Claims (3)

1. 各画素に１つの色情報が割り当てられた、被写体に応じた第１画像信号を出力する撮像素子と、
   前記撮像素子の出力信号又は撮像装置の動きを検出するセンサの検出結果に基づき、前記撮像素子の出力信号に基づく動画像上において前記被写体を平行移動させる並進ぶれ及び前記被写体を回転させる回転ぶれを検出するぶれ検出部と、
   前記ぶれ検出部の検出結果に基づき、前記第１画像信号に含まれる前記並進ぶれ及び前記回転ぶれを補正するぶれ補正部と、を備え、
   前記ぶれ補正部は、
   前記第１画像信号に含まれる前記並進ぶれを補正してから、前記第１画像信号を、各画素に複数の色情報が割り当てられた第２画像信号に変換し、
   その後、前記第２画像信号に含まれる前記回転ぶれを補正し、
   前記ぶれ検出部の検出結果に基づき、前記並進ぶれの補正前の第１画像信号の一部を切り出すことで前記並進ぶれを補正する第１補正部と、
   前記並進ぶれの補正後の第１画像信号を前記第２画像信号に変換する信号変換部と、
   前記回転ぶれの検出結果に基づき、前記第２画像信号の一部に対して回転成分を含む幾何学的変換を施すことで、前記並進ぶれ及び前記回転ぶれが補正された画像信号である出力画像信号を生成する第２補正部と、を備える
   ことを特徴とする撮像装置。
2. 前記第１補正部は、前記並進ぶれの補正前の第１画像信号によって表される原画像の一部を切り出すことで、前記並進ぶれの補正後の第１画像信号の画像である切り出し原画像を生成し、前記切り出し原画像を生成する際、前記並進ぶれの検出結果に基づいて前記原画像上における前記切り出し原画像の切り出し位置を設定するとともに、前記回転ぶれの検出結果に応じて前記切り出し原画像の画像サイズを設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記ぶれ検出部は、前記撮像素子の出力信号又は前記センサの検出結果に基づき、前記動画像上において前記被写体の大きさを増大又は減少させる増減ぶれをも検出し、
   前記ぶれ補正部は、前記ぶれ検出部の検出結果に基づき、前記第１画像信号に含まれる前記増減ぶれをも補正する
   ことを特徴とする請求項１〜２に記載の撮像装置。
   

Images